KR20200096113A - 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경 - Google Patents

딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경 Download PDF

Info

Publication number
KR20200096113A
KR20200096113A KR1020200001719A KR20200001719A KR20200096113A KR 20200096113 A KR20200096113 A KR 20200096113A KR 1020200001719 A KR1020200001719 A KR 1020200001719A KR 20200001719 A KR20200001719 A KR 20200001719A KR 20200096113 A KR20200096113 A KR 20200096113A
Authority
KR
South Korea
Prior art keywords
network
learning
information
driver
feature map
Prior art date
Application number
KR1020200001719A
Other languages
English (en)
Other versions
KR102320979B1 (ko
Inventor
김계현
김용중
김학경
남운현
부석훈
성명철
신동수
여동훈
유우주
이명춘
이형수
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200096113A publication Critical patent/KR20200096113A/ko
Application granted granted Critical
Publication of KR102320979B1 publication Critical patent/KR102320979B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/109—Lateral acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G06K9/00798—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/162—Visual feedback on control action
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B60W2520/125—Lateral acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

운전자가 착용한 보조 안경을 통해 주행 안전 정보를 제공하는 방법으로서, 주행 안전 정보 분석 장치가, (a) 상기 보조 안경에 탑재된 카메라로부터, 상기 운전자의 시각에 대응되는 시각 종속형 주행 이미지, 센서로부터의 가속도 정보 및 자이로스코프(gyroscope) 정보가 획득되면, 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력하여 특징 맵을 생성하도록 하고, 상기 특징 맵을 검출 네트워크, 세그먼테이션 네트워크, 및 식별 네트워크로 각각 입력함으로써, 상기 검출 네트워크로 하여금 객체를 검출하도록 하며, 상기 세그먼테이션 네트워크로 하여금 차선을 검출하도록 하고, 상기 식별 네트워크로 하여금 주행 환경을 검출하도록 하며, 상기 가속도 정보 및 상기 자이로스코프 정보를 순환 네트워크로 입력하여 상기 운전자의 상태 정보를 생성하도록 하는 단계; 및 (b) 예측 충돌 가능성 정보, 차선 이탈 정보, 상기 주행 환경을 상기 운전자에게 알려주고, 경고를 제공하는 단계;를 포함하는 방법이 제공된다.

Description

딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경{AUTONOMOUS DRIVING ASSISTANCE GLASSES THAT ASSIST IN AUTONOMOUS DRIVING BY RECOGNIZING HUMANS' STATUS AND DRIVING ENVIRONMENT THROUGH IMAGE ANALYSIS BASED ON DEEP NEURAL NETWORK}
본 발명은 운전자가 착용하는 보조 안경에 관한 것으로; 보다 상세하게는, 딥 러닝을 기반으로 하여, 상기 운전자가 착용한 상기 보조 안경에 탑재된 카메라로부터 획득된, 상기 운전자의 시각에 대응되는 시각 종속형 주행 이미지를 분석하여 주행 안전 정보를 제공하는 상기 보조 안경에 관한 것이다.
오늘날의 차량은 IT기술과 결합해 다양한 기능을 제공하고 있으며, 차량의 주행 안정성 강화 및 사용자의 편의성 향상을 위해 다양한 운전자 보조 시스템(Advanced Driver Assist System, ADAS)이 발전되고 있다.
이때, 운전자 보조 시스템(ADAS)은 자율 주행을 위한 다양한 정보들을 제공하기 위하여 첨단 감지 장치와 지능형 영상 장치를 이용하여 구현되는 것으로, 보행자 및 자동차 인식 시스템, 도로면 인식 시스템, 차선 인식 시스템, 충돌 방지 시스템, 및 차선 이탈 경고 시스템 등을 포함한다.
하지만, 이러한 종래의 운전자 보조 시스템들은 자동차의 주행 환경과 운전자의 상태를 인식하기 위한 다양한 센서들과 카메라들을 이용하므로 비용이 증가하게 된다.
또한, 종래의 운전자 보조 시스템들에서는 센서들과 카메라들이 관련 정보들을 획득하기 위한 최적의 위치에 설치되어야 하나, 위치 및 센싱 방향의 오차 등이 발생할 경우, 정확한 정보를 획득할 수 없으므로 운전자 보조를 위한 정확한 정보를 제공할 수 없는 문제점이 발생하게 된다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 종래 방법에 비하여 낮은 비용으로 적어도 하나의 운전자 상태와 적어도 하나의 주행 환경을 검출할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 적어도 하나의 주행 이미지와 센서 정보를 이용한 딥 뉴럴 네트워크에 의해 주변 모니터링, 운전자 모니터링, 및 위험 상황 식별을 할 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 상기 주행 이미지와 상기 센서 정보를 이용한 상기 딥 뉴럴 네트워크에 의해 획득된 운전 보조 정보를 운전자에게 통보하여 줄 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 운전자가 착용한 보조 안경을 통해 주행 안전 정보를 제공하는 방법에 있어서, (a) 자동차의 상기 운전자가 착용한 상기 보조 안경에 탑재된 적어도 하나의 카메라로부터 촬영된, 상기 운전자의 시각에 대응되는 적어도 하나의 시각 종속형 주행 이미지, 상기 보조 안경에 탑재된 하나 이상의 센서로부터의 가속도 정보 및 자이로스코프(gyroscope) 정보가 획득되면, 주행 안전 정보 분석 장치가, (i) 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 하는 프로세스와, 상기 특징 맵을 검출 네트워크, 세그먼테이션 네트워크, 및 식별 네트워크로 각각 입력함으로써, 상기 검출 네트워크로 하여금 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 적어도 하나의 객체를 검출하도록 하며, 상기 세그먼테이션 네트워크로 하여금 상기 시각 종속형 주행 이미지 상의 하나 이상의 차선을 검출하도록 하고, 상기 식별 네트워크로 하여금 상기 시각 종속형 주행 이미지에 대응하는 주행 환경을 검출하도록 하는 프로세스, 및 (ii) 상기 가속도 정보 및 상기 자이로스코프 정보를 순환(recurrent) 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금 상기 가속도 정보와 상기 자이로스코프 정보에 대응되는 상기 운전자의 상태 정보를 생성하도록 하는 프로세스를 수행하는 단계; 및 (b) 상기 주행 안전 정보 분석 장치가, (i) 상기 검출 네트워크에 의해 검출된 상기 객체를 참조하여, 상기 자동차와 상기 객체 간의 예측 충돌 가능성 정보를 상기 보조 안경의 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 상기 세그먼테이션 네트워크에 의해 검출된 상기 차선을 참조하여, 상기 자동차의 차선 이탈 정보를 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스 및 상기 식별 네트워크에 의해 검출된 상기 주행 환경을 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 및 (ii) 상기 순환 네트워크에 의해 검출된 상기 운전자의 상기 상태 정보를 참조하여, 주행 안전 경고를 상기 출력 유닛을 통해 상기 운전자에게 제공하는 프로세스를 수행하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 주행 안전 정보 분석 장치가, 상기 특징 맵을 상기 검출 네트워크로 입력함으로써, 상기 검출 네트워크로 하여금, (i) 영역 프로포잘 네트워크를 통해 상기 특징 맵 상에서 상기 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 프로포잘 박스를 생성하도록 하고, (ii) 풀링 레이어를 통해 상기 특징 맵 상에서 상기 프로포잘 박스 각각에 대응되는 하나 이상의 각 영역에 풀링 연산을 가하여 적어도 하나의 객체 특징 벡터를 생성하도록 하며, (iii) 객체 검출 FC(fully-connected) 레이어를 통해 상기 객체 특징 벡터에 객체 검출 FC 연산을 가하여 상기 프로포잘 박스에 대응되는 다수의 객체 정보를 생성하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지 상에 위치하는 상기 객체를 검출하도록 하는 프로세스를 수행한다.
일 실시예에서, 상기 주행 안전 정보 분석 장치가, 상기 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, 상기 세그먼테이션 네트워크로 하여금 적어도 하나의 디컨벌루션 레이어를 통해 상기 특징 맵에 디컨벌루션 연산을 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하는 프로세스, 및 상기 디컨벌루션 특징 맵을 적어도 하나의 차선 검출 FC 레이어로 입력함으로써, 상기 차선 검출 FC 레이어로 하여금 상기 디컨벌루션 특징 맵에 차선 검출 FC 연산을 가하여 상기 시각 종속형 주행 이미지 상에 위치하는 상기 차선을 검출하도록 하는 프로세스를 수행한다.
일 실시예에서, 상기 주행 안전 정보 분석 장치가, 상기 특징 맵을 상기 식별 네트워크로 입력함으로써, 상기 식별 네트워크로 하여금, (i) 글로벌 풀링 레이어를 통해 상기 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 글로벌 특징 벡터를 생성하도록 하며, (ii) 식별 FC 레이어를 통해 상기 글로벌 특징 벡터에 식별 FC 연산을 가하여 주행 환경 정보를 생성하도록 하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지에 대응하는 상기 주행 환경을 검출하는 프로세스를 수행한다.
일 실시예에서, 상기 주행 안전 정보 분석 장치가, 상기 가속도 정보와 상기 자이로스코프 정보를 상기 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금, 하나 이상의 LSTM(Long Short-Term Memory)을 통해 기설정 시간 동안 상기 가속도 정보와 상기 자이로스코프 정보의 하나 이상 변화 상태에 순환 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 상기 운전자의 상기 상태 정보를 생성하도록 한다.
일 실시예에서, 상기 주행 안전 정보 분석 장치가, 상기 보조 안경에 탑재된 적어도 하나의 조도 센서로부터 획득되는 조도 정보에 응답하여, 상기 보조 안경의 렌즈 투명도를 조정한다.
일 실시예에서, 상기 출력 유닛은, 상기 운전자가 상기 보조 안경을 착용한 경우, (i) 상기 운전자의 적어도 한 쪽 귀에 대응되는 위치에 설치되는 적어도 하나의 스피커 및 (ii) 상기 운전자의 적어도 한 쪽 눈에 대응되는 위치에 설치되는 적어도 하나의 VRD(Virtual Retina Display)를 포함한다.
일 실시예에서, 상기 컨벌루션 네트워크, 상기 검출 네트워크, 상기 세그먼테이션 네트워크, 및 상기 식별 네트워크는 제1 학습 장치에 의해 학습된 상태이되, 상기 제1 학습 장치는, (i) 적어도 하나의 학습용 시각 종속형 주행 이미지를 상기 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금, 적어도 하나의 이전 학습된 컨벌루션 파라미터를 이용한 컨벌루션 연산을 상기 학습용 시각 종속형 주행 이미지에 가하여 적어도 하나의 학습용 특징 맵을 생성하도록 하는 프로세스, (ii) (ii-1) 상기 학습용 특징 맵을 상기 검출 네트워크로 입력함으로써, (ii-1-1) 상기 검출 네트워크의 영역 프로포잘 네트워크로 하여금, 상기 학습용 특징 맵 상에서 적어도 하나의 학습용 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 하나 이상의 학습용 프로포잘 박스를 생성하도록 하고, (ii-1-2) 상기 검출 네트워크의 풀링 레이어로 하여금, 상기 학습용 특징 맵 상에서 상기 학습용 프로포잘 박스 각각에 대응되는 하나 이상의 영역에 풀링 연산을 가하여 적어도 하나의 학습용 객체 특징 벡터를 생성하도록 하며, (ii-1-3) 상기 검출 네트워크의 객체 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 객체 검출 파라미터를 이용한 객체 검출 FC 연산을 상기 학습용 객체 특징 벡터에 가하여, 상기 학습용 프로포잘 박스에 대응되는 다수의 학습용 객체 정보를 생성하도록 하는 프로세스, (ii-2) 상기 학습용 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, (ii-2-1) 상기 세그먼테이션 네트워크의 디컨벌루션 레이어로 하여금, 적어도 하나의 이전 학습된 디컨벌루션 파라미터를 이용한 디컨벌루션 연산을 상기 학습용 특징 맵에 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하고, (ii-2-2) 차선 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 차선 검출 파라미터를 이용한 차선 검출 FC 연산을 상기 디컨벌루션 특징 맵에 가하여, 상기 학습용 시각 종속형 주행 이미지 상에 위치하는 하나 이상의 학습용 차선을 검출하도록 하는 프로세스, (ii-3) 상기 학습용 특징 맵을 상기 식별 네트워크로 입력함으로써, (ii-3-1) 상기 식별 네트워크의 글로벌 풀링 레이어로 하여금, 상기 학습용 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (ii-3-2) 상기 식별 네트워크의 식별 FC 레이어로 하여금, 적어도 하나의 이전 학습된 식별 파라미터를 이용한 식별 FC 연산을 상기 학습용 글로벌 특징 벡터에 가하여 학습용 주행 환경 정보를 생성하도록 하는 프로세스, 및 (iii) (iii-1) 상기 다수의 학습용 객체 정보와 이에 대응되는 제1 GT(ground truth)를 참조하여, 제1 로스 레이어로부터 출력된 하나 이상의 제1 로스가 최소화되도록 상기 객체 검출 FC 레이어의 상기 이전 학습된 객체 검출 파라미터를 업데이트하는 프로세스, (iii-2) 상기 학습용 차선과 이에 대응되는 제2 GT를 참조하여, 제2 로스 레이어로부터 출력된 하나 이상의 제2 로스가 최소화되도록 상기 차선 검출 FC 레이어의 상기 이전 학습된 차선 검출 파라미터 및 상기 디컨벌루션 레이어의 상기 이전 학습된 디컨벌루션 파라미터 중 적어도 하나를 업데이트하는 프로세스, (iii-3) 상기 학습용 주행 환경 정보와 이에 대응되는 제3 GT를 참조하여, 제3 로스 레이어로부터 출력된 하나 이상의 제3 로스가 최소화되도록 상기 식별 FC 레이어의 상기 이전 학습된 식별 파라미터를 업데이트하는 프로세스 및 (iii-4) 상기 제1 로스, 상기 제2 로스, 및 상기 제3 로스, 또는 이로부터 가공한 값을 가중 합산(weighted summation)하여 생성된 적어도 하나의 제4 로스가 최소화되도록 상기 컨벌루션 네트워크의 상기 이전 학습된 컨벌루션 파라미터를 업데이트하는 프로세스를 반복한다.
일 실시예에서, 상기 순환 네트워크는 제2 학습 장치에 의해 학습되되, 상기 제2 학습 장치는, (i) 현재 시점 t부터 이전 시점 (t-k)까지의 학습용 가속도 정보 및 학습용 자이로스코프 정보를 각각의 LSTM에 입력함으로써, 각각의 상기 LSTM으로 하여금, 상기 현재 시점 t부터 상기 이전 시점 (t-k)까지의 상기 학습용 가속도 정보 및 상기 학습용 자이로스코프 정보에 포워드(forward) 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 학습용 주행 상태 정보를 출력하도록 하는 프로세스, 및 (ii) 제4 로스 레이어로 하여금, 상기 학습용 주행 상태 정보와 이에 대응되는 제4 GT를 참조하여 생성된 하나 이상의 제5 로스가 최소화되도록 상기 LSTM의 하나 이상의 파라미터를 조정하도록 하는 프로세스를 수행한다.
본 발명의 다른 태양에 따르면, 운전자가 착용한 보조 안경을 통해 주행 안전 정보를 제공하는 주행 안전 정보 분석 장치에 있어서, 인스트럭션을 저장하는 적어도 하나의 메모리; 및 (I) 자동차의 상기 운전자가 착용한 상기 보조 안경에 탑재된 적어도 하나의 카메라로부터 촬영된, 상기 운전자의 시각에 대응되는 적어도 하나의 시각 종속형 주행 이미지, 상기 보조 안경에 탑재된 하나 이상의 센서로부터의 가속도 정보 및 자이로스코프(gyroscope) 정보가 획득되면, (I-1) 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 하는 프로세스와, 상기 특징 맵을 검출 네트워크, 세그먼테이션 네트워크, 및 식별 네트워크로 각각 입력함으로써, 상기 검출 네트워크로 하여금 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 적어도 하나의 객체를 검출하도록 하며, 상기 세그먼테이션 네트워크로 하여금 상기 시각 종속형 주행 이미지 상의 하나 이상의 차선을 검출하도록 하고, 상기 식별 네트워크로 하여금 상기 시각 종속형 주행 이미지에 대응하는 주행 환경을 검출하도록 하는 프로세스 및 (I-2) 상기 가속도 정보 및 상기 자이로스코프 정보를 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금 상기 가속도 정보와 상기 자이로스코프 정보에 대응되는 상기 운전자의 상태 정보를 생성하도록 하는 프로세스, 및 (II) (II-1) 상기 검출 네트워크에 의해 검출된 상기 객체를 참조하여, 상기 자동차와 상기 객체 간의 예측 충돌 가능성 정보를 상기 보조 안경의 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 상기 세그먼테이션 네트워크에 의해 검출된 상기 차선을 참조하여, 상기 자동차의 차선 이탈 정보를 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스 및 상기 식별 네트워크에 의해 검출된 상기 주행 환경을 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 및 (II-2) 상기 순환 네트워크에 의해 검출된 상기 운전자의 상기 상태 정보를 참조하여, 주행 안전 경고를 상기 출력 유닛을 통해 상기 운전자에게 제공하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 주행 안전 정보 분석 장치가 제공된다.
일 실시예에서, 상기 프로세서가, 상기 특징 맵을 상기 검출 네트워크로 입력함으로써, 상기 검출 네트워크로 하여금, (i) 영역 프로포잘 네트워크를 통해 상기 특징 맵 상에서 상기 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 프로포잘 박스를 생성하도록 하고, (ii) 풀링 레이어를 통해 상기 특징 맵 상에서 상기 프로포잘 박스 각각에 대응되는 하나 이상의 각 영역에 풀링 연산을 가하여 적어도 하나의 객체 특징 벡터를 생성하도록 하며, (iii) 객체 검출 FC(fully-connected) 레이어를 통해 상기 객체 특징 벡터에 객체 검출 FC 연산을 가하여 상기 프로포잘 박스에 대응되는 다수의 객체 정보를 생성하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지 상에 위치하는 상기 객체를 검출하도록 하는 프로세스를 수행한다.
일 실시예에서, 상기 프로세서가, 상기 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, 상기 세그먼테이션 네트워크로 하여금 적어도 하나의 디컨벌루션 레이어를 통해 상기 특징 맵에 디컨벌루션 연산을 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하는 프로세스, 및 상기 디컨벌루션 특징 맵을 적어도 하나의 차선 검출 FC 레이어로 입력함으로써, 상기 차선 검출 FC 레이어로 하여금 상기 디컨벌루션 특징 맵에 차선 검출 FC 연산을 가하여 상기 시각 종속형 주행 이미지 상에 위치하는 상기 차선을 검출하도록 하는 프로세스를 수행한다.
일 실시예에서, 상기 프로세서가, 상기 특징 맵을 상기 식별 네트워크로 입력함으로써, 상기 식별 네트워크로 하여금, (i) 글로벌 풀링 레이어를 통해 상기 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 글로벌 특징 벡터를 생성하도록 하며, (ii) 식별 FC 레이어를 통해 상기 글로벌 특징 벡터에 식별 FC 연산을 가하여 주행 환경 정보를 생성하도록 하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지에 대응하는 상기 주행 환경을 검출하는 프로세스를 수행한다.
일 실시예에서, 상기 프로세서가, 상기 가속도 정보와 상기 자이로스코프 정보를 상기 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금, 하나 이상의 LSTM(Long Short-Term Memory)을 통해 기설정 시간 동안 상기 가속도 정보와 상기 자이로스코프 정보의 하나 이상 변화 상태에 순환 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 상기 운전자의 상기 상태 정보를 생성하도록 한다.
일 실시예에서, 상기 프로세서가, 상기 보조 안경에 탑재된 적어도 하나의 조도 센서로부터 획득되는 조도 정보에 응답하여, 상기 보조 안경의 렌즈 투명도를 조정한다.
일 실시예에서, 상기 출력 유닛은, 상기 운전자가 상기 보조 안경을 착용한 경우, (i) 상기 운전자의 적어도 한 쪽 귀에 대응되는 위치에 설치되는 적어도 하나의 스피커 및 (ii) 상기 운전자의 적어도 한 쪽 눈에 대응되는 위치에 설치되는 적어도 하나의 VRD(Virtual Retina Display)를 포함한다.
일 실시예에서, 상기 컨벌루션 네트워크, 상기 검출 네트워크, 상기 세그먼테이션 네트워크, 및 상기 식별 네트워크는 제1 학습 장치에 의해 학습된 상태이되, 상기 제1 학습 장치는, (i) 적어도 하나의 학습용 시각 종속형 주행 이미지를 상기 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금, 적어도 하나의 이전 학습된 컨벌루션 파라미터를 이용한 컨벌루션 연산을 상기 학습용 시각 종속형 주행 이미지에 가하여 적어도 하나의 학습용 특징 맵을 생성하도록 하는 프로세스, (ii) (ii-1) 상기 학습용 특징 맵을 상기 검출 네트워크로 입력함으로써, (ii-1-1) 상기 검출 네트워크의 영역 프로포잘 네트워크로 하여금, 상기 학습용 특징 맵 상에서 적어도 하나의 학습용 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 하나 이상의 학습용 프로포잘 박스를 생성하도록 하고, (ii-1-2) 상기 검출 네트워크의 풀링 레이어로 하여금, 상기 학습용 특징 맵 상에서 상기 학습용 프로포잘 박스 각각에 대응되는 하나 이상의 영역에 풀링 연산을 가하여 적어도 하나의 학습용 객체 특징 벡터를 생성하도록 하며, (ii-1-3) 상기 검출 네트워크의 객체 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 객체 검출 파라미터를 이용한 객체 검출 FC 연산을 상기 학습용 객체 특징 벡터에 가하여, 상기 학습용 프로포잘 박스에 대응되는 다수의 학습용 객체 정보를 생성하도록 하는 프로세스, (ii-2) 상기 학습용 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, (ii-2-1) 상기 세그먼테이션 네트워크의 디컨벌루션 레이어로 하여금, 적어도 하나의 이전 학습된 디컨벌루션 파라미터를 이용한 디컨벌루션 연산을 상기 학습용 특징 맵에 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하고, (ii-2-2) 차선 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 차선 검출 파라미터를 이용한 차선 검출 FC 연산을 상기 디컨벌루션 특징 맵에 가하여, 상기 학습용 시각 종속형 주행 이미지 상에 위치하는 하나 이상의 학습용 차선을 검출하도록 하는 프로세스, (ii-3) 상기 학습용 특징 맵을 상기 식별 네트워크로 입력함으로써, (ii-3-1) 상기 식별 네트워크의 글로벌 풀링 레이어로 하여금, 상기 학습용 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (ii-3-2) 상기 식별 네트워크의 식별 FC 레이어로 하여금, 적어도 하나의 이전 학습된 식별 파라미터를 이용한 식별 FC 연산을 상기 학습용 글로벌 특징 벡터에 가하여 학습용 주행 환경 정보를 생성하도록 하는 프로세스, 및 (iii) (iii-1) 상기 다수의 학습용 객체 정보와 이에 대응되는 제1 GT(ground truth)를 참조하여, 제1 로스 레이어로부터 출력된 하나 이상의 제1 로스가 최소화되도록 상기 객체 검출 FC 레이어의 상기 이전 학습된 객체 검출 파라미터를 업데이트하는 프로세스, (iii-2) 상기 학습용 차선과 이에 대응되는 제2 GT를 참조하여, 제2 로스 레이어로부터 출력된 하나 이상의 제2 로스가 최소화되도록 상기 차선 검출 FC 레이어의 상기 이전 학습된 차선 검출 파라미터 및 상기 디컨벌루션 레이어의 상기 이전 학습된 디컨벌루션 파라미터 중 적어도 하나를 업데이트하는 프로세스, (iii-3) 상기 학습용 주행 환경 정보와 이에 대응되는 제3 GT를 참조하여, 제3 로스 레이어로부터 출력된 하나 이상의 제3 로스가 최소화되도록 상기 식별 FC 레이어의 상기 이전 학습된 식별 파라미터를 업데이트하는 프로세스 및 (iii-4) 상기 제1 로스, 상기 제2 로스, 및 상기 제3 로스, 또는 이로부터 가공한 값을 가중 합산(weighted summation)하여 생성된 적어도 하나의 제4 로스가 최소화되도록 상기 컨벌루션 네트워크의 상기 이전 학습된 컨벌루션 파라미터를 업데이트하는 프로세스를 반복한다.
일 실시예에서, 상기 순환 네트워크는 제2 학습 장치에 의해 학습되되, 상기 제2 학습 장치는, (i) 현재 시점 t부터 이전 시점 (t-k)까지의 학습용 가속도 정보 및 학습용 자이로스코프 정보를 각각의 LSTM에 입력함으로써, 각각의 상기 LSTM으로 하여금, 상기 현재 시점 t부터상기 이전 시점 (t-k)까지의 상기 학습용 가속도 정보 및 상기 학습용 자이로스코프 정보에 포워드(forward) 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 학습용 주행 상태 정보를 출력하도록 하는 프로세스, 및 (ii) 제4 로스 레이어로 하여금, 상기 학습용 주행 상태 정보와 이에 대응되는 제4 GT를 참조하여 생성된 하나 이상의 제5 로스가 최소화되도록 상기 LSTM의 하나 이상의 파라미터를 조정하도록 하는 프로세스를 수행한다.
본 발명의 또 다른 태양에 따르면, 운전자에게 주행 안전 정보를 제공하는 보조 안경에 있어서, 상기 운전자가 착용할 수 있는 상기 보조 안경; 상기 보조 안경에 탑재된, 상기 운전자의 시각에 대응되는 적어도 하나의 시각 종속형 주행 이미지를 촬영하는 카메라, 가속도 센서, 및 자이로스코프(gyroscope) 센서를 포함하는 하나 이상의 센서; 및 상기 운전자에게 주행 안전 정보를 제공하는, 상기 보조 안경의 출력 유닛;을 포함하되, 상기 보조 안경은, (I) (I-1) 상기 카메라로부터 획득된 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 하는 프로세스와, 상기 특징 맵을 검출 네트워크, 세그먼테이션 네트워크, 및 식별 네트워크로 각각 입력함으로써, 상기 검출 네트워크로 하여금 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 적어도 하나의 객체를 검출하도록 하며, 상기 세그먼테이션 네트워크로 하여금 상기 시각 종속형 주행 이미지 상의 하나 이상의 차선을 검출하도록 하고, 상기 식별 네트워크로 하여금 상기 시각 종속형 주행 이미지에 대응하는 주행 환경을 검출하도록 하는 프로세스, 및 (I-2) 상기 가속도 센서로부터 획득된 가속도 정보 및 상기 자이로스코프 센서로부터 획득된 자이로스코프 정보를 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금 상기 가속도 정보와 상기 자이로스코프 정보에 대응되는 상기 운전자의 상태 정보를 생성하도록 하는 프로세스, 및 (II) (II-1) 상기 검출 네트워크에 의해 검출된 상기 객체를 참조하여, 상기 운전자의 자동차와 상기 객체 간의 예측 충돌 가능성 정보를 상기 보조 안경의 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 상기 세그먼테이션 네트워크에 의해 검출된 상기 차선을 참조하여, 상기 운전자의 상기 자동차의 차선 이탈 정보를 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스 및 상기 식별 네트워크에 의해 검출된 상기 주행 환경을 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 및 (II-2) 상기 순환 네트워크에 의해 검출된 상기 운전자의 상기 상태 정보를 참조하여, 주행 안전 경고를 상기 출력 유닛을 통해 상기 운전자에게 제공하는 프로세스를 수행하는 주행 안전 정보 분석 장치를 포함하는 것을 특징으로 하는 보조 안경이 제공된다.
일 실시예에서, 상기 센서는, 상기 보조 안경에 탑재된 적어도 하나의 조도 센서를 더 포함하며, 상기 주행 안전 정보 분석 장치는, 상기 조도 센서로부터 획득되는 조도 정보에 응답하여, 상기 보조 안경의 하나 이상의 렌즈의 투명도를 조정하는 프로세스를 더 수행한다.
일 실시예에서, 상기 출력 유닛은, 상기 운전자가 상기 보조 안경을 착용한 경우, (i) 상기 운전자의 적어도 한 쪽 귀에 대응되는 위치에 설치되는 적어도 하나의 스피커 및 (ii) 상기 운전자의 적어도 한 쪽 눈에 대응되는 위치에 설치되는 적어도 하나의 VRD(Virtual Retina Display)를 포함한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 보조 안경에 포함된 카메라와 센서로부터 각각 획득된 주행 이미지와 센서 정보를 이용한 뉴럴 네트워크를 통해 주행 환경과 운전자 상태를 식별할 수 있도록 함으로써 종래 방법에 비하여 제작 비용을 절감할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 상기 보조 안경에 포함된 상기 카메라와 상기 센서로부터 각각 획득된 상기 주행 이미지와 상기 센서 정보를 이용한 상기 뉴럴 네트워크를 통해 주변 모니터링, 운전자 모니터링, 및 위험 상황 식별을 할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 상기 주행 이미지와 상기 센서 정보를 이용한 상기 뉴럴 네트워크를 통해 획득된 운전자 보조 정보를 운전자에게 통보하여 줄 수 있는 효과가 있다.
또한, 본 발명에 의하면, 상기 운전자가 착용할 수 있는 상기 보조 안경을 통해 운전자 보조 시스템을 구현함으로써, 자동차에 상기 센서와 상기 카메라를 설치하는 종래 방법에 비하여 상기 운전자 보조 시스템의 설치에 소요되는 시간과 비용을 절감할 수 있는 효과가 있다.
또한, 본 발명에 의하면, 상기 운전자가 착용한 상기 보조 안경을 통해 상기 운전자 보조 시스템을 구현함으로써, 상기 운전자에 최적화된 주행 정보들을 제공하여 줄 수 있는 효과가 있다.
본 발명의 상기 및 다른 목적 및 특징은 다음의 첨부 도면과 함께 주어진 바람직한 실시예들의 설명에서 명백해질 것이다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 보조 안경을 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 상기 자율 주행 보조 안경의 블록 구성도를 개략적으로 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 상기 자율 주행 보조 안경으로부터 획득되는 정보들을 분석하여 운전 보조 정보를 제공하기 위해 이용될 주행 안전 정보 분석 장치를 개략적으로 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 상기 자율 주행 보조 안경의 상기 주행 안전 정보 분석 장치가 적어도 하나의 시각 종속형 주행 이미지를 이용하여, 적어도 하나의 주행 환경을 검출하는 프로세스를 개략적으로 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 상기 자율 주행 보조 안경의 주행 상기 안전 분석 장치가 센서 정보를 이용하여, 적어도 하나의 운전자 상태를 검출하는 프로세스를 개략적으로 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 상기 자율 주행 보조 안경의 주행 안전 정보 분석 장치가 하나 이상의 충돌 방지 및 하나 이상의 차선 이탈을 경고하여 주는 프로세스를 개략적으로 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 상기 자율 주행 보조 안경의 주행 안전 정보 분석 장치가 적어도 하나의 주행 상황을 안내하는 주는 프로세스를 개략적으로 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 상기 자율 주행 보조 안경의 주행 안전 정보 분석 장치에 의해, 안전 운전을 권고하는 경고 프로세스를 개략적으로 도시한 것이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
본 원 명세서에 제공된 본 발명의 제목 및 요약은 편의를 위한 것으로, 실시예의 범위를 한정하거나 실시예의 의미를 해석하는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 보조 안경을 개략적으로 도시한 것이고, 상기 보조 안경은 자동차의 운전자가 착용하는 안경이다. 또한, 상기 운전자의 시각에 대응되는 적어도 하나의 시각 종속형 주행 이미지를 검출하는 적어도 하나의 카메라가 상기 보조 안경에 탑재될 수 있으며, 적어도 하나의 가속도 센서, 적어도 하나의 자이로스코프(gyroscope) 센서, 및 적어도 하나의 조도 센서 등을 포함하는 센서가 상기 보조 안경에 탑재될 수 있다.
그리고, 상기 운전자에게 주행 안전 정보를 출력하여 제공해 주는 적어도 하나의 출력 유닛이 상기 보조 안경에 탑재될 수 있다. 상기 출력 유닛은, 상기 운전자가 상기 보조 안경을 착용한 경우, (i) 음성 정보의 출력에 이용될, 상기 운전자의 적어도 한 쪽 귀에 대응되는 위치에 설치되는 적어도 하나의 스피커 및 (ii) 시각 정보의 출력에 이용될, 상기 운전자의 적어도 한 쪽 눈에 대응되는 위치에 설치되는 적어도 하나의 VRD(Virtual Retina Display)를 포함할 수 있지만, 이에 한정되는 것은 아니다.
또한, 주변 조도에 따라 투명도를 조정할 수 있는 적어도 하나의 투명도 조정 렌즈가 상기 보조 안경에 이용될 수 있다. 이때, 상기 보조 안경은 하나 이상의 투명도 조정 렌즈를 포함할 수 있다.
또한, 상기 보조 안경은 주행 안전 정보 분석 장치를 포함할 수 있다. 상기 주행 안전 정보 분석 장치는, 상기 카메라 및 상기 센서로부터 각각 획득되는 상기 시각 종속형 주행 이미지 및 상기 센서 정보를 뉴럴 네트워크, 예를 들어 딥 뉴럴 네트워크를 이용해 분석함으로써 주행 환경 정보 및 상기 운전자의 상태 정보를 획득하고, 이를 참조하여 상기 주행 안전 정보를 제공할 수 있다. 이때, 상기 주행 안전 정보 분석 장치는 상기 보조 안경에 탑재되거나, 상기 보조 안경으로부터 분리될 수 있지만, 유무선 통신을 통해 상기 보조 안경과 통신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 상기 보조 안경의 블록 구성도를 개략적으로 도시한 것으로, 자율 주행 보조 장치(1000)는 하나 이상의 입력 센서(100), 상기 주행 안전 정보 분석 장치(200), 및 적어도 하나의 출력 유닛(300)을 포함할 수 있다.
상기 입력 센서(100)는 주행 정보를 획득하기 위해 이용될, 상기 카메라, 상기 가속도 센서, 상기 자이로스코프 센서, 및 상기 조도 센서 등과 같은 센서를 포함할 수 있다. 상기 카메라는 주행 중인 상기 자동차의 상기 운전자의 시각에 대응되는 상기 시각 종속형 주행 이미지를 촬영하며, 상기 가속도 센서와 상기 자이로스코프 센서는 상기 운전자의 행동 패턴에 따른 가속도 정보와 자이로스코프 정보를 획득하며, 상기 조도 센서는 상기 운전자의 주변 조도를 획득할 수 있다. 이때, 상기 카메라는 상기 운전자의 시각에 대응되는 상기 시각 종속형 주행 이미지를 검출하고, 상기 시각 종속형 주행 이미지는 상기 주행 정보의 일부로 볼 수도 있으므로 본 발명에 걸쳐 상기 입력 센서가 상기 카메라를 포함할 수도 있다.
상기 주행 안전 정보 분석 장치(200)는, 상기 시각 종속형 주행 이미지를 분석하여 적어도 한 명의 보행자, 다른 자동차 중 적어도 하나 등의 하나 이상의 객체를 검출하는 검출 네트워크, 상기 시각 종속형 주행 이미지를 분석하여 하나 이상의 차선을 식별하는 세그먼테이션 네트워크, 및 상기 시각 종속형 주행 이미지를 분석하여 날씨, 시간, 장소 등을 식별하는 식별 네트워크를 포함할 수 있다. 이때, 각각의 상기 네트워크는 구별하여 설명되었으나, 하나의 네트워크에서 각각의 상기 네트워크의 기능을 수행하도록 구현될 수도 있다.
상기 출력 유닛(300)은, 상기 주행 안전 정보를 시각적으로 보여주는 상기 VRD, 상기 주행 안전 정보를 청각적으로 전달하는 상기 스피커, 및 상기 주변 조도에 따라 투명도를 조정할 수 있는 상기 투명도 조정 렌즈를 포함할 수 있다. 이때, 상기 투명도 조정 렌즈는 상기 조도 센서로부터 획득되는 주변 조도 정보에 응답하여 자동적으로 렌즈의 투명도를 조정할 수 있다.
한편, 상기 주행 안전 정보 분석 장치(200)는, 상기 카메라로부터 획득된 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금, 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 하고, 상기 특징 맵을 상기 검출 네트워크, 상기 세그먼테이션 네트워크, 및 상기 식별 네트워크로 각각 입력할 수 있다. 그리고, 상기 주행 안전 정보 분석 장치(200)는, (i) 상기 검출 네트워크로 하여금, 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 적어도 하나의 객체를 검출하도록 하는 프로세스, (ii) 상기 세그먼테이션 네트워크로 하여금, 상기 시각 종속형 주행 이미지 상에 위치한 하나 이상의 차선을 검출하도록 하는 프로세스, (iii) 상기 식별 네트워크로 하여금, 상기 시각 종속형 주행 이미지에 대응하는 상기 주행 환경을 검출하도록 하는 프로세스, 및 (iv) 상기 가속도 센서로부터 획득된 상기 가속도 정보 및 상기 자이로스코프 센서로부터 획득된 상기 자이로스코프 정보를 순환(recurrent) 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금, 상기 가속도 정보와 상기 자이로스코프 정보에 대응되는 상기 운전자의 상태 정보를 생성하도록 하는 프로세스를 수행할 수 있다. 그 후, 상기 주행 안전 정보 분석 장치(200)가, (i) 상기 검출 네트워크에 의해 검출된 상기 객체를 참조하여, 상기 자동차와 상기 객체 간의 예측 충돌 가능성 정보를 상기 보조 안경의 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 상기 세그먼테이션 네트워크에 의해 검출된 상기 차선을 참조하여, 상기 자동차의 차선 이탈 정보를 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스 및 상기 식별 네트워크에 의해 검출된 상기 주행 환경을 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 및 (ii) 상기 순환 네트워크에 의해 검출된 상기 운전자의 상기 상태 정보를 참조하여, 주행 안전 경고를 상기 출력 유닛을 통해 상기 운전자에게 제공하는 프로세스를 수행할 수 있다. 이에 더하여, 상기 주행 안전 정보 분석 장치(200)는, 상기 보조 안경에 탑재된 상기 조도 센서로부터 획득되는 상기 조도 정보에 응답하여 상기 보조 안경의 렌즈의 상기 투명도를 조절하는 프로세스를 더 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 상기 보조 안경으로부터 획득되는 정보를 분석하여 상기 주행 안전 정보를 제공하는 상기 주행 안전 정보 분석 장치(200)를 개략적으로 도시한 것이다. 도 3을 참조하면, 상기 주행 안전 정보 분석 장치(200)는 인스트럭션을 저장하는 메모리(201)를 포함할 수 있고, 상기 메모리(201)에 저장된 상기 인스트럭션에 대응하는 프로세스를 수행하기 위한 프로세서(202)를 포함할 수 있다. 상기 인스트럭션은, 딥 뉴럴 네트워크와 같은 상기 뉴럴 네트워크를 이용해 상기 카메라 및 상기 센서로부터 획득된 상기 시각 종속형 주행 이미지와 상기 센서 정보를 분석하여 상기 주행 환경 정보 및 상기 운전자의 상기 상태 정보를 획득하고, 이를 참조하여 상기 주행 안전 정보를 제공하기 위해 사용될 수 있다. 즉, 상기 프로세서(202)는 상기 뉴럴 네트워크를 이용하여, 상기 카메라로부터 획득된 상기 시각 종속형 주행 이미지 및 상기 센서로부터 획득된 상기 센서 정보를 분석하고, 상기 주행 환경 정보 및 상기 상태 정보를 획득함으로써, 이를 참조하여 상기 주행 안전 정보를 제공할 수 있다.
구체적으로, 상기 주행 안전 정보 분석 장치(200)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치, 출력 장치, 및 기타 기존의 컴퓨팅 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 상기 컴퓨팅 장치는 운영체제, 및 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 상기 컴퓨팅 장치가 본 발명을 실시하기 위한 미디엄(medium), 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
본 발명의 일 실시예에 따른 상기 뉴럴 네트워크를 이용하여 상기 카메라로부터 획득된 상기 시각 종속형 주행 이미지를 분석하고, 상기 주행 안전 정보 분석 장치(200)를 이용하여 상기 주행 환경을 검출하는 방법을 도 4를 참조하여 설명하면 다음과 같다.
먼저, 상기 카메라로부터 촬영된 상기 시각 종속형 주행 이미지가 획득되면, 상기 주행 안전 정보 분석 장치(200)가, 상기 시각 종속형 주행 이미지를 상기 컨벌루션 네트워크(210)로 입력함으로써, 상기 컨벌루션 네트워크(210)로 하여금 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 할 수 있다. 이때, 상기 컨벌루션 네트워크(210)는 적어도 하나의 컨벌루션 레이어를 포함하고, 상기 시각 종속형 주행 이미지에 적어도 하나의 컨벌루션 연산을 가할 수 있다.
다음으로, 상기 주행 안전 정보 분석 장치(200)는, 상기 특징 맵을 상기 검출 네트워크(220)로 입력함으로써, 상기 검출 네트워크(220)로 하여금 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 상기 다른 자동차, 상기 보행자 등의 상기 객체를 검출하도록 할 수 있다.
즉, 상기 주행 안전 정보 분석 장치(200)가, 상기 특징 맵을 상기 검출 네트워크(220)로 입력함으로써, 상기 검출 네트워크(220)로 하여금, (i) 영역 프로포잘 네트워크(221)를 통해 상기 특징 맵 상에서 상기 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 프로포잘 박스를 생성하도록 하고, (ii) 풀링 레이어(222)를 통해 상기 특징 맵 상에서 상기 프로포잘 박스 각각에 대응되는 하나 이상의 각 영역에 풀링 연산을 가하여 적어도 하나의 객체 특징 벡터를 생성하도록 하며, (iii) 객체 검출 FC(fully-connected) 레이어(223)를 통해 상기 객체 특징 벡터에 객체 검출 FC 연산을 가하여 상기 프로포잘 박스에 대응되는 다수의 객체 정보를 생성하는 프로세스 및 결과적으로, 상기 시각 종속형 주행 이미지 상에 위치하는 상기 객체를 검출하도록 하는 프로세스를 수행할 수 있다.
이때, 상기 객체 검출 FC 레이어(223)는 단일 레이어로 설명되었으나, 상기 시각 종속형 주행 이미지 내 상기 객체 중의 상기 보행자 및 상기 다른 자동차를 식별하기 위해 다중의 객체 검출 FC 레이어가 이용될 수도 있다. 또한, 상기 시각 종속형 주행 이미지 내 상기 객체 중에서, 상기 보행자 및 상기 다른 자동차가 식별되고 출력되었으나, 본 발명의 범위는 이에 한정되지 않는다.
또한, 상기 주행 안전 정보 분석 장치(200)는 상기 특징 맵을 상기 세그먼테이션 네트워크(230)로 입력함으로써, 상기 세그먼테이션 네트워크(230)로 하여금 상기 시각 종속형 주행 이미지 상의 상기 차선을 검출하도록 한다.
즉, 상기 주행 안전 정보 분석 장치(200)가, 상기 특징 맵을 상기 세그먼테이션 네트워크(230)로 입력함으로써, 상기 세그먼테이션 네트워크(230)로 하여금 적어도 하나의 디컨벌루션 레이어(231)를 통해 상기 특징 맵에 디컨벌루션 연산을 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하는 프로세스, 및 상기 디컨벌루션 특징 맵을 적어도 하나의 차선 검출 FC 레이어(232)로 입력함으로써, 상기 차선 검출 FC 레이어(232)로 하여금 상기 디컨벌루션 특징 맵에 차선 검출 FC 연산을 가하여 상기 시각 종속형 주행 이미지 상에 위치하는 상기 차선을 검출하도록 하는 프로세스를 수행할 수 있다.
이때, 상기 차선 검출 FC 레이어(232)는 단일 레이어로 설명되었으나, 상기 시각 종속형 주행 이미지 내 상기 차선을 검출하기 위해 다중의 차선 검출 FC 레이어가 이용될 수도 있다.
한편, 상기에서는 상기 차선 검출 FC 레이어를 설명하였으나, 이와는 달리 상기 차선 검출 FC 레이어가 아닌 적어도 하나의 1 x 1 컨벌루션 레이어를 이용하여 상기 디컨벌루션 특징 맵으로부터 상기 차선을 검출할 수 있다. 본 발명은 상기 차선 검출 FC 레이어와 상기 1 x 1 컨벌루션 레이어 이외에도, 이미지 세그먼테이션에 대한 다양한 뉴럴 네트워크 혹은 딥 뉴럴 네트워크를 사용할 수 있다.
또한, 상기 주행 안전 정보 분석 장치(200)는 상기 특징 맵을 상기 식별 네트워크(240)로 입력함으로써, 상기 식별 네트워크(240)로 하여금, 상기 시각 종속형 주행 이미지에 대응하는 상기 주행 환경을 검출하도록 할 수 있다.
즉, 상기 주행 안전 정보 분석 장치(200)가, 상기 특징 맵을 상기 식별 네트워크(240)로 입력함으로써, 상기 식별 네트워크(240)로 하여금, (i) 글로벌 풀링 레이어(241)를 통해 상기 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 글로벌 특징 벡터를 생성하도록 하며, (ii) 식별 FC 레이어(242)를 통해 상기 글로벌 특징 벡터에 식별 FC 연산을 가하여 상기 주행 환경 정보를 생성하도록 하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지에 대응하는, 날씨 시간, 장소 등과 같은 상기 주행 환경을 검출하는 프로세스를 수행할 수 있다.
이때, 상기 식별 FC 레이어(242)는 단일 레이어로 설명되었으나, 상기 시각 종속형 주행 이미지에 대응되는 상기 주행 환경을 검출하기 위해 다중의 식별 FC 레이어가 이용될 수도 있다.
그리고, 본 발명의 일 실시예에 따른 상기 주행 안전 정보 분석 장치(200)를 이용하여 상기 센서 정보로부터 적어도 하나의 운전자 상태를 검출하는 방법을 도 5를 참조하여 설명하면 다음과 같다.
상기 가속도 센서로부터, 가속도 X, 가속도 Y 및 가속도 Z의 상기 센서 정보, 및 상기 자이로스코프 센서로부터, 각도 X, 각도 Y 및 각도 Z의 상기 센서 정보가 획득된 경우, 현재 시점 t부터 이전 시점 (t-k)까지의 상기 센서 정보 각각이 적어도 하나의 포워드(forward) 연산을 위한 다중의 LSTM(Long Short-Term Memories)으로 입력됨으로써, 상기 운전자의 머리의 가속도 및 위치에 대응하는 상기 운전자의 행동 패턴을 이용하여, 상기 운전자의 적어도 하나의 행동 및 적어도 하나의 상황, 즉 상기 운전자 상태를 식별할 수 있다.
이때, 상기 운전자 상태는, 주의 분산, 졸음 운전, DUI(driving　under　the　influence) 등을 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
다음으로, 상기에서와 같은 프로세스에 의해 검출/식별된, 상기 주행 환경 및 상기 운전자 상태를 참조하여 상기 주행 안전 정보를 제공하는 방법을 설명한다.
먼저, 도 6을 참조하면, 도 4에서와 같은 프로세스에 따라 상기 시각 종속형 주행 이미지 내의, 상기 보행자 및 상기 다른 자동차를 포함하는 상기 객체가 검출된 상태에서, 상기 주행 안전 정보 분석 장치(200)는, 각각의 상기 객체가 상기 운전자의 상기 자동차와의 충돌 경로 상에 있는지 판단한다. 일 예로, 속도, 운전대 각도, 브레이크 상태 등의 현재 주행 정보를 참조하여, 상기 현재 주행 정보를 유지할 경우, 상기 시각 종속형 주행 이미지의 이미지 분석에 의해 검출된 각각의 상기 객체가 상기 운전자의 상기 자동차와의 상기 충돌 경로 상에 있는지를 판단할 수 있다.
이때, 상기 시각 종속형 주행 이미지의 상기 이미지 분석에 의해 검출된 상기 객체 중 적어도 어느 하나가 상기 충돌 경로 상에 있는 것으로 판단되면, 상기 주행 안전 정보 분석 장치(200)는, 충돌 경고 메시지를 상기 VRD를 통해 출력하거나 충돌 경고 음성을 상기 스피커를 통해 출력함으로써, 상기 운전자가 충돌을 방지할 수 있도록 한다.
그리고, 상기 주행 안전 정보 분석 장치(200)는, 도 4에서와 같은 프로세스에 따라 상기 시각 종속형 주행 이미지로부터 검출된 차선 정보를 참조하여 상기 차선이 정상 위치에 있는지에 대한 여부, 즉, 상기 운전자의 상기 자동차의 주행 방향이 상기 차선을 이탈하지 않고 정상 위치에 있는지에 대한 여부를 판단할 수 있다.
이때, 상기 시각 종속형 주행 이미지의 상기 이미지 분석에 의해 검출된 상기 차선이 정상 위치가 아닌 것으로 판단되는 경우, 즉, 상기 자동차가 차선을 이탈한 것으로 판단되는 경우, 상기 주행 안전 정보 분석 장치(200)는, 차선 이탈 경고 메시지를 상기 VRD를 통해 출력하거나 차선 이탈 경고 음성을 상기 스피커를 통해 출력함으로써, 상기 운전자가 차선 이탈을 방지할 수 있도록 한다.
다음으로, 도 7을 참조하면, 도 4에서와 같은 상기 프로세스에 따라 상기 시각 종속형 주행 이미지로부터 식별된 상기 주행 환경이 획득된 경우, 상기 주행 안전 정보 분석 장치(200)가, 상기 주행 환경에 대응되는 안내 메시지를 상기 VRD를 통해 출력하거나 상기 주행 환경에 대응되는 안내 음성을 상기 스피커를 통해 출력하도록 함으로써, 상기 운전자가 상기 주행 환경을 인지할 수 있도록 한다. 일 예로, 상기 주행 안전 정보 분석 장치(200)는, 터널 진입 안내, 역광 주의 안내, 폭설 및 폭우 시 저속 주행 안내 등과 같이, 상기 운전자 편의를 위한 상기 주행 환경 및 주행 안전에 대한 안내 정보를 상기 운전자에게 통보하여 줄 수 있다.
또한, 상기 주행 안전 정보 분석 장치(200)는, 상기 조도 센서로부터 획득되는 주변 조도에 따라 상기 운전자의 시야를 확보 하기 위하여, 상기 보조 안경의 상기 투명도 조정 렌즈로 하여금, 자신의 투명도를 상기 주변 조도에 응답하여 조정하도록 할 수 있다. 이때, 상기 투명도 조정 렌즈는, 상기 조도 센서로부터 직접적으로 획득된 주변 조도 정보에 응답하여, 자동적으로 상기 투명도를 조정할 수 있다.
다음으로, 도 8을 참조하면, 도 5에서와 같은 상기 프로세스에 따라 상기 가속도 센서와 상기 자이로스코프 센서를 이용하여 분석된 상기 운전자 상태가 획득되면, 상기 주행 안전 정보 분석 장치(200)가, 상기 운전자에 대해 식별된 행동에 대응되는 경고 메시지를 상기 VRD를 통해 출력하거나 상기 식별된 행동에 대응되는 경고 음성을 상기 스피커를 통해 출력할 수 있다. 일 예로, 상기 운전자 상태가 상기 주의 분산 상태인 것으로 판단된 경우, 상기 운전자가 전방을 주시하도록 경고를 줄 수 있으며, 상기 운전자 상태가 상기 졸음 운전 또는 상기 DUI 상태인 것으로 판단된 경우, 상기 졸음 운전 또는 상기 DUI와 관련한 경고가 운전자에게 제공될 수 있다.
따라서, 본 발명은, 상기 자동차의 상기 운전자가 착용하는 상기 보조 안경에 포함된 상기 카메라와 상기 센서로부터 획득되는 상기 시각 종속형 주행 이미지와 상기 센서 정보를 딥 뉴럴 네트워크를 통해 분석함으로써, 상기 주행 환경과 상기 운전자를 모니터링하며, 모니터링된 상기 주행 환경과 상기 운전자 상태에 대응하는 위험 상황을 식별하여 이를 상기 운전자에게 경고하여 주고, 상기 주행 환경과 상기 운전자 상태에 대응되는 상기 주행 안전을 위한 상기 주행 안전 정보를 생성하여, 디스플레이 또는 음성을 이용하여 상기 운전자가 알 수 있도록 통보하여 줄 수 있다.
한편, 상기 주행 안전 정보 분석 장치(200)의 상기 컨벌루션 네트워크(210), 상기 검출 네트워크(220), 상기 세그먼테이션 네트워크(230), 및 상기 식별 네트워크(240)는 제1 학습 장치에 의해 학습된 상태일 수 있다.
즉, 상기 제1 학습 장치는, 학습용 시각 종속형 주행 이미지를 상기 컨벌루션 네트워크(210)로 입력하고, 상기 컨벌루션 네트워크(210)로 하여금, 적어도 하나의 이전 학습된 컨벌루션 파라미터를 이용한 적어도 하나의 컨벌루션 연산을 상기 학습용 시각 종속형 주행 이미지에 가하도록 함으로써, 적어도 하나의 학습용 특징 맵을 생성할 수 있다.
그리고, 상기 제1 학습 장치는, 상기 학습용 특징 맵을 상기 검출 네트워크(220)로 입력함으로써, (i) 상기 검출 네트워크(220)의 상기 영역 프로포잘 네트워크(221)로 하여금, 상기 학습용 특징 맵 상에서 적어도 하나의 학습용 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 학습용 프로포잘 박스를 생성하도록 하고, (ii) 상기 검출 네트워크(220)의 상기 풀링 레이어(222)로 하여금, 상기 학습용 특징 맵 상에서 상기 학습용 프로포잘 박스 각각에 대응되는 하나 이상의 영역 각각에 풀링 연산을 가하여 적어도 하나의 학습용 객체 특징 벡터를 생성하도록 하며, (iii) 상기 검출 네트워크(220)의 상기 객체 검출 FC 레이어(223)로 하여금, 적어도 하나의 이전 학습된 객체 검출 파라미터를 이용한 객체 검출 FC 연산을 상기 학습용 객체 특징 벡터에 가하여, 상기 학습용 프로포잘 박스에 대응되는 다수의 학습용 객체 정보를 생성하도록 하는 프로세스를 수행할 수 있다.
또한, 상기 제1 학습 장치는, 상기 학습용 특징 맵을 상기 세그먼테이션 네트워크(230)로 입력함으로써, 상기 세그먼테이션 네트워크(230)의 상기 디컨벌루션 레이어(231)로 하여금, 적어도 하나의 이전 학습된 디컨벌루션 파라미터를 이용한 디컨벌루션 연산을 상기 학습용 특징 맵에 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하는 프로세스, 및 상기 디컨벌루션 특징 맵을 상기 차선 검출 FC 레이어(232)로 입력함으로써, 상기 차선 검출 FC 레이어(232)로 하여금, 적어도 하나의 이전 학습된 차선 검출 파라미터를 이용한 차선 검출 FC 연산을 상기 디컨벌루션 특징 맵에 가하여, 상기 학습용 시각 종속형 주행 이미지 상에 위치하는 하나 이상의 학습용 차선을 검출하도록 하는 프로세스를 수행할 수 있다.
또한, 상기 제1 학습 장치는, 상기 학습용 특징 맵을 상기 식별 네트워크(240)로 입력함으로써, (i) 상기 식별 네트워크(240)의 상기 글로벌 풀링 레이어(241)로 하여금, 상기 학습용 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (ii) 상기 식별 네트워크(240)의 상기 식별 FC 레이어(242)로 하여금, 적어도 하나의 이전 학습된 식별 파라미터를 이용한 식별 FC 연산을 상기 학습용 글로벌 특징 벡터에 가하여 학습용 주행 환경 정보를 생성하도록 하는 프로세스를 수행할 수 있다.
그 후, 상기 제1 학습 장치는, (i) 상기 다수의 학습용 객체 정보와 이에 대응되는 제1 GT(ground truth)를 참조하여, 제1 로스 레이어로부터 출력된 하나 이상의 제1 로스가 최소화되도록 상기 객체 검출 FC 레이어(223)의 상기 이전 학습된 객체 검출 파라미터를 업데이트하는 프로세스, (ii) 상기 학습용 차선과 이에 대응되는 제2 GT를 참조하여, 제2 로스 레이어로부터 출력된 하나 이상의 제2 로스가 최소화되도록 상기 차선 검출 FC 레이어(232)의 상기 이전 학습된 차선 검출 파라미터 및 상기 디컨벌루션 레이어(231)의 상기 이전 학습된 디컨벌루션 파라미터 중 적어도 하나를 업데이트하는 프로세스, (iii) 상기 학습용 주행 환경 정보와 이에 대응되는 제3 GT를 참조하여, 제3 로스 레이어로부터 출력된 하나 이상의 제3 로스가 최소화되도록 상기 식별 FC 레이어의 상기 이전 학습된 식별 파라미터를 업데이트하는 프로세스 및 (iv) 상기 제1 로스, 상기 제2 로스, 및 상기 제3 로스, 또는 이로부터 가공한 값을 가중 합산(weighted summation)하여 생성된 적어도 하나의 제4 로스가 최소화되도록 상기 컨벌루션 네트워크의 상기 이전 학습된 컨벌루션 파라미터를 업데이트하는 프로세스를 반복하여, 상기 학습을 수행할 수 있다.
이때, 상기 제4 로스는, 상기 제1 로스를 이용한 백프로퍼게이션(backpropagation)에 의해 상기 컨벌루션 네트워크(210)로 백워드되는 적어도 하나의 제1 가공값, 상기 제2 로스를 이용한 백프로퍼게이션에 의해 상기 컨벌루션 네트워크(210)로 백워드되는 적어도 하나의 제2 가공값, 및 상기 제3 로스를 이용한 백프로퍼게이션에 의해 상기 컨벌루션 네트워크(210)로 백워드되는 적어도 하나의 제3 가공값의 가중 합산값일 수 있다.
또한, 상기 순환 네트워크는 제2 학습 장치에 의해 학습된 상태일 수 있되, 상기 제2 학습 장치는, 현재 시점 t부터 이전 시점 (t-k)까지의 학습용 가속도 정보 및 학습용 자이로스코프 정보를 각각의 상기 LSTM에 입력함으로써, 각각의 상기 LSTM으로 하여금, 상기 현재 시점 t부터 상기 이전 시점 (t-k)까지의 상기 학습용 가속도 정보 및 상기 학습용 자이로스코프 정보에 포워드(forward) 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 학습용 주행 상태 정보를 출력하도록 하는 프로세스, 및 제4 로스 레이어로 하여금, 상기 학습용 주행 상태 정보와 이에 대응되는 제4 GT를 참조하여 생성된 하나 이상의 제5 로스가 최소화되도록 상기 LSTM의 하나 이상의 파라미터를 조정하도록 하는 프로세스를 수행할 수 있다.
이때, 상기 제1 학습 장치와 상기 제2 학습 장치는, 다수의 시스템으로 구현되거나 단일 시스템으로 구현될 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (21)

  1. 운전자가 착용한 보조 안경을 통해 주행 안전 정보를 제공하는 방법에 있어서,
    (a) 자동차의 상기 운전자가 착용한 상기 보조 안경에 탑재된 적어도 하나의 카메라로부터 촬영된, 상기 운전자의 시각에 대응되는 적어도 하나의 시각 종속형 주행 이미지, 상기 보조 안경에 탑재된 하나 이상의 센서로부터의 가속도 정보 및 자이로스코프(gyroscope) 정보가 획득되면, 주행 안전 정보 분석 장치가, (i) 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 하는 프로세스와, 상기 특징 맵을 검출 네트워크, 세그먼테이션 네트워크, 및 식별 네트워크로 각각 입력함으로써, 상기 검출 네트워크로 하여금 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 적어도 하나의 객체를 검출하도록 하며, 상기 세그먼테이션 네트워크로 하여금 상기 시각 종속형 주행 이미지 상의 하나 이상의 차선을 검출하도록 하고, 상기 식별 네트워크로 하여금 상기 시각 종속형 주행 이미지에 대응하는 주행 환경을 검출하도록 하는 프로세스, 및 (ii) 상기 가속도 정보 및 상기 자이로스코프 정보를 순환(recurrent) 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금 상기 가속도 정보와 상기 자이로스코프 정보에 대응되는 상기 운전자의 상태 정보를 생성하도록 하는 프로세스를 수행하는 단계; 및
    (b) 상기 주행 안전 정보 분석 장치가, (i) 상기 검출 네트워크에 의해 검출된 상기 객체를 참조하여, 상기 자동차와 상기 객체 간의 예측 충돌 가능성 정보를 상기 보조 안경의 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 상기 세그먼테이션 네트워크에 의해 검출된 상기 차선을 참조하여, 상기 자동차의 차선 이탈 정보를 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스 및 상기 식별 네트워크에 의해 검출된 상기 주행 환경을 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 및 (ii) 상기 순환 네트워크에 의해 검출된 상기 운전자의 상기 상태 정보를 참조하여, 주행 안전 경고를 상기 출력 유닛을 통해 상기 운전자에게 제공하는 프로세스를 수행하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 주행 안전 정보 분석 장치가, 상기 특징 맵을 상기 검출 네트워크로 입력함으로써, 상기 검출 네트워크로 하여금, (i) 영역 프로포잘 네트워크를 통해 상기 특징 맵 상에서 상기 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 프로포잘 박스를 생성하도록 하고, (ii) 풀링 레이어를 통해 상기 특징 맵 상에서 상기 프로포잘 박스 각각에 대응되는 하나 이상의 각 영역에 풀링 연산을 가하여 적어도 하나의 객체 특징 벡터를 생성하도록 하며, (iii) 객체 검출 FC(fully-connected) 레이어를 통해 상기 객체 특징 벡터에 객체 검출 FC 연산을 가하여 상기 프로포잘 박스에 대응되는 다수의 객체 정보를 생성하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지 상에 위치하는 상기 객체를 검출하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 주행 안전 정보 분석 장치가, 상기 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, 상기 세그먼테이션 네트워크로 하여금 적어도 하나의 디컨벌루션 레이어를 통해 상기 특징 맵에 디컨벌루션 연산을 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하는 프로세스, 및 상기 디컨벌루션 특징 맵을 적어도 하나의 차선 검출 FC 레이어로 입력함으로써, 상기 차선 검출 FC 레이어로 하여금 상기 디컨벌루션 특징 맵에 차선 검출 FC 연산을 가하여 상기 시각 종속형 주행 이미지 상에 위치하는 상기 차선을 검출하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 주행 안전 정보 분석 장치가, 상기 특징 맵을 상기 식별 네트워크로 입력함으로써, 상기 식별 네트워크로 하여금, (i) 글로벌 풀링 레이어를 통해 상기 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 글로벌 특징 벡터를 생성하도록 하며, (ii) 식별 FC 레이어를 통해 상기 글로벌 특징 벡터에 식별 FC 연산을 가하여 주행 환경 정보를 생성하도록 하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지에 대응하는 상기 주행 환경을 검출하는 프로세스를 수행하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 주행 안전 정보 분석 장치가, 상기 가속도 정보와 상기 자이로스코프 정보를 상기 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금, 하나 이상의 LSTM(Long Short-Term Memory)을 통해 기설정 시간 동안 상기 가속도 정보와 상기 자이로스코프 정보의 하나 이상 변화 상태에 순환 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 상기 운전자의 상기 상태 정보를 생성하도록 하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 주행 안전 정보 분석 장치가, 상기 보조 안경에 탑재된 적어도 하나의 조도 센서로부터 획득되는 조도 정보에 응답하여, 상기 보조 안경의 렌즈 투명도를 조정하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 출력 유닛은, 상기 운전자가 상기 보조 안경을 착용한 경우, (i) 상기 운전자의 적어도 한 쪽 귀에 대응되는 위치에 설치되는 적어도 하나의 스피커 및 (ii) 상기 운전자의 적어도 한 쪽 눈에 대응되는 위치에 설치되는 적어도 하나의 VRD(Virtual Retina Display)를 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 컨벌루션 네트워크, 상기 검출 네트워크, 상기 세그먼테이션 네트워크, 및 상기 식별 네트워크는 제1 학습 장치에 의해 학습된 상태이되, 상기 제1 학습 장치는, (i) 적어도 하나의 학습용 시각 종속형 주행 이미지를 상기 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금, 적어도 하나의 이전 학습된 컨벌루션 파라미터를 이용한 컨벌루션 연산을 상기 학습용 시각 종속형 주행 이미지에 가하여 적어도 하나의 학습용 특징 맵을 생성하도록 하는 프로세스, (ii) (ii-1) 상기 학습용 특징 맵을 상기 검출 네트워크로 입력함으로써, (ii-1-1) 상기 검출 네트워크의 영역 프로포잘 네트워크로 하여금, 상기 학습용 특징 맵 상에서 적어도 하나의 학습용 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 하나 이상의 학습용 프로포잘 박스를 생성하도록 하고, (ii-1-2) 상기 검출 네트워크의 풀링 레이어로 하여금, 상기 학습용 특징 맵 상에서 상기 학습용 프로포잘 박스 각각에 대응되는 하나 이상의 영역에 풀링 연산을 가하여 적어도 하나의 학습용 객체 특징 벡터를 생성하도록 하며, (ii-1-3) 상기 검출 네트워크의 객체 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 객체 검출 파라미터를 이용한 객체 검출 FC 연산을 상기 학습용 객체 특징 벡터에 가하여, 상기 학습용 프로포잘 박스에 대응되는 다수의 학습용 객체 정보를 생성하도록 하는 프로세스, (ii-2) 상기 학습용 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, (ii-2-1) 상기 세그먼테이션 네트워크의 디컨벌루션 레이어로 하여금, 적어도 하나의 이전 학습된 디컨벌루션 파라미터를 이용한 디컨벌루션 연산을 상기 학습용 특징 맵에 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하고, (ii-2-2) 차선 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 차선 검출 파라미터를 이용한 차선 검출 FC 연산을 상기 디컨벌루션 특징 맵에 가하여, 상기 학습용 시각 종속형 주행 이미지 상에 위치하는 하나 이상의 학습용 차선을 검출하도록 하는 프로세스, (ii-3) 상기 학습용 특징 맵을 상기 식별 네트워크로 입력함으로써, (ii-3-1) 상기 식별 네트워크의 글로벌 풀링 레이어로 하여금, 상기 학습용 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (ii-3-2) 상기 식별 네트워크의 식별 FC 레이어로 하여금, 적어도 하나의 이전 학습된 식별 파라미터를 이용한 식별 FC 연산을 상기 학습용 글로벌 특징 벡터에 가하여 학습용 주행 환경 정보를 생성하도록 하는 프로세스, 및 (iii) (iii-1) 상기 다수의 학습용 객체 정보와 이에 대응되는 제1 GT(ground truth)를 참조하여, 제1 로스 레이어로부터 출력된 하나 이상의 제1 로스가 최소화되도록 상기 객체 검출 FC 레이어의 상기 이전 학습된 객체 검출 파라미터를 업데이트하는 프로세스, (iii-2) 상기 학습용 차선과 이에 대응되는 제2 GT를 참조하여, 제2 로스 레이어로부터 출력된 하나 이상의 제2 로스가 최소화되도록 상기 차선 검출 FC 레이어의 상기 이전 학습된 차선 검출 파라미터 및 상기 디컨벌루션 레이어의 상기 이전 학습된 디컨벌루션 파라미터 중 적어도 하나를 업데이트하는 프로세스, (iii-3) 상기 학습용 주행 환경 정보와 이에 대응되는 제3 GT를 참조하여, 제3 로스 레이어로부터 출력된 하나 이상의 제3 로스가 최소화되도록 상기 식별 FC 레이어의 상기 이전 학습된 식별 파라미터를 업데이트하는 프로세스 및 (iii-4) 상기 제1 로스, 상기 제2 로스, 및 상기 제3 로스, 또는 이로부터 가공한 값을 가중 합산(weighted summation)하여 생성된 적어도 하나의 제4 로스가 최소화되도록 상기 컨벌루션 네트워크의 상기 이전 학습된 컨벌루션 파라미터를 업데이트하는 프로세스를 반복하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 순환 네트워크는 제2 학습 장치에 의해 학습되되, 상기 제2 학습 장치는, (i) 현재 시점 t부터 이전 시점 (t-k)까지의 학습용 가속도 정보 및 학습용 자이로스코프 정보를 각각의 LSTM에 입력함으로써, 각각의 상기 LSTM으로 하여금, 상기 현재 시점 t부터 상기 이전 시점 (t-k)까지의 상기 학습용 가속도 정보 및 상기 학습용 자이로스코프 정보에 포워드(forward) 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 학습용 주행 상태 정보를 출력하도록 하는 프로세스, 및 (ii) 제4 로스 레이어로 하여금, 상기 학습용 주행 상태 정보와 이에 대응되는 제4 GT를 참조하여 생성된 하나 이상의 제5 로스가 최소화되도록 상기 LSTM의 하나 이상의 파라미터를 조정하도록 하는 프로세스를 수행하는 것을 특징으로 하는 방법.
  10. 운전자가 착용한 보조 안경을 통해 주행 안전 정보를 제공하는 주행 안전 정보 분석 장치에 있어서,
    인스트럭션을 저장하는 적어도 하나의 메모리; 및
    (I) 자동차의 상기 운전자가 착용한 상기 보조 안경에 탑재된 적어도 하나의 카메라로부터 촬영된, 상기 운전자의 시각에 대응되는 적어도 하나의 시각 종속형 주행 이미지, 상기 보조 안경에 탑재된 하나 이상의 센서로부터의 가속도 정보 및 자이로스코프(gyroscope) 정보가 획득되면, (I-1) 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 하는 프로세스와, 상기 특징 맵을 검출 네트워크, 세그먼테이션 네트워크, 및 식별 네트워크로 각각 입력함으로써, 상기 검출 네트워크로 하여금 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 적어도 하나의 객체를 검출하도록 하며, 상기 세그먼테이션 네트워크로 하여금 상기 시각 종속형 주행 이미지 상의 하나 이상의 차선을 검출하도록 하고, 상기 식별 네트워크로 하여금 상기 시각 종속형 주행 이미지에 대응하는 주행 환경을 검출하도록 하는 프로세스 및 (I-2) 상기 가속도 정보 및 상기 자이로스코프 정보를 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금 상기 가속도 정보와 상기 자이로스코프 정보에 대응되는 상기 운전자의 상태 정보를 생성하도록 하는 프로세스, 및 (II) (II-1) 상기 검출 네트워크에 의해 검출된 상기 객체를 참조하여, 상기 자동차와 상기 객체 간의 예측 충돌 가능성 정보를 상기 보조 안경의 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 상기 세그먼테이션 네트워크에 의해 검출된 상기 차선을 참조하여, 상기 자동차의 차선 이탈 정보를 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스 및 상기 식별 네트워크에 의해 검출된 상기 주행 환경을 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 및 (II-2) 상기 순환 네트워크에 의해 검출된 상기 운전자의 상기 상태 정보를 참조하여, 주행 안전 경고를 상기 출력 유닛을 통해 상기 운전자에게 제공하는 프로세스를 수행하거나 타 장치로 하여금 수행하도록 하기 위한 상기 인스트럭션을 실행하도록 구성된 적어도 하나의 프로세서;
    를 포함하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  11. 제10항에 있어서,
    상기 프로세서가, 상기 특징 맵을 상기 검출 네트워크로 입력함으로써, 상기 검출 네트워크로 하여금, (i) 영역 프로포잘 네트워크를 통해 상기 특징 맵 상에서 상기 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 프로포잘 박스를 생성하도록 하고, (ii) 풀링 레이어를 통해 상기 특징 맵 상에서 상기 프로포잘 박스 각각에 대응되는 하나 이상의 각 영역에 풀링 연산을 가하여 적어도 하나의 객체 특징 벡터를 생성하도록 하며, (iii) 객체 검출 FC(fully-connected) 레이어를 통해 상기 객체 특징 벡터에 객체 검출 FC 연산을 가하여 상기 프로포잘 박스에 대응되는 다수의 객체 정보를 생성하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지 상에 위치하는 상기 객체를 검출하도록 하는 프로세스를 수행하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  12. 제10항에 있어서,
    상기 프로세서가, 상기 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, 상기 세그먼테이션 네트워크로 하여금 적어도 하나의 디컨벌루션 레이어를 통해 상기 특징 맵에 디컨벌루션 연산을 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하는 프로세스, 및 상기 디컨벌루션 특징 맵을 적어도 하나의 차선 검출 FC 레이어로 입력함으로써, 상기 차선 검출 FC 레이어로 하여금 상기 디컨벌루션 특징 맵에 차선 검출 FC 연산을 가하여 상기 시각 종속형 주행 이미지 상에 위치하는 상기 차선을 검출하도록 하는 프로세스를 수행하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  13. 제10항에 있어서,
    상기 프로세서가, 상기 특징 맵을 상기 식별 네트워크로 입력함으로써, 상기 식별 네트워크로 하여금, (i) 글로벌 풀링 레이어를 통해 상기 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 글로벌 특징 벡터를 생성하도록 하며, (ii) 식별 FC 레이어를 통해 상기 글로벌 특징 벡터에 식별 FC 연산을 가하여 주행 환경 정보를 생성하도록 하는 프로세스를 수행하여, 상기 시각 종속형 주행 이미지에 대응하는 상기 주행 환경을 검출하는 프로세스를 수행하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  14. 제10항에 있어서,
    상기 프로세서가, 상기 가속도 정보와 상기 자이로스코프 정보를 상기 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금, 하나 이상의 LSTM(Long Short-Term Memory)을 통해 기설정 시간 동안 상기 가속도 정보와 상기 자이로스코프 정보의 하나 이상 변화 상태에 순환 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 상기 운전자의 상기 상태 정보를 생성하도록 하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  15. 제10항에 있어서,
    상기 프로세서가, 상기 보조 안경에 탑재된 적어도 하나의 조도 센서로부터 획득되는 조도 정보에 응답하여, 상기 보조 안경의 렌즈 투명도를 조정하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  16. 제10항에 있어서,
    상기 출력 유닛은, 상기 운전자가 상기 보조 안경을 착용한 경우, (i) 상기 운전자의 적어도 한 쪽 귀에 대응되는 위치에 설치되는 적어도 하나의 스피커 및 (ii) 상기 운전자의 적어도 한 쪽 눈에 대응되는 위치에 설치되는 적어도 하나의 VRD(Virtual Retina Display)를 포함하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  17. 제10항에 있어서,
    상기 컨벌루션 네트워크, 상기 검출 네트워크, 상기 세그먼테이션 네트워크, 및 상기 식별 네트워크는 제1 학습 장치에 의해 학습된 상태이되, 상기 제1 학습 장치는, (i) 적어도 하나의 학습용 시각 종속형 주행 이미지를 상기 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금, 적어도 하나의 이전 학습된 컨벌루션 파라미터를 이용한 컨벌루션 연산을 상기 학습용 시각 종속형 주행 이미지에 가하여 적어도 하나의 학습용 특징 맵을 생성하도록 하는 프로세스, (ii) (ii-1) 상기 학습용 특징 맵을 상기 검출 네트워크로 입력함으로써, (ii-1-1) 상기 검출 네트워크의 영역 프로포잘 네트워크로 하여금, 상기 학습용 특징 맵 상에서 적어도 하나의 학습용 객체가 위치할 것으로 추정되는 하나 이상의 영역에 대응되는 하나 이상의 학습용 프로포잘 박스를 생성하도록 하고, (ii-1-2) 상기 검출 네트워크의 풀링 레이어로 하여금, 상기 학습용 특징 맵 상에서 상기 학습용 프로포잘 박스 각각에 대응되는 하나 이상의 영역에 풀링 연산을 가하여 적어도 하나의 학습용 객체 특징 벡터를 생성하도록 하며, (ii-1-3) 상기 검출 네트워크의 객체 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 객체 검출 파라미터를 이용한 객체 검출 FC 연산을 상기 학습용 객체 특징 벡터에 가하여, 상기 학습용 프로포잘 박스에 대응되는 다수의 학습용 객체 정보를 생성하도록 하는 프로세스, (ii-2) 상기 학습용 특징 맵을 상기 세그먼테이션 네트워크로 입력함으로써, (ii-2-1) 상기 세그먼테이션 네트워크의 디컨벌루션 레이어로 하여금, 적어도 하나의 이전 학습된 디컨벌루션 파라미터를 이용한 디컨벌루션 연산을 상기 학습용 특징 맵에 가하여 적어도 하나의 디컨벌루션 특징 맵을 생성하도록 하고, (ii-2-2) 차선 검출 FC 레이어로 하여금, 적어도 하나의 이전 학습된 차선 검출 파라미터를 이용한 차선 검출 FC 연산을 상기 디컨벌루션 특징 맵에 가하여, 상기 학습용 시각 종속형 주행 이미지 상에 위치하는 하나 이상의 학습용 차선을 검출하도록 하는 프로세스, (ii-3) 상기 학습용 특징 맵을 상기 식별 네트워크로 입력함으로써, (ii-3-1) 상기 식별 네트워크의 글로벌 풀링 레이어로 하여금, 상기 학습용 특징 맵에 글로벌 풀링 연산을 가하여 적어도 하나의 학습용 글로벌 특징 벡터를 생성하도록 하고, (ii-3-2) 상기 식별 네트워크의 식별 FC 레이어로 하여금, 적어도 하나의 이전 학습된 식별 파라미터를 이용한 식별 FC 연산을 상기 학습용 글로벌 특징 벡터에 가하여 학습용 주행 환경 정보를 생성하도록 하는 프로세스, 및 (iii) (iii-1) 상기 다수의 학습용 객체 정보와 이에 대응되는 제1 GT(ground truth)를 참조하여, 제1 로스 레이어로부터 출력된 하나 이상의 제1 로스가 최소화되도록 상기 객체 검출 FC 레이어의 상기 이전 학습된 객체 검출 파라미터를 업데이트하는 프로세스, (iii-2) 상기 학습용 차선과 이에 대응되는 제2 GT를 참조하여, 제2 로스 레이어로부터 출력된 하나 이상의 제2 로스가 최소화되도록 상기 차선 검출 FC 레이어의 상기 이전 학습된 차선 검출 파라미터 및 상기 디컨벌루션 레이어의 상기 이전 학습된 디컨벌루션 파라미터 중 적어도 하나를 업데이트하는 프로세스, (iii-3) 상기 학습용 주행 환경 정보와 이에 대응되는 제3 GT를 참조하여, 제3 로스 레이어로부터 출력된 하나 이상의 제3 로스가 최소화되도록 상기 식별 FC 레이어의 상기 이전 학습된 식별 파라미터를 업데이트하는 프로세스 및 (iii-4) 상기 제1 로스, 상기 제2 로스, 및 상기 제3 로스, 또는 이로부터 가공한 값을 가중 합산(weighted summation)하여 생성된 적어도 하나의 제4 로스가 최소화되도록 상기 컨벌루션 네트워크의 상기 이전 학습된 컨벌루션 파라미터를 업데이트하는 프로세스를 반복하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  18. 제10항에 있어서,
    상기 순환 네트워크는 제2 학습 장치에 의해 학습되되, 상기 제2 학습 장치는, (i) 현재 시점 t부터 이전 시점 (t-k)까지의 학습용 가속도 정보 및 학습용 자이로스코프 정보를 각각의 LSTM에 입력함으로써, 각각의 상기 LSTM으로 하여금, 상기 현재 시점 t부터상기 이전 시점 (t-k)까지의 상기 학습용 가속도 정보 및 상기 학습용 자이로스코프 정보에 포워드(forward) 연산을 가하여, 상기 운전자의 행동 패턴에 대응하는 학습용 주행 상태 정보를 출력하도록 하는 프로세스, 및 (ii) 제4 로스 레이어로 하여금, 상기 학습용 주행 상태 정보와 이에 대응되는 제4 GT를 참조하여 생성된 하나 이상의 제5 로스가 최소화되도록 상기 LSTM의 하나 이상의 파라미터를 조정하도록 하는 프로세스를 수행하는 것을 특징으로 하는 주행 안전 정보 분석 장치.
  19. 운전자에게 주행 안전 정보를 제공하는 보조 안경에 있어서,
    상기 운전자가 착용할 수 있는 상기 보조 안경;
    상기 보조 안경에 탑재된, 상기 운전자의 시각에 대응되는 적어도 하나의 시각 종속형 주행 이미지를 촬영하는 카메라, 가속도 센서, 및 자이로스코프(gyroscope) 센서를 포함하는 하나 이상의 센서; 및
    상기 운전자에게 주행 안전 정보를 제공하는, 상기 보조 안경의 출력 유닛;
    을 포함하되,
    상기 보조 안경은, (I) (I-1) 상기 카메라로부터 획득된 상기 시각 종속형 주행 이미지를 컨벌루션 네트워크로 입력함으로써, 상기 컨벌루션 네트워크로 하여금 상기 시각 종속형 주행 이미지에 컨벌루션 연산을 가하여 적어도 하나의 특징 맵을 생성하도록 하는 프로세스와, 상기 특징 맵을 검출 네트워크, 세그먼테이션 네트워크, 및 식별 네트워크로 각각 입력함으로써, 상기 검출 네트워크로 하여금 상기 특징 맵을 이용하여 상기 시각 종속형 주행 이미지 상에 위치한 적어도 하나의 객체를 검출하도록 하며, 상기 세그먼테이션 네트워크로 하여금 상기 시각 종속형 주행 이미지 상의 하나 이상의 차선을 검출하도록 하고, 상기 식별 네트워크로 하여금 상기 시각 종속형 주행 이미지에 대응하는 주행 환경을 검출하도록 하는 프로세스, 및 (I-2) 상기 가속도 센서로부터 획득된 가속도 정보 및 상기 자이로스코프 센서로부터 획득된 자이로스코프 정보를 순환 네트워크로 입력함으로써, 상기 순환 네트워크로 하여금 상기 가속도 정보와 상기 자이로스코프 정보에 대응되는 상기 운전자의 상태 정보를 생성하도록 하는 프로세스, 및 (II) (II-1) 상기 검출 네트워크에 의해 검출된 상기 객체를 참조하여, 상기 운전자의 자동차와 상기 객체 간의 예측 충돌 가능성 정보를 상기 보조 안경의 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 상기 세그먼테이션 네트워크에 의해 검출된 상기 차선을 참조하여, 상기 운전자의 상기 자동차의 차선 이탈 정보를 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스 및 상기 식별 네트워크에 의해 검출된 상기 주행 환경을 상기 출력 유닛을 통해 상기 운전자에게 알려주는 프로세스, 및 (II-2) 상기 순환 네트워크에 의해 검출된 상기 운전자의 상기 상태 정보를 참조하여, 주행 안전 경고를 상기 출력 유닛을 통해 상기 운전자에게 제공하는 프로세스를 수행하는 주행 안전 정보 분석 장치를 포함하는 것을 특징으로 하는 보조 안경.
  20. 제19항에 있어서,
    상기 센서는, 상기 보조 안경에 탑재된 적어도 하나의 조도 센서를 더 포함하며,
    상기 주행 안전 정보 분석 장치는, 상기 조도 센서로부터 획득되는 조도 정보에 응답하여, 상기 보조 안경의 하나 이상의 렌즈의 투명도를 조정하는 프로세스를 더 수행하는 것을 특징으로 하는 보조 안경.
  21. 제19항에 있어서,
    상기 출력 유닛은, 상기 운전자가 상기 보조 안경을 착용한 경우, (i) 상기 운전자의 적어도 한 쪽 귀에 대응되는 위치에 설치되는 적어도 하나의 스피커 및 (ii) 상기 운전자의 적어도 한 쪽 눈에 대응되는 위치에 설치되는 적어도 하나의 VRD(Virtual Retina Display)를 포함하는 것을 특징으로 하는 보조 안경.
KR1020200001719A 2019-01-31 2020-01-06 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경 KR102320979B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799086P 2019-01-31 2019-01-31
US62/799,086 2019-01-31
US16/721,963 2019-12-20
US16/721,963 US10633007B1 (en) 2019-01-31 2019-12-20 Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network

Publications (2)

Publication Number Publication Date
KR20200096113A true KR20200096113A (ko) 2020-08-11
KR102320979B1 KR102320979B1 (ko) 2021-11-04

Family

ID=70332292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200001719A KR102320979B1 (ko) 2019-01-31 2020-01-06 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경

Country Status (5)

Country Link
US (1) US10633007B1 (ko)
EP (1) EP3690722A1 (ko)
JP (1) JP6917080B2 (ko)
KR (1) KR102320979B1 (ko)
CN (1) CN111506057B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590786A (zh) * 2021-01-19 2021-04-02 湖南汽车工程职业学院 一种汽车计算机控制系统
CN112849156A (zh) * 2021-04-25 2021-05-28 北京三快在线科技有限公司 一种行驶风险识别方法及装置
WO2023219236A1 (ko) * 2022-05-10 2023-11-16 주식회사 비브스튜디오스 스마트 안경에 광고를 디스플레이하는 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752273A (zh) * 2020-06-15 2020-10-09 华侨大学 一种电动履带式挖掘机无人驾驶行走系统及方法
CN112418157B (zh) * 2020-12-08 2022-09-16 北京深睿博联科技有限责任公司 基于差分神经网络和图像序列数据的车速识别方法及装置
CN112995519B (zh) * 2021-03-26 2024-03-01 精英数智科技股份有限公司 一种用于探水监测的摄像头自适应调整方法及装置
KR102552051B1 (ko) * 2021-09-07 2023-07-06 국민대학교산학협력단 차량 위험도 예측 장치 및 방법
CN114516270B (zh) * 2022-03-11 2023-09-12 禾多科技（北京）有限公司 车辆控制方法、装置、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049897A (ko) * 2012-10-18 2014-04-28 진성닷컴주식회사 차선 이탈 경고 안경
KR20160016540A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
KR20170098214A (ko) * 2014-12-19 2017-08-29 인텔 코포레이션 안경 디스플레이를 위한 향상된 보기 기능 제공

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20030662A1 (it) * 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
DE102013207063A1 (de) * 2013-04-19 2014-10-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen einer Informationsquelle aus einer Mehrzahl von Informationsquellen zur Anzeige auf einer Anzeige einer Datenbrille
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
KR101459908B1 (ko) * 2013-05-20 2014-11-07 현대자동차주식회사 안전운전유도 게임 장치 및 방법
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
GB2517732A (en) * 2013-08-29 2015-03-04 Sim & Pin Ltd System for accessing data from multiple devices
JP2015159383A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置
DE102014225937A1 (de) * 2014-12-15 2016-06-16 Robert Bosch Gmbh Identifikations- und Prüfunterstützungs-Vorrichtung und -Verfahren
KR101867915B1 (ko) * 2015-01-16 2018-07-19 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
DE102015201456B4 (de) * 2015-01-28 2016-12-15 Volkswagen Aktiengesellschaft Verfahren und System zur Ausgabe einer Warnmeldung in einem Fahrzeug
US10175753B2 (en) * 2015-10-20 2019-01-08 Bragi GmbH Second screen devices utilizing data from ear worn device system and method
US20170111723A1 (en) * 2015-10-20 2017-04-20 Bragi GmbH Personal Area Network Devices System and Method
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
JP7018634B2 (ja) * 2016-10-11 2022-02-14 東海光学株式会社 眼球運動測定装置及び眼球運動解析システム
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US20180134215A1 (en) * 2016-11-16 2018-05-17 Samsung Electronics Co., Ltd. Method and device for generating driving assistance information
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
JP6798860B2 (ja) * 2016-11-29 2020-12-09 株式会社Ｓｏｋｅｎ 境界線推定装置
KR20180099280A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 가상 차로 생성 장치 및 방법
EP3602511A4 (en) * 2017-03-24 2020-04-15 SZ DJI Technology Co., Ltd. VEHICLE BEHAVIOR MONITORING SYSTEMS AND METHODS
JP2018173861A (ja) * 2017-03-31 2018-11-08 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
US10671868B2 (en) * 2017-10-02 2020-06-02 Magna Electronics Inc. Vehicular vision system using smart eye glasses
US11417128B2 (en) * 2017-12-22 2022-08-16 Motorola Solutions, Inc. Method, device, and system for adaptive training of machine learning models via detected in-field contextual incident timeline entry and associated located and retrieved digital audio and/or video imaging
US10496887B2 (en) * 2018-02-22 2019-12-03 Motorola Solutions, Inc. Device, system and method for controlling a communication device to provide alerts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049897A (ko) * 2012-10-18 2014-04-28 진성닷컴주식회사 차선 이탈 경고 안경
KR20160016540A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
KR20170098214A (ko) * 2014-12-19 2017-08-29 인텔 코포레이션 안경 디스플레이를 위한 향상된 보기 기능 제공

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김대훈 외 1명, 로봇 물체 조작을 위한 딥러닝 시맨틱 분할을 이용한 물체 검출, 2018.9, 제어로봇시스템학회 논문지 24, pp.802~808* *
논문1(2018.09)저자:이정환 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590786A (zh) * 2021-01-19 2021-04-02 湖南汽车工程职业学院 一种汽车计算机控制系统
CN112849156A (zh) * 2021-04-25 2021-05-28 北京三快在线科技有限公司 一种行驶风险识别方法及装置
WO2023219236A1 (ko) * 2022-05-10 2023-11-16 주식회사 비브스튜디오스 스마트 안경에 광고를 디스플레이하는 방법

Also Published As

Publication number Publication date
CN111506057B (zh) 2023-08-18
US10633007B1 (en) 2020-04-28
CN111506057A (zh) 2020-08-07
JP6917080B2 (ja) 2021-08-11
KR102320979B1 (ko) 2021-11-04
EP3690722A1 (en) 2020-08-05
JP2020126625A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
KR20200096113A (ko) 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경
US10791979B2 (en) Apparatus and method to train autonomous driving model, and autonomous driving apparatus
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
US10733460B2 (en) Systems and methods for safe route determination
KR102224818B1 (ko) 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
US10635915B1 (en) Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
US10023204B1 (en) Driving assisting method and driving assisting device using the same
US20150332103A1 (en) Processing apparatus, computer program product, and processing method
KR20180025591A (ko) 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
US10565863B1 (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
EP3690859A1 (en) Method for monitoring blind spot of cycle using smart helmet for cycle rider and blind spot monitoring device using them
KR20200095384A (ko) 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치
KR102241584B1 (ko) 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치
CN114435351A (zh) 用于基于神经网络的自动驾驶的系统和方法
KR20190134862A (ko) 전자 장치 및 그 동작 방법
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
FR2773130A1 (fr) Systeme de commande d'une direction intelligente de vehicule automobile
JP7388208B2 (ja) 車両制御装置
KR102265026B1 (ko) 자율 주행 차량의 레벨 4 및 레벨 5를 충족시키기 위해 요구되는 adas. v2x 혹은 운전자 안전을 위해 이용될 주행 상황에 대한 정보를 참조하여 ldw 알람 발생을 학습하기 위한 방법 및 장치
KR20200128469A (ko) 자율주행차량을 위한 충돌 예방 장치
US11731492B2 (en) Systems and methods for guiding a vehicle occupant's attention
US20230277404A1 (en) System and method for guiding visually impaired person for walking using 3d sound point
WO2021111544A1 (ja) 運転支援装置および運転支援方法
KR20230036602A (ko) Svm 영상 기반 교차로에서의 보행자 신호등 감지 및 주행 제어 시스템, 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant