JP6917080B2 - ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡 - Google Patents
ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡 Download PDFInfo
- Publication number
- JP6917080B2 JP6917080B2 JP2020006187A JP2020006187A JP6917080B2 JP 6917080 B2 JP6917080 B2 JP 6917080B2 JP 2020006187 A JP2020006187 A JP 2020006187A JP 2020006187 A JP2020006187 A JP 2020006187A JP 6917080 B2 JP6917080 B2 JP 6917080B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- learning
- information
- driver
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims description 45
- 238000013528 artificial neural network Methods 0.000 title description 15
- 238000010191 image analysis Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims description 157
- 238000001514 detection method Methods 0.000 claims description 143
- 230000008569 process Effects 0.000 claims description 141
- 230000001419 dependent effect Effects 0.000 claims description 101
- 230000001133 acceleration Effects 0.000 claims description 49
- 230000011218 segmentation Effects 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000011176 pooling Methods 0.000 claims description 39
- 230000006399 behavior Effects 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000006403 short-term memory Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 76
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/109—Lateral acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/162—Visual feedback on control action
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/178—Warnings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/55—Remote control arrangements
- B60K2360/56—Remote control arrangements using mobile devices
- B60K2360/566—Mobile devices displaying vehicle information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0026—Lookup tables or parameter maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/12—Lateral speed
- B60W2520/125—Lateral acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/14—Yaw
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/304—Acceleration sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
Description
Claims (21)
- 運転者が着用した補助眼鏡を通じて走行安全情報を提供する方法において、
(a)自動車の前記運転者が着用した前記補助眼鏡に搭載されている少なくとも一つのカメラから撮影された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージと、前記補助眼鏡に搭載された一つ以上のセンサからの加速度情報と、ジャイロスコープ(gyroscope)情報とが取得されると、走行安全情報分析装置が、(i)前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する、天気、時間、場所のうち少なくとも1つを含む走行環境を検出させるプロセス、及び(ii)前記加速度情報及び前記ジャイロスコープ情報を循環(recurrent)ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセスを遂行する段階;及び
(b)前記走行安全情報分析装置が、(i)前記検出ネットワークにより検出された前記物体を参照して、前記自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転者に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して、前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークにより検出された前記走行環境を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び(ii)前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行する段階;
を含むことを特徴とする方法。 - 前記走行安全情報分析装置が、前記特徴マップを前記検出ネットワークに入力することによって、前記検出ネットワークをもって、(i)領域プロポーザルネットワークを通じて前記特徴マップ上で前記物体が位置するものと推定される一つ以上の領域に対応するプロポーザルボックスを生成させ、(ii)プーリングレイヤを通じて前記特徴マップ上で前記プロポーザルボックスそれぞれに対応する一つ以上の各領域にプーリング演算を適用して少なくとも一つの物体特徴ベクトルを生成させ、(iii)物体検出FC(fully−connected)レイヤを通じて前記物体特徴ベクトルに物体検出FC演算を適用して前記プロポーザルボックスに対応する多数の物体情報を生成するプロセスを遂行して、前記視角従属型走行イメージ上に位置する前記物体を検出させるプロセスを遂行することを特徴とする請求項1に記載の方法。
- 前記走行安全情報分析装置が、前記特徴マップを前記セグメンテーションネットワークに入力することによって、前記セグメンテーションネットワークをもって、少なくとも一つのデコンボリューションレイヤを通じて前記特徴マップにデコンボリューション演算を適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセスと、前記デコンボリューション特徴マップを少なくとも一つの車線検出FCレイヤに入力することによって、前記車線検出FCレイヤをもって、前記デコンボリューション特徴マップに車線検出FC演算を適用して前記視角従属型走行イメージ上に位置する前記車線を検出させるプロセスとを遂行することを特徴とする請求項1に記載の方法。
- 前記走行安全情報分析装置が、前記特徴マップを前記識別ネットワークに入力することによって、前記識別ネットワークをもって、(i)グローバルプーリングレイヤを通じて前記特徴マップにグローバルプーリング演算を適用して少なくとも一つのグローバル特徴ベクトルを生成させ、(ii)識別FCレイヤを通じて前記グローバル特徴ベクトルに識別FC演算を適用して走行環境情報を生成させるプロセスを遂行して、前記視角従属型走行イメージに対応する前記走行環境を検出するプロセスを遂行することを特徴とする請求項1に記載の方法。
- 前記走行安全情報分析装置が、前記加速度情報と前記ジャイロスコープ情報とを前記循環ネットワークに入力することによって、前記循環ネットワークをもって、一つ以上のLSTM(Long Short−Term Memory)を通じて予め設定された時間の間、前記加速度情報と前記ジャイロスコープ情報とのうち一つ以上の変化状態に循環演算を適用して、前記運転者の行動パターンに対応する前記運転者の前記状態情報を生成させることを特徴とする請求項1に記載の方法。
- 前記走行安全情報分析装置が、前記補助眼鏡に搭載されている少なくとも一つの照度センサから取得される照度情報に応答して、前記補助眼鏡のレンズ透明度を調整することを特徴とする請求項1に記載の方法。
- 前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、(i)前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと、(ii)前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのVRD(Virtual Retina Display)とを含むことを特徴とする請求項1に記載の方法。
- 前記コンボリューションネットワーク、前記検出ネットワーク、前記セグメンテーションネットワーク、及び前記識別ネットワークは、第1学習装置により学習された状態であり、前記第1学習装置は、(i)少なくとも一つの学習用視角従属型走行イメージを前記コンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、少なくとも一つの以前の学習済みコンボリューションパラメータを利用したコンボリューション演算を前記学習用視角従属型走行イメージに適用して少なくとも一つの学習用特徴マップを生成させるプロセス、(ii)(ii−1)前記学習用特徴マップを前記検出ネットワークに入力することによって、(ii−1−1)前記検出ネットワークの領域プロポーザルネットワークをもって、前記学習用特徴マップ上で少なくとも一つの学習用物体が位置するものと推定される一つ以上の領域に対応する一つ以上の学習用プロポーザルボックスを生成させ、(ii−1−2)前記検出ネットワークのプーリングレイヤをもって、前記学習用特徴マップ上で前記学習用プロポーザルボックスそれぞれに対応する一つ以上の領域にプーリング演算を適用して少なくとも一つの学習用物体特徴ベクトルを生成させ、(ii−1−3)前記検出ネットワークの物体検出FCレイヤをもって、少なくとも一つの以前の学習済み物体検出パラメータを利用した物体検出FC演算を前記学習用物体特徴ベクトルに適用して、前記学習用プロポーザルボックスに対応する多数の学習用物体情報を生成させるプロセス、(ii−2)前記学習用特徴マップを前記セグメンテーションネットワークに入力することによって、(ii−2−1)前記セグメンテーションネットワークのデコンボリューションレイヤをもって、少なくとも一つの以前の学習済みデコンボリューションパラメータを利用したデコンボリューション演算を前記学習用特徴マップに適用して少なくとも一つのデコンボリューション特徴マップを生成させ、(ii−2−2)車線検出FCレイヤをもって、少なくとも一つの以前の学習済み車線検出パラメータを利用した車線検出FC演算を前記デコンボリューション特徴マップに適用して、前記学習用視角従属型走行イメージ上に位置する一つ以上の学習用車線を検出させるプロセス、(ii−3)前記学習用特徴マップを前記識別ネットワークに入力することによって、(ii−3−1)前記識別ネットワークのグローバルプーリングレイヤをもって、前記学習用特徴マップにグローバルプーリング演算を適用して少なくとも一つの学習用グローバル特徴ベクトルを生成させ、(ii−3−2)前記識別ネットワークの識別FCレイヤをもって、少なくとも一つの以前の学習済み識別パラメータを利用した識別FC演算を前記学習用グローバル特徴ベクトルに適用して学習用走行環境情報を生成させるプロセス、及び(iii)(iii−1)前記多数の学習用物体情報と、これに対応する第1原本正解(ground truth)とを参照して、第1ロスレイヤから出力された一つ以上の第1ロスが最小化されるように前記物体検出FCレイヤの前記以前の学習済み物体検出パラメータをアップデートするプロセス、(iii−2)前記学習用車線と、これに対応する第2原本正解とを参照して、第2ロスレイヤから出力された一つ以上の第2ロスが最小化されるように前記車線検出FCレイヤの前記以前の学習済み車線検出パラメータと前記デコンボリューションレイヤの前記以前の学習済みデコンボリューションパラメータとのうち少なくとも一つをアップデートするプロセス、(iii−3)前記学習用走行環境情報と、これに対応する第3原本正解とを参照して、第3ロスレイヤから出力された一つ以上の第3ロスが最小化されるように前記識別FCレイヤの前記以前の学習済み識別パラメータをアップデートするプロセス、及び(iii−4)前記第1ロス、前記第2ロス、及び前記第3ロス、又はこれから加工した値を加重合算(weighted summation)して生成された少なくとも一つの第4ロスが最小化されるように前記コンボリューションネットワークの前記以前の学習済みコンボリューションパラメータをアップデートするプロセスを繰り返すことを特徴とする請求項1に記載の方法。
- 前記循環ネットワークは、第2学習装置により学習され、前記第2学習装置は、(i)現在の時点tから以前の時点t−kまでの学習用加速度情報と学習用ジャイロスコープ情報とをそれぞれのLSTMに入力することによって、それぞれの前記LSTMをもって、前記現在の時点tから前記以前の時点t−kまでの前記学習用加速度情報と前記学習用ジャイロスコープ情報とにフォワード(forward)演算を適用して、前記運転者の行動パターンに対応する学習用走行状態情報を出力させるプロセス、及び(ii)第4ロスレイヤをもって、前記学習用走行状態情報と、これに対応する第4原本正解とを参照して生成された一つ以上の第5ロスが最小化されるように前記LSTMの一つ以上のパラメータを調整させるプロセスを遂行することを特徴とする請求項1に記載の方法。
- 運転者が着用した補助眼鏡を通じて走行安全情報を提供する走行安全情報分析装置において、
インストラクションを格納する少なくとも一つのメモリと、
(I)自動車の前記運転者が着用した前記補助眼鏡に搭載されている少なくとも一つのカメラから撮影された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージと、前記補助眼鏡に搭載された一つ以上のセンサからの加速度情報と、ジャイロスコープ(gyroscope)情報とが取得されると、(I−1)前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する、天気、時間、場所のうち少なくとも1つを含む走行環境を検出させるプロセス、及び(I−2)前記加速度情報と前記ジャイロスコープ情報とを循環ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセス、及び(II)(II−1)前記検出ネットワークにより検出された前記物体を参照して、前記自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転手に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークをもって検出された前記走行環境を前記出力ユニットを通じて前記運転手に知らせるプロセス、及び(II−2)前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行するか、他の装置によって遂行させるための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
を含むことを特徴とする走行安全情報分析装置。 - 前記プロセッサが、前記特徴マップを前記検出ネットワークに入力することによって、前記検出ネットワークをもって、(i)領域プロポーザルネットワークを通じて前記特徴マップ上で前記物体が位置するものと推定される一つ以上の領域に対応するプロポーザルボックスを生成させ、(ii)プーリングレイヤを通じて前記特徴マップ上で前記プロポーザルボックスそれぞれに対応する一つ以上の各領域にプーリング演算を適用して、少なくとも一つの物体特徴ベクトルを生成させ、(iii)物体検出FC(fully−connected)レイヤを通じて前記物体特徴ベクトルに物体検出FC演算を適用して、前記プロポーザルボックスに対応する多数の物体情報を生成するプロセスを遂行して、前記視角従属型走行イメージ上に位置する前記物体を検出させるプロセスを遂行することを特徴とする請求項10に記載の走行安全情報分析装置。
- 前記プロセッサが、前記特徴マップを前記セグメンテーションネットワークに入力することによって、前記セグメンテーションネットワークをもって、少なくとも一つのデコンボリューションレイヤを通じて前記特徴マップにデコンボリューション演算を適用して少なくとも一つのデコンボリューション特徴マップを生成させるプロセスと、前記デコンボリューション特徴マップを少なくとも一つの車線検出FCレイヤに入力することによって、前記車線検出FCレイヤをもって、前記デコンボリューション特徴マップに車線検出FC演算を適用して前記視角従属型走行イメージ上に位置する前記車線を検出させるプロセスとを遂行することを特徴とする請求項10に記載の走行安全情報分析装置。
- 前記プロセッサが、前記特徴マップを前記識別ネットワークに入力することによって、前記識別ネットワークをもって、(i)グローバルプーリングレイヤを通じて前記特徴マップにグローバルプーリング演算を適用して少なくとも一つのグローバル特徴ベクトルを生成させ、(ii)識別FCレイヤを通じて前記グローバル特徴ベクトルに識別FC演算を適用して走行環境情報を生成させるプロセスを遂行して、前記視角従属型走行イメージに対応する前記走行環境を検出するプロセスを遂行することを特徴とする請求項10に記載の走行安全情報分析装置。
- 前記プロセッサが、前記加速度情報と前記ジャイロスコープ情報とを前記循環ネットワークに入力することによって、前記循環ネットワークをもって、一つ以上のLSTM(Long Short−Term Memory)を通じて予め設定された時間の間前記加速度情報と前記ジャイロスコープ情報とのうち一つ以上の変化状態に循環演算を適用して、前記運転者の行動パターンに対応する前記運転者の前記状態情報を生成させることを特徴とする請求項10に記載の走行安全情報分析装置。
- 前記プロセッサが、前記補助眼鏡に搭載されている少なくとも一つの照度センサから取得される照度情報に応答して、前記補助眼鏡のレンズ透明度を調整することを特徴とする請求項10に記載の走行安全情報分析装置。
- 前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、(i)前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと、(ii)前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのVRD(Virtual Retina Display)とを含むことを特徴とする請求項10に記載の走行安全情報分析装置。
- 前記コンボリューションネットワーク、前記検出ネットワーク、前記セグメンテーションネットワーク、及び前記識別ネットワークは、第1学習装置により学習された状態であり、前記第1学習装置は、(i)少なくとも一つの学習用視角従属型走行イメージを前記コンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、少なくとも一つの以前の学習済みコンボリューションパラメータを利用したコンボリューション演算を前記学習用視角従属型走行イメージに適用して少なくとも一つの学習用特徴マップを生成させるプロセス、(ii)(ii−1)前記学習用特徴マップを前記検出ネットワークに入力することによって、(ii−1−1)前記検出ネットワークの領域プロポーザルネットワークをもって、前記学習用特徴マップ上で少なくとも一つの学習用物体が位置するものと推定される一つ以上の領域に対応する一つ以上の学習用プロポーザルボックスを生成させ、(ii−1−2)前記検出ネットワークのプーリングレイヤをもって、前記学習用特徴マップ上で前記学習用プロポーザルボックスそれぞれに対応する一つ以上の領域にプーリング演算を適用して、少なくとも一つの学習用物体特徴ベクトルを生成させ、(ii−1−3)前記検出ネットワークの物体検出FCレイヤをもって、少なくとも一つの以前の学習済み物体検出パラメータを利用した物体検出FC演算を前記学習用物体特徴ベクトルに適用して、前記学習用プロポーザルボックスに対応する多数の学習用物体情報を生成させるプロセス、(ii−2)前記学習用特徴マップを前記セグメンテーションネットワークに入力することによって、(ii−2−1)前記セグメンテーションネットワークのデコンボリューションレイヤをもって、少なくとも一つの以前の学習済みデコンボリューションパラメータを利用したデコンボリューション演算を前記学習用特徴マップに適用して少なくとも一つのデコンボリューション特徴マップを生成させ、(ii−2−2)車線検出FCレイヤをもって、少なくとも一つの以前の学習済み車線検出パラメータを利用した車線検出FC演算を前記デコンボリューション特徴マップに適用して、前記学習用視角従属型走行イメージ上に位置する一つ以上の学習用車線を検出させるプロセス、(ii−3)前記学習用特徴マップを前記識別ネットワークに入力することによって、(ii−3−1)前記識別ネットワークのグローバルプーリングレイヤをもって、前記学習用特徴マップにグローバルプーリング演算を適用して少なくとも一つの学習用グローバル特徴ベクトルを生成させ、(ii−3−2)前記識別ネットワークの識別FCレイヤをもって、少なくとも一つの以前の学習済み識別パラメータを利用した識別FC演算を前記学習用グローバル特徴ベクトルに適用して学習用走行環境情報を生成させるプロセス、及び(iii)(iii−1)前記多数の学習用物体情報とこれに対応する第1原本正解(ground truth)とを参照して、第1ロスレイヤから出力された一つ以上の第1ロスが最小化されるように前記物体検出FCレイヤの前記以前の学習済み物体検出パラメータをアップデートするプロセス、(iii−2)前記学習用車線と、これに対応する第2原本正解とを参照して、第2ロスレイヤから出力された一つ以上の第2ロスが最小化されるように前記車線検出FCレイヤの前記以前の学習済み車線検出パラメータと前記デコンボリューションレイヤの前記以前の学習済みデコンボリューションパラメータとのうち少なくとも一つをアップデートするプロセス、(iii−3)前記学習用走行環境情報とこれに対応する第3原本正解とを参照して、第3ロスレイヤから出力された一つ以上の第3ロスが最小化されるように前記識別FCレイヤの前記以前の学習済み識別パラメータをアップデートするプロセス、及び(iii−4)前記第1ロス、前記第2ロス、及び前記第3ロス、又はこれから加工した値を加重合算(weighted summation)して生成された少なくとも一つの第4ロスが最小化されるように前記コンボリューションネットワークの前記以前の学習済みコンボリューションパラメータをアップデートするプロセスを繰り返すことを特徴とする請求項10に記載の走行安全情報分析装置。
- 前記循環ネットワークは、第2学習装置により学習され、前記第2学習装置は、(i)現在の時点tから以前の時点t−kまでの学習用加速度情報と学習用ジャイロスコープ情報とをそれぞれのLSTMに入力することによって、それぞれの前記LSTMをもって、前記現在の時点tから前記以前の時点t−kまでの前記学習用加速度情報と前記学習用ジャイロスコープ情報とにフォワード(forward)演算を適用して、前記運転者の行動パターンに対応する学習用走行状態情報を出力させるプロセス、及び(ii)第4ロスレイヤをもって、前記学習用走行状態情報と、これに対応する第4原本正解とを参照して生成された一つ以上の第5ロスが最小化されるように前記LSTMの一つ以上のパラメータを調整させるプロセスを遂行することを特徴とする請求項10に記載の走行安全情報分析装置。
- 運転者に対して走行安全情報を提供する補助眼鏡において、
前記運転者が着用することができる前記補助眼鏡と、
前記補助眼鏡に搭載された、前記運転者の視角に対応する少なくとも一つの視角従属型走行イメージを撮影するカメラ、加速度センサ、及びジャイロスコープ(gyroscope)センサを含む一つ以上のセンサと、
前記運転者に対して走行安全情報を提供する、前記補助眼鏡の出力ユニットと、
を含み、
前記補助眼鏡は、(I)(I−1)前記カメラから取得された前記視角従属型走行イメージをコンボリューションネットワークに入力することによって、前記コンボリューションネットワークをもって、前記視角従属型走行イメージにコンボリューション演算を適用して少なくとも一つの特徴マップを生成させるプロセスと、前記特徴マップを検出ネットワーク、セグメンテーションネットワーク、及び識別ネットワークにそれぞれ入力することによって、前記検出ネットワークをもって、前記特徴マップを利用して前記視角従属型走行イメージ上に位置した少なくとも一つの物体を検出させ、前記セグメンテーションネットワークをもって、前記視角従属型走行イメージ上の一つ以上の車線を検出させ、前記識別ネットワークをもって、前記視角従属型走行イメージに対応する、天気、時間、場所のうち少なくとも1つを含む走行環境を検出させるプロセス、及び(I−2)前記加速度センサから取得された加速度情報と前記ジャイロスコープセンサとから取得されたジャイロスコープ情報を循環ネットワークに入力することによって、前記循環ネットワークをもって、前記加速度情報と前記ジャイロスコープ情報とに対応する前記運転者の状態情報を生成させるプロセス、及び(II)(II−1)前記検出ネットワークにより検出された前記物体を参照して、前記運転者の自動車と前記物体との間の予測衝突可能性情報を前記補助眼鏡の出力ユニットを通じて前記運転手に知らせるプロセス、前記セグメンテーションネットワークにより検出された前記車線を参照して、前記運転者の前記自動車の車線離脱情報を前記出力ユニットを通じて前記運転者に知らせるプロセス、及び前記識別ネットワークにより検出された前記走行環境を前記出力ユニットを通じて前記運転手に知らせるプロセス、及び(II−2)前記循環ネットワークにより検出された前記運転者の前記状態情報を参照して、走行安全警告を前記出力ユニットを通じて前記運転者に対して提供するプロセスを遂行する走行安全情報分析装置を含むことを特徴とする補助眼鏡。 - 前記センサは、前記補助眼鏡に搭載されている少なくとも一つの照度センサをさらに含み、
前記走行安全情報分析装置は、前記照度センサから取得される照度情報に応答して、前記補助眼鏡の一つ以上のレンズの透明度を調整するプロセスをさらに遂行することを特徴とする請求項19に記載の補助眼鏡。 - 前記出力ユニットは、前記運転者が前記補助眼鏡を着用した場合、(i)前記運転者の少なくとも一方の耳に対応する位置に設置される少なくとも一つのスピーカと(ii)前記運転者の少なくとも一方の目に対応する位置に設置される少なくとも一つのVRD(Virtual Retina Display)とを含むことを特徴とする請求項19に記載の補助眼鏡。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962799086P | 2019-01-31 | 2019-01-31 | |
US62/799,086 | 2019-01-31 | ||
US16/721,963 | 2019-12-20 | ||
US16/721,963 US10633007B1 (en) | 2019-01-31 | 2019-12-20 | Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126625A JP2020126625A (ja) | 2020-08-20 |
JP6917080B2 true JP6917080B2 (ja) | 2021-08-11 |
Family
ID=70332292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020006187A Active JP6917080B2 (ja) | 2019-01-31 | 2020-01-17 | ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10633007B1 (ja) |
EP (1) | EP3690722A1 (ja) |
JP (1) | JP6917080B2 (ja) |
KR (1) | KR102320979B1 (ja) |
CN (1) | CN111506057B (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111752273A (zh) * | 2020-06-15 | 2020-10-09 | 华侨大学 | 一种电动履带式挖掘机无人驾驶行走系统及方法 |
CN112418157B (zh) * | 2020-12-08 | 2022-09-16 | 北京深睿博联科技有限责任公司 | 基于差分神经网络和图像序列数据的车速识别方法及装置 |
CN112590786A (zh) * | 2021-01-19 | 2021-04-02 | 湖南汽车工程职业学院 | 一种汽车计算机控制系统 |
CN112995519B (zh) * | 2021-03-26 | 2024-03-01 | 精英数智科技股份有限公司 | 一种用于探水监测的摄像头自适应调整方法及装置 |
CN112849156B (zh) * | 2021-04-25 | 2021-07-30 | 北京三快在线科技有限公司 | 一种行驶风险识别方法及装置 |
KR102552051B1 (ko) * | 2021-09-07 | 2023-07-06 | 국민대학교산학협력단 | 차량 위험도 예측 장치 및 방법 |
CN114516270B (zh) * | 2022-03-11 | 2023-09-12 | 禾多科技(北京)有限公司 | 车辆控制方法、装置、电子设备和计算机可读介质 |
WO2023219236A1 (ko) * | 2022-05-10 | 2023-11-16 | 주식회사 비브스튜디오스 | 스마트 안경에 광고를 디스플레이하는 방법 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITTO20030662A1 (it) * | 2003-08-29 | 2005-02-28 | Fiat Ricerche | Disposizione di visualizzazione virtuale per un quadro |
KR101421529B1 (ko) * | 2012-10-18 | 2014-08-13 | 진성닷컴주식회사 | 차선 이탈 경고 안경 |
DE102013207063A1 (de) * | 2013-04-19 | 2014-10-23 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Auswählen einer Informationsquelle aus einer Mehrzahl von Informationsquellen zur Anzeige auf einer Anzeige einer Datenbrille |
DE102013207528A1 (de) * | 2013-04-25 | 2014-10-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt |
KR101459908B1 (ko) * | 2013-05-20 | 2014-11-07 | 현대자동차주식회사 | 안전운전유도 게임 장치 및 방법 |
US9513702B2 (en) * | 2013-07-15 | 2016-12-06 | Lg Electronics Inc. | Mobile terminal for vehicular display system with gaze detection |
GB2517732A (en) * | 2013-08-29 | 2015-03-04 | Sim & Pin Ltd | System for accessing data from multiple devices |
JP2015159383A (ja) * | 2014-02-21 | 2015-09-03 | ソニー株式会社 | ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置 |
KR102433291B1 (ko) * | 2014-07-31 | 2022-08-17 | 삼성전자주식회사 | 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법 |
DE102014225937A1 (de) * | 2014-12-15 | 2016-06-16 | Robert Bosch Gmbh | Identifikations- und Prüfunterstützungs-Vorrichtung und -Verfahren |
US20160178905A1 (en) * | 2014-12-19 | 2016-06-23 | Intel Corporation | Facilitating improved viewing capabitlies for glass displays |
KR101867915B1 (ko) * | 2015-01-16 | 2018-07-19 | 현대자동차주식회사 | 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량 |
DE102015201456B4 (de) * | 2015-01-28 | 2016-12-15 | Volkswagen Aktiengesellschaft | Verfahren und System zur Ausgabe einer Warnmeldung in einem Fahrzeug |
US10175753B2 (en) * | 2015-10-20 | 2019-01-08 | Bragi GmbH | Second screen devices utilizing data from ear worn device system and method |
US20170111723A1 (en) * | 2015-10-20 | 2017-04-20 | Bragi GmbH | Personal Area Network Devices System and Method |
US20170287217A1 (en) * | 2016-03-30 | 2017-10-05 | Kahyun Kim | Preceding traffic alert system and method |
US10317900B2 (en) * | 2016-05-13 | 2019-06-11 | GM Global Technology Operations LLC | Controlling autonomous-vehicle functions and output based on occupant position and attention |
CN109804422B (zh) * | 2016-10-11 | 2021-11-02 | 东海光学株式会社 | 眼球运动测量装置和眼球运动分析系统 |
JP6964234B2 (ja) * | 2016-11-09 | 2021-11-10 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置およびプログラム |
US20180134215A1 (en) * | 2016-11-16 | 2018-05-17 | Samsung Electronics Co., Ltd. | Method and device for generating driving assistance information |
US20180329209A1 (en) * | 2016-11-24 | 2018-11-15 | Rohildev Nattukallingal | Methods and systems of smart eyeglasses |
JP6798860B2 (ja) * | 2016-11-29 | 2020-12-09 | 株式会社Soken | 境界線推定装置 |
KR20180099280A (ko) * | 2017-02-28 | 2018-09-05 | 삼성전자주식회사 | 가상 차로 생성 장치 및 방법 |
CN110582802A (zh) * | 2017-03-24 | 2019-12-17 | 深圳市大疆创新科技有限公司 | 载运工具行为监测系统和方法 |
JP2018173861A (ja) * | 2017-03-31 | 2018-11-08 | アイシン・エィ・ダブリュ株式会社 | 走行支援装置及びコンピュータプログラム |
US11290518B2 (en) * | 2017-09-27 | 2022-03-29 | Qualcomm Incorporated | Wireless control of remote devices through intention codes over a wireless connection |
US10671868B2 (en) * | 2017-10-02 | 2020-06-02 | Magna Electronics Inc. | Vehicular vision system using smart eye glasses |
US11417128B2 (en) * | 2017-12-22 | 2022-08-16 | Motorola Solutions, Inc. | Method, device, and system for adaptive training of machine learning models via detected in-field contextual incident timeline entry and associated located and retrieved digital audio and/or video imaging |
US10496887B2 (en) * | 2018-02-22 | 2019-12-03 | Motorola Solutions, Inc. | Device, system and method for controlling a communication device to provide alerts |
-
2019
- 2019-12-20 US US16/721,963 patent/US10633007B1/en active Active
-
2020
- 2020-01-06 CN CN202010010283.3A patent/CN111506057B/zh active Active
- 2020-01-06 KR KR1020200001719A patent/KR102320979B1/ko active IP Right Grant
- 2020-01-17 JP JP2020006187A patent/JP6917080B2/ja active Active
- 2020-01-21 EP EP20152854.4A patent/EP3690722A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2020126625A (ja) | 2020-08-20 |
KR20200096113A (ko) | 2020-08-11 |
US10633007B1 (en) | 2020-04-28 |
EP3690722A1 (en) | 2020-08-05 |
CN111506057B (zh) | 2023-08-18 |
KR102320979B1 (ko) | 2021-11-04 |
CN111506057A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6917080B2 (ja) | ディープニューラルネットワークを基盤としたイメージ分析を通じて人の状態及び走行環境を識別して自律走行を補助する自律走行補助眼鏡 | |
CN113056749B (zh) | 用于自主机器应用的未来对象轨迹预测 | |
US11068724B2 (en) | Deep learning continuous lane lines detection system for autonomous vehicles | |
CN110248861B (zh) | 在车辆操纵过程中使用机器学习模型来引导车辆 | |
US11137762B2 (en) | Real time decision making for autonomous driving vehicles | |
US10997729B2 (en) | Real time object behavior prediction | |
US10034630B2 (en) | Apparatus and method to train autonomous driving model, and autonomous driving apparatus | |
JP6964354B2 (ja) | 最近の走行経路に対する軌跡基盤行動分析を遂行して、車両のモードを手動走行モードから自律走行モードに変更するか否かを判断する学習方法及び学習装置 | |
US10635915B1 (en) | Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation | |
KR20200038847A (ko) | 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치 | |
JP6919925B2 (ja) | バイクライダー用スマートヘルメットを利用してバイクのブラインドスポットをモニタリングする方法及びこれを利用したブラインドスポットモニタリング装置 | |
US10565863B1 (en) | Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone | |
CN114435351A (zh) | 用于基于神经网络的自动驾驶的系统和方法 | |
EP0927677B1 (fr) | Système de commande d'une direction intelligente de véhicule automobile | |
CN114841336A (zh) | 修补用于自主机器应用的部署的深度神经网络 | |
CN112970029B (zh) | 用于自主机器应用中传感器视盲检测的深度神经网络处理 | |
Tepteris | Autonomous vehicles: Basic concepts in motion control and visual perception | |
WO2021111544A1 (ja) | 運転支援装置および運転支援方法 | |
CN113327456A (zh) | 一种车道结构检测方法及装置 | |
JP2022164644A (ja) | 自律走行車を制御するためのシステム及び方法 | |
CN116229390A (zh) | 使用基于相机的输入用于自主系统和应用的基于深度学习的操作域验证 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6917080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |