JP6788477B2 - 認識結果提示装置及び認識結果提示方法 - Google Patents

認識結果提示装置及び認識結果提示方法 Download PDF

Info

Publication number
JP6788477B2
JP6788477B2 JP2016210329A JP2016210329A JP6788477B2 JP 6788477 B2 JP6788477 B2 JP 6788477B2 JP 2016210329 A JP2016210329 A JP 2016210329A JP 2016210329 A JP2016210329 A JP 2016210329A JP 6788477 B2 JP6788477 B2 JP 6788477B2
Authority
JP
Japan
Prior art keywords
person
person appearance
recognition result
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016210329A
Other languages
English (en)
Other versions
JP2017159882A (ja
Inventor
和紀 小塚
和紀 小塚
亮太 藤村
亮太 藤村
齊藤　雅彦
雅彦 齊藤
哲司 渕上
哲司 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN201710065965.2A priority Critical patent/CN107176095B/zh
Priority to EP19167763.2A priority patent/EP3533665B1/en
Priority to EP17157070.8A priority patent/EP3235684B1/en
Priority to US15/439,987 priority patent/US10474907B2/en
Publication of JP2017159882A publication Critical patent/JP2017159882A/ja
Application granted granted Critical
Publication of JP6788477B2 publication Critical patent/JP6788477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B60Q1/5037—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays the display content changing automatically, e.g. depending on traffic situation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B60K2360/5915—Inter vehicle communication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/777—Instrument locations other than the dashboard on or in sun visors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77—Instrument locations other than the dashboard
    • B60K2360/797—Instrument locations other than the dashboard at the vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本開示は、自律移動体の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する認識結果提示装置及び認識結果提示方法に関するものである。また、本開示は、自律移動体によって認識可能な認識対象を提示する認識対象提示装置及び認識対象提示方法に関するものである。
近年、自律運転車両の開発が進められている。将来、自律運転車両が普及するようになると、自律運転車両によりバレーパーキングが行われる。この場合、既に停車している車両の近傍を自律運転車両が通過することになるが、停車している車両から降車する人物は、自身が自律運転車両によって認識されているか否かが分からず、自律運転車両の前を横断することが可能であるか否かを判断することができない。
例えば、特許文献１には、車体に対してスライドドアが開状態とされた際に、発光装置の光源部が、該スライドドアの下方に向けて直接光を照射することが開示されている。これにより、例えば路面状態を照射可能とさせて、歩行者、後方車又は側方車の運転手などに対して注意を促すことができる。
特開２００３−３２７０４１号公報
しかしながら、上記従来の技術では、スライドドアの下方が照明されるので、後方車の運転手は人が降車することを認識することができるが、後方車が自律運転車両である場合、当該自律運転車両は人が降車することを認識することができず、更なる改善が必要とされていた。
本開示は、上記の問題を解決するためになされたもので、道路上に人物が出現することを正確に認識することができるとともに、人物が出現する場所が自律移動体によって認識されていることを人物に対して確実に通知することができる認識結果提示装置、認識結果提示方法、認識対象提示装置及び認識対象提示方法を提供することを目的とするものである。
本開示の一態様に係る認識結果提示装置は、自律移動体の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する認識結果提示装置であって、人物が出現する道路上に前記認識対象提示装置によって形成された人物出現領域を前記認識対象として検出する検出部と、前記人物に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記人物出現領域を認識していることを示す認識結果を提示する提示部と、を備える。
本開示によれば、道路上に人物が出現することを正確に認識することができるとともに、人物が出現する場所が自律移動体によって認識されていることを人物に対して確実に通知することができる。
本実施の形態１に係る自動運転車両の構成を示すブロック図である。 本実施の形態１における認識対象提示装置の構成を示す図である。 本実施の形態１における認識結果提示装置の構成を示す図である。 本実施の形態１における認識対象提示装置の動作について説明するためのフローチャートである。 本実施の形態１における人物出現領域の形成について説明するための模式図である。 本実施の形態１における認識結果提示装置の動作について説明するためのフローチャートである。 本実施の形態１において、撮影画像の取得、人物出現領域の検出及び撮影画像の座標変換について説明するための模式図である。 本実施の形態１において認識結果を提示する処理について説明するための図である。 本実施の形態１の第１の変形例において認識対象を提示する処理について説明するための図である。 本実施の形態１の第２の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態１の第３の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態１の第４の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態１の第５の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態１の第６の変形例において認識結果を提示する処理について説明するための図である。 本実施の形態１の第７の変形例において認識対象を提示する処理について説明するための図である。 本実施の形態２における認識結果提示装置の構成を示す図である。
（本開示の基礎となった知見）
上記のように、将来、自律運転車両が普及するようになると、自律運転車両によりバレーパーキングが行われる。この場合、既に停車している車両の近傍を自律運転車両が通過することになるが、停車している車両から降車する人物は、自身が自律運転車両によって認識されているか否かが分からず、自律運転車両の前を横断することが可能であるか否かを判断することができない。
例えば、特許文献１には、車体に対してスライドドアが開状態とされた際に、発光装置の光源部が、該スライドドアの下方に向けて直接光を照射することが開示されている。これにより、例えば路面状態を照射可能とさせて、歩行者、後方車又は側方車の運転手などに対して注意を促すことができる。
しかしながら、上記特許文献１の技術では、スライドドアの下方が照明されるので、後方車の運転手は人が降車することを認識することができるが、後方車が自律運転車両である場合、当該自律運転車両は人が降車することを認識することができない。
特に、停車している車両から降車する人物は、車体又はドアによって隠れてしまう可能性があり、自律運転車両は、前方に停車している車両から降車する人物を認識するのが困難である場合がある。
以上の課題を解決するために、本開示の一態様に係る認識結果提示装置は、自律移動体の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する認識結果提示装置であって、人物が出現する道路上に前記認識対象提示装置によって形成された人物出現領域を前記認識対象として検出する検出部と、前記人物に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記人物出現領域を認識していることを示す認識結果を提示する提示部と、を備える。
この構成によれば、人物が出現する道路上に認識対象提示装置によって形成された人物出現領域が認識対象として検出される。そして、人物に対して、認識対象が検出されることによって自律移動体が人物出現領域を認識していることを示す認識結果が提示される。
したがって、人物が直接検出されるのではなく、人物が出現する道路上に認識対象提示装置によって形成された人物出現領域が検出されるので、道路上に人物が出現することを正確に認識することができる。また、人物に対して、認識対象が検出されることによって自律移動体が人物出現領域を認識していることを示す認識結果が提示されるので、人物が出現する場所が自律移動体によって認識されていることを人物に対して確実に通知することができる。
また、上記の認識結果提示装置において、前記提示部は、前記人物出現領域に向けて光を照射する光照射部を含んでもよい。
この構成によれば、人物出現領域が自律移動体によって認識されていることを、人物出現領域に向けて照射される光によって確実に通知することができる。
また、上記の認識結果提示装置において、前記光照射部は、前記人物出現領域に向けて前記人物出現領域と同じ形状の光を照射するとともに、前記人物出現領域と前記自律移動体が存在する位置との間の地面上に直線状の光を照射してもよい。
この構成によれば、人物出現領域が自律移動体によって認識されていることを、人物出現領域に向けて照射される人物出現領域と同じ形状の光と、人物出現領域と自律移動体が存在する位置との間の地面上に照射される直線状の光とによって確実に通知することができる。
また、上記の認識結果提示装置において、前記光照射部は、前記人物出現領域の色とは異なる色の前記光を前記人物出現領域に向けて照射し、前記人物出現領域の色を変化させてもよい。
この構成によれば、人物出現領域に出現する人物は、当該人物出現領域の色の変化を確認することにより、当該人物出現領域が自律移動体によって認識されていることを知ることができ、自律移動体の前を横断するか否かなどの自律移動体に対する行動を決定することができる。
また、上記の認識結果提示装置において、前記光照射部は、前記自律移動体が前記人物出現領域を認識していることを示す文字を含む画像を、前記人物出現領域に投影してもよい。
この構成によれば、人物出現領域が自律移動体によって認識されていることを、自律移動体が人物出現領域を認識していることを示す文字によって確実に通知することができる。
また、上記の認識結果提示装置において、前記光照射部は、前記自律移動体が前記人物出現領域を認識していることを示す模様を含む画像を、前記人物出現領域に投影してもよい。
この構成によれば、人物出現領域が自律移動体によって認識されていることを、自律移動体が人物出現領域を認識していることを示す模様によって確実に通知することができる。
また、上記の認識結果提示装置において、前記光照射部は、前記人物出現領域のうちの前記自律移動体が走行する範囲のみに前記光を照射してもよい。
この構成によれば、人物出現領域のうちの自律移動体が走行する範囲のみに光が照射されるので、人物出現領域に出現する人物は、自律移動体が走行する範囲、すなわち、自律移動体が認識している範囲を知ることができる。
また、上記の認識結果提示装置において、前記提示部は、前記人物出現領域が存在する方向へ所定の音を出力する音出力部を含んでもよい。
この構成によれば、人物出現領域が自律移動体によって認識されていることを、人物出現領域が存在する方向へ出力される所定の音によって確実に通知することができる。
また、上記の認識結果提示装置において、前記自律移動体の進行方向の画像を撮影する撮影部をさらに備え、前記検出部は、前記画像内における前記人物出現領域を検出し、前記提示部は、前記自律移動体の表面に配置され、前記検出部によって検出された前記人物出現領域を識別可能な態様で表した前記画像を表示する表示部を含んでもよい。
この構成によれば、自律移動体の進行方向の画像が撮影される。画像内における人物出現領域が検出される。自律移動体の表面に配置された表示部に、検出された人物出現領域を識別可能な態様で表した画像が表示される。
したがって、自律移動体の表面に配置された表示部に表示される、検出された人物出現領域を識別可能な態様で表した画像によって、人物出現領域が自律移動体によって認識されていることを確実に通知することができる。
また、上記の認識結果提示装置において、前記人物出現領域は、前記認識対象提示装置が前記検出部で検出可能な所定の色の光を前記道路上に照射することによって形成されてもよい。
この構成によれば、人物出現領域は、認識対象提示装置が検出部で検出可能な所定の色の光を道路上に照射することによって形成されるので、自律移動体において人物出現領域を確実に認識させることができる。
また、上記の認識結果提示装置において、前記人物出現領域は、前記認識対象提示装置が前記検出部で検出可能な所定のパターンの光を前記道路上に照射することによって形成されてもよい。
この構成によれば、人物出現領域は、認識対象提示装置が検出部で検出可能な所定のパターンの光を道路上に照射することによって形成されるので、自律移動体において人物出現領域を確実に認識させることができる。
また、上記の認識結果提示装置において、前記人物出現領域は、前記認識対象提示装置が前記検出部で検出可能な時間変化する光を前記道路上に照射することによって形成されてもよい。
この構成によれば、人物出現領域は、認識対象提示装置が検出部で検出可能な時間変化する光を道路上に照射することによって形成されるので、自律移動体において人物出現領域を確実に認識させることができる。
本開示の他の態様に係る認識結果提示方法は、自律移動体の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する認識結果提示装置における認識結果提示方法であって、人物が出現する道路上に前記認識対象提示装置によって形成された人物出現領域を前記認識対象として検出し、前記人物に対して、前記認識対象が検出されることによって前記自律移動体が前記人物出現領域を認識していることを示す認識結果を提示する。
この構成によれば、人物が出現する道路上に認識対象提示装置によって形成された人物出現領域が認識対象として検出される。そして、人物に対して、前記認識対象が検出されることによって自律移動体が人物出現領域を認識していることを示す認識結果が提示される。
したがって、人物が直接検出されるのではなく、人物が出現する道路上に認識対象提示装置によって形成された人物出現領域が検出されるので、道路上に人物が出現することを正確に認識することができる。また、人物に対して、認識対象が検出されることによって自律移動体が人物出現領域を認識していることを示す認識結果が提示されるので、人物が出現する場所が自律移動体によって認識されていることを人物に対して確実に通知することができる。
本開示の他の態様に係る認識対象提示装置は、自律移動体によって認識可能な認識対象を提示する認識対象提示装置であって、前記認識対象であり、人物が出現する位置を示す人物出現領域を道路上に形成するか否かを判断する領域形成判断部と、前記領域形成判断部によって前記人物出現領域を形成すると判断された場合、前記人物出現領域を前記道路上に形成する領域形成部と、を備える。
この構成によれば、認識対象であり、人物が出現する位置を示す人物出現領域を道路上に形成するか否かが判断される。そして、人物出現領域を形成すると判断された場合、人物出現領域が道路上に形成される。
したがって、人物が出現する人物出現領域が道路上に形成されるので、人物を直接検出することができない場合であっても、道路上に形成された人物出現領域を検出することにより、人物が出現することを自律移動体に認識させることができる。
本開示の他の態様に係る認識対象提示方法は、自律移動体によって認識可能な認識対象を提示する認識対象提示装置における認識対象提示方法であって、前記認識対象であり、人物が出現する位置を示す人物出現領域を道路上に形成するか否かを判断し、前記人物出現領域を形成すると判断した場合、前記人物出現領域を前記道路上に形成する。
この構成によれば、認識対象であり、人物が出現する位置を示す人物出現領域を道路上に形成するか否かが判断される。そして、人物出現領域を形成すると判断された場合、人物出現領域が道路上に形成される。
したがって、人物が出現する人物出現領域が道路上に形成されるので、人物を直接検出することができない場合であっても、道路上に形成された人物出現領域を検出することにより、人物が出現することを自律移動体に認識させることができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
（実施の形態１）
図１は、本実施の形態１に係る自動運転車両の構成を示すブロック図である。図１に示す自動運転車両１は、自動運転システム１０１、指示器１０２、車両制御プロセッサ１０３、ブレーキ制御システム１０４、アクセル制御システム１０５、ステアリング制御システム１０６、車両ナビゲーションシステム１０７及びＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）１０８を備える。
自動運転車両１は、自律走行する車両であり、自律移動体の一例である。本実施の形態１において、自動運転車両１は、自動車であるが、本開示は特にこれに限定されず、自動運転車両１は、オートバイ、トラック、バス、電車及び飛行体などの種々の車両であってもよい。
自動運転システム１０１は、プロセッサ１１１、メモリ１１２、ユーザ入力部１１３、提示部１１４及びセンサ１１５を備える。
センサ１１５は、自動運転車両１の周囲の環境及び自動運転車両１の内部の環境を測定する。センサ１１５は、例えば、自動運転車両１の速度を計測する速度計、自動運転車両１の加速度を計測する加速時計、自動運転車両１の向きを計測するジャイロスコープ、及びエンジン温度センサなどを含む。なお、センサ１１５は、上記のセンサに限らない。
センサ１１５は、ドア開閉検知部３１及びカメラ３２を含む。
ドア開閉検知部３１は、自動運転車両１のドアが開状態及び閉状態のいずれであるかを検知する。
カメラ３２は、撮影部の一例であり、自動運転車両１のバックミラーの近傍に配置され、自動運転車両１の前方の画像を撮影する。なお、カメラ３２は、自動運転車両１の前方だけでなく、自動運転車両１の後方、自動運転車両１の右方及び自動運転車両１の左方などの自動運転車両１の周囲の画像を撮影してもよい。
メモリ１１２は、コンピュータ読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、光ディスク及び半導体メモリ等である。メモリ１１２は、プロセッサ１１１により実行される自動運転プログラム１２１及びプロセッサ１１１により利用されるデータ１２２を記憶している。
データ１２２は、地図データ２１及び座標変換マップデータ２２を含む。地図データ２１は、地形情報、走行レーンを示すレーン情報、交差点に関する交差点情報、及び制限速度を示す制限速度情報などを含む。なお、地図データ２１としては、上記の情報に限らない。座標変換マップデータ２２は、カメラ３２によって撮影された撮影画像上の各画素の位置と、実空間上の位置とを対応付けた座標変換マップである。
プロセッサ１１１は、例えばＣＰＵ（中央演算処理装置）であり、メモリ１１２に記憶されている自動運転プログラム１２１を実行する。プロセッサ１１１が自動運転プログラム１２１を実行することにより、自動運転車両１は自律的に走行する。また、プロセッサ１１１は、メモリ１１２からデータ１２２を読み出し、メモリ１１２にデータ１２２を書き込み、メモリ１１２に記憶されているデータ１２２を更新する。
自動運転プログラム１２１は、レーン検出部１１、領域形成判断部１２、領域検出部１３及び座標変換部１４としてプロセッサ１１１を機能させる。
レーン検出部１１は、カメラ３２によって撮影された撮影画像から、道路上に描かれた車線を認識し、自動運転車両１が走行するレーンを検出する。
領域形成判断部１２は、人物が出現する位置を示す人物出現領域を道路上に形成するか否かを判断する。領域形成判断部１２は、ドア開閉検知部３１によって自動運転車両１のドアが開状態であると検知された場合、人物出現領域を形成すると判断する。
領域検出部１３は、カメラ３２によって撮影された撮影画像から、人物が出現する道路上に領域照射部４１によって形成された人物出現領域を認識対象として検出する。領域検出部１３は、例えば、多層構造のニューラルネットワークをディープラーニングにより機械学習し、機械学習したニューラルネットワークに撮影画像を入力することにより、撮影画像に含まれる人物出現領域を検出する。
座標変換部１４は、座標変換マップデータ２２を用いて、撮影画像の座標を実空間の座標に変換する。
ユーザ入力部１１３は、ユーザによる種々の情報の入力を受け付ける。ユーザ入力部１１３は、例えば、ボタン又はタッチパネルで構成される。
提示部１１４は、種々の情報を提示する。提示部１１４は、領域形成判断部１２によって人物出現領域を形成すると判断された場合、人物出現領域を道路上に形成する。また、提示部１１４は、人物に対して、領域検出部１３によって人物出現領域（認識対象）が検出されることによって自動運転車両１が人物出現領域を認識していることを示す認識結果を提示する。提示部１１４は、領域照射部４１及びレーザ照射部４２を含む。
領域照射部４１は、ドアの下方であり車体の下部に配置される。領域照射部４１は、自動運転車両１に設けられた各ドアに対して配置される。領域照射部４１は、領域形成判断部１２によって人物出現領域を形成すると判断された場合、所定の形状の光を、開状態のドアの下方の道路上に照射し、人物出現領域を道路上に形成する。人物出現領域は、例えば長方形状である。人物出現領域は、認識対象提示装置の領域照射部４１が領域検出部１３で検出可能な所定の色の光を道路上に照射することによって形成される。
レーザ照射部４２は、自動運転車両１の前方部分に配置され、自動運転車両１の前方に存在する人物出現領域に向けてレーザ光を照射する。なお、レーザ照射部４２は、自動運転車両１の前方だけでなく、自動運転車両１の後方、自動運転車両１の右方及び自動運転車両１の左方などの自動運転車両１の周囲に存在する人物出現領域に向けてレーザ光を照射してもよい。また、レーザ照射部４２は、人物出現領域に向けて人物出現領域と同じ形状の光を照射するとともに、人物出現領域と自動運転車両１が存在する位置との間の地面上に直線状の光を照射することが好ましい。
レーザ照射部４２は、座標変換部１４によって実空間上の座標に変換された人物出現領域の位置に向けてレーザ光を照射する。なお、領域検出部１３によって人物出現領域が存在する方向及び自動運転車両１から人物出現領域までの距離が特定された場合、レーザ照射部４２は、人物出現領域が存在する位置の地面に向けてレーザ光を照射してもよい。
レーザ照射部４２は、人物出現領域の色とは異なる色のレーザ光を人物出現領域に向けて照射し、人物出現領域の色を変化させる。例えば、人物出現領域の色が緑色であり、レーザ照射部４２が照射する光の色が赤色である場合、レーザ照射部４２からの光が人物出現領域に照射されると、人物出現領域の色は黄色に変化する。このように、停車している自動運転車両１から降車した人物は、緑色から黄色に変化した人物出現領域を確認することにより、接近してくる自動運転車両１によって人物出現領域が認識されていると判断することができる。
指示器１０２は、自動運転車両１が左折、右折又は進路を変更する際に、その方向を周囲に示すための装置である。車両制御プロセッサ１０３は、自動運転車両１を制御する。ブレーキ制御システム１０４は、自動運転車両１を減速するように制御する。アクセル制御システム１０５は、自動運転車両１の速度を制御する。ステアリング制御システム１０６は、自動運転車両１の進行方向を調節する。車両ナビゲーションシステム１０７は、自動運転車両１の走行経路を決定したり、自動運転車両１の走行経路を提示したりする。ＧＰＳ１０８は、自動運転車両１の現在位置を取得する。
プロセッサ１１１は、センサ１１５によるセンシング結果、レーン検出部１１による検出結果及び領域検出部１３による検出結果に基づいて、自動運転車両１の方向及び速度を制御する。プロセッサ１１１は、アクセル制御システム１０５によって自動運転車両１を加速させ、ブレーキ制御システム１０４によって自動運転車両１を減速させ、ステアリング制御システム１０６によって自動運転車両１の方向を変化させる。
また、プロセッサ１１１は、領域検出部１３によって人物出現領域が検出された場合、人物出現領域を避けて走行する、又は人物出現領域の手前で停止するように自動運転車両１を制御する。
図２は、本実施の形態１における認識対象提示装置の構成を示す図である。認識対象提示装置は、自動運転車両（自律移動体）によって認識可能な認識対象を提示する。図２に示す認識対象提示装置は、領域形成判断部１２、ドア開閉検知部３１及び領域照射部４１を備える。図２に示す認識対象提示装置において図１と同じ構成については同じ符号を付し、説明を省略する。
図３は、本実施の形態１における認識結果提示装置の構成を示す図である。認識結果提示装置は、自動運転車両（自律移動体）の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する。図３に示す認識結果提示装置は、カメラ３２、領域検出部１３、座標変換部１４、レーザ照射部４２及び座標変換マップデータ格納部２２１を備える。
図３に示す認識結果提示装置において図１と同じ構成については同じ符号を付し、説明を省略する。座標変換マップデータ格納部２２１は、図１のメモリ１１２で構成され、座標変換マップデータ２２を記憶する。
続いて、本実施の形態１における認識対象提示装置の動作について説明する。
図４は、本実施の形態１における認識対象提示装置の動作について説明するためのフローチャートである。
まず、ステップＳ１において、領域形成判断部１２は、人物が出現する位置を示す人物出現領域を道路上に光を照射することにより形成するか否かを判断する。領域形成判断部１２は、ドア開閉検知部３１によって自動運転車両１のドアが開状態であると検知された場合、人物出現領域を形成すると判断し、ドア開閉検知部３１によって自動運転車両１のドアが閉状態であると検知された場合、人物出現領域を形成しないと判断する。
ここで、人物出現領域を形成すると判断された場合（ステップＳ１でＹＥＳ）、ステップＳ２において、領域照射部４１は、例えば長方形状の光を、開状態のドアの下方の道路上に照射し、人物出現領域を道路上に形成する。その後、ステップＳ１の処理に戻る。
一方、人物出現領域を形成しないと判断された場合（ステップＳ１でＮＯ）、ステップＳ３において、領域照射部４１は、人物出現領域を形成しているか否かを判断する。すなわち、領域照射部４１は、例えば長方形状の光をドアの下方の道路上に照射していれば、人物出現領域を形成していると判断し、例えば長方形状の光をドアの下方の道路上に照射していなければ、人物出現領域を形成していないと判断する。
ここで、人物出現領域を形成していないと判断された場合（ステップＳ３でＮＯ）、ステップＳ１の処理に戻る。
一方、人物出現領域を形成していると判断された場合（ステップＳ３でＹＥＳ）、ステップＳ４において、領域照射部４１は、例えば長方形状の光をドアの下方の道路上に照射するのを停止し、人物出現領域を消去する。その後、ステップＳ１の処理に戻る。
図５は、本実施の形態１における人物出現領域の形成について説明するための模式図である。図５に示すように、自動運転車両１が道路の端に停車した後、自動運転車両１のドア３０１から人物２が降車する場合、領域照射部４１は、例えば長方形状の光を、開状態のドアの下方の道路上に照射し、人物出現領域３０２を道路上に形成する。
続いて、本実施の形態１における認識結果提示装置の動作について説明する。
図６は、本実施の形態１における認識結果提示装置の動作について説明するためのフローチャートである。図７は、本実施の形態１において、撮影画像の取得、人物出現領域の検出及び撮影画像の座標変換について説明するための模式図である。なお、以下の説明では、人物が降車する停車している自動運転車両を自動運転車両１ａとし、停車している自動運転車両１ａに対して後方から接近する自動運転車両を自動運転車両１ｂとする。
まず、ステップＳ１１において、カメラ３２は、自動運転車両１ｂの進行方向の画像を撮影する。このとき、カメラ３２は、自動運転車両１ｂの前方を撮影可能な位置に配置され、自動運転車両１ｂの前方を撮影する。なお、自動運転車両１ｂが前進する場合には、自動運転車両１ｂの前方に配置されたカメラによって撮影し、自動運転車両１ｂが後進する場合には、自動運転車両１ｂの後方に配置されたカメラによって撮影することが好ましい。
次に、ステップＳ１２において、領域検出部１３は、カメラ３２によって撮影された撮影画像２０１を取得する。図７に示す撮影画像２０１は、人物出現領域３０２を含む。
次に、ステップＳ１３において、領域検出部１３は、カメラ３２から取得した撮影画像に含まれる人物出現領域を検出する。図７において、領域検出部１３は、撮影画像２０１に含まれる人物出現領域３０２を検出する。
次に、ステップＳ１４において、座標変換部１４は、領域検出部１３によって撮影画像から人物出現領域が検出されたか否かを判断する。ここで、人物出現領域が検出されなかったと判断された場合（ステップＳ１４でＮＯ）、ステップＳ１１の処理に戻る。
一方、人物出現領域が検出されたと判断された場合（ステップＳ１４でＹＥＳ）、ステップＳ１５において、座標変換部１４は、座標変換マップデータ２２を用いて、撮影画像の座標を実空間の座標に変換する。図７に示すように、撮影画像２０１を座標変換することにより、実空間の座標に対応した実空間画像２０３が生成される。
次に、ステップＳ１６において、レーザ照射部４２は、領域検出部１３によって検出された人物出現領域３０２の位置に向けてレーザ光を照射する。このとき、レーザ照射部４２は、座標変換部１４によって変換された実空間画像２０３内の人物出現領域３０２の座標位置から、実際に人物出現領域３０２が存在する位置を特定し、特定した位置に向けてレーザ光を照射する。その後、ステップＳ１１の処理に戻る。
なお、ステップＳ１１〜ステップＳ１６の処理は、自動運転車両１ｂの電源がオンされてからオフされるまで行われる。
図８は、本実施の形態１において認識結果を提示する処理について説明するための図である。図８に示すように、人物出現領域３０２が検出された場合、レーザ照射部４２は、検出された人物出現領域３０２の位置に向けて人物出現領域３０２と同じ形状のレーザ光２１１を照射するするとともに、人物出現領域３０２が存在する位置と自動運転車両１ｂが存在する位置との間の地面上に直線状のレーザ光２１２を照射する。したがって、人物２は、自身の足下の人物出現領域３０２が自動運転車両１ｂによって認識されているか否かを知ることができ、自動運転車両１ｂの前を横断するか否かなどの自動運転車両１ｂに対する行動を決定することができる。また、人物出現領域３０２が存在する位置と自動運転車両１ｂが存在する位置との間の地面上に直線状のレーザ光２１２が照射されるので、人物２は、自身の足下の人物出現領域３０２がどの自動運転車両から認識されているかを容易に確認することができる。
なお、本実施の形態１では、レーザ光を人物出現領域３０２に照射しているが、本開示は特にこれに限定されず、発光ダイオードなどの他の光源からの光を人物出現領域３０２に照射してもよい。
また、提示部１１４は、プロジェクタを備えてもよく、プロジェクタからの光（画像）を人物出現領域３０２に向けて照射してもよい。この場合、プロジェクタは、プロジェクタと人物出現領域３０２との間の地面上に直線状の光を照射することが好ましい。
図９は、本実施の形態１の第１の変形例において認識対象を提示する処理について説明するための図である。
実施の形態１では、人物出現領域３０２は、領域照射部４１が領域検出部１３で検出可能な所定の色の光を道路上に照射することによって形成されるが、実施の形態１の第１の変形例では、人物出現領域３０３は、領域照射部４１が領域検出部１３で検出可能な所定のパターンの光を道路上に照射することによって形成される。すなわち、図９に示すように、領域照射部４１は、ストライプ状の光を道路上に照射することにより、領域検出部１３で検出可能な人物出現領域３０３を形成する。領域検出部１３は、撮影画像の中からストライプ状の部分を認識することにより、人物出現領域３０３を容易に検出することができる。
また、本実施の形態１において、人物出現領域は、領域照射部４１が領域検出部１３で検出可能な時間変化する光を道路上に照射することによって形成されてもよい。すなわち、領域照射部４１は、所定の形状及び所定の色の光を道路上に照射するとともに、照射する光を所定の時間間隔で点滅させることにより、領域検出部１３で検出可能な人物出現領域を形成してもよい。また、領域照射部４１は、所定の形状及び所定の色の光を道路上に照射するとともに、照射する光を間欠的に点灯させることにより、領域検出部１３で検出可能な人物出現領域を形成してもよい。
さらに、領域照射部４１は、所定の形状及び所定の色の光を道路上に照射するとともに、照射する光のパターンを所定の時間間隔で変化させることにより、領域検出部１３で検出可能な人物出現領域を形成してもよい。さらにまた、領域照射部４１は、所定の形状の光を道路上に照射するとともに、照射する光の色を所定の時間間隔で変化させることにより、領域検出部１３で検出可能な人物出現領域を形成してもよい。
また、本実施の形態１において、人物出現領域は、領域照射部４１が領域検出部１３で検出可能な可視光以外の光を道路上に照射することによって形成されてもよい。なお、可視光以外の光とは、例えば赤外線光である。この場合、領域検出部１３は、撮影画像に含まれる可視光以外の光を検出することにより、人物出現領域を検出してもよい。
また、本実施の形態１において、自動運転車両１は、人物が出現することを通知するための音声を出力するスピーカと、人物が出現することを通知するための音声を収音するマイクとをさらに備えてもよい。
図１０は、本実施の形態１の第２の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態１の第２の変形例では、レーザ照射部４２は、自動運転車両１ｂが人物出現領域を認識していることを示す文字を含む画像を、人物出現領域に投影する。図１０に示すように、レーザ照射部４２は、例えば「ＯＫ」という文字２１３を含む画像を、人物出現領域３０２に投影する。これにより、人物出現領域３０２には、「ＯＫ」という文字２１３が表示され、人物２は、文字２１３を確認することで、自動運転車両１ｂが人物出現領域３０２を認識していることを知ることができ、自動運転車両１ｂの前を横断するか否かなどの自動運転車両１ｂに対する行動を決定することができる。
なお、人物出現領域３０２に投影される文字は、図１０に示す「ＯＫ」に限らず、自動運転車両１ｂが人物出現領域３０２を認識していることを示す文字であればよい。また、文字ではなく、記号、図形又は絵が人物出現領域３０２に投影されてもよい。
図１１は、本実施の形態１の第３の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態１の第３の変形例では、レーザ照射部４２は、自動運転車両１ｂが人物出現領域を認識していることを示す模様を含む画像を、人物出現領域に投影する。図１１に示すように、レーザ照射部４２は、例えば横断歩道を示す模様２１４を含む画像を、人物出現領域３０２に投影する。これにより、人物出現領域３０２には、横断歩道を示す模様２１４が表示され、人物２は、模様２１４を確認することで、自動運転車両１ｂが人物出現領域３０２を認識していることを知ることができ、自動運転車両１ｂの前を横断するか否かなどの自動運転車両１ｂに対する行動を決定することができる。
なお、人物出現領域３０２に投影される模様は、図１１に示す横断歩道に限らず、自動運転車両１ｂが人物出現領域３０２を認識していることを示す模様であればよい。
図１２は、本実施の形態１の第４の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態１の第４の変形例では、レーザ照射部４２は、人物出現領域のうちの自動運転車両１ｂが走行する範囲のみに光を照射する。図１２に示すように、レーザ照射部４２は、長方形状の人物出現領域３０２のうちの自動運転車両１ｂが走行する範囲２１５のみに光を照射する。この結果、人物出現領域３０２のうちの自動運転車両１ｂが走行する範囲２１５の色が変化する。これにより、人物２は、自動運転車両１ｂが走行する範囲２１５、すなわち、自動運転車両１ｂが認識している範囲を知ることができる。
図１３は、本実施の形態１の第５の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態１の第５の変形例では、認識結果提示装置は、座標変換部１４、座標変換マップデータ格納部２２１及びレーザ照射部４２に替えて、自動運転車両１ｂの表面に配置され、領域検出部１３によって検出された人物出現領域を識別可能な態様で表した画像を表示する表示部４３を備える。
図１３に示すように、表示部４３は、例えば、液晶表示装置であり、自動運転車両１ｂの表面に配置される。なお、表示部４３は、自動運転車両１ｂの前面、後面、右側面及び左側面の少なくとも１つの位置に配置される。領域検出部１３は、撮影画像２０１に含まれる人物出現領域３０２を検出する。表示部４３は、検出された人物出現領域３０２の表示画面上の色を実際の色とは異ならせて表示する。表示部４３は、検出された人物出現領域３０２の色を変化させた画像をリアルタイムに表示する。したがって、人物２は、人物出現領域３０２が自動運転車両１ｂによって認識されているか否かを知ることができ、自動運転車両１ｂの前を横断するか否かなどの自動運転車両１ｂに対する行動を決定することができる。
なお、表示部４３は、画像の左右を反転させて表示することが好ましい。これにより、人物出現領域３０２が鏡に映っているように表示されるので、人物２は直感的に認識結果を把握することができる。
図１４は、本実施の形態１の第６の変形例において認識結果を提示する処理について説明するための図である。
本実施の形態１の第６の変形例では、認識結果提示装置は、座標変換部１４、座標変換マップデータ格納部２２１及びレーザ照射部４２に替えて、人物出現領域が存在する方向へ所定の音を出力する音出力部４４を備える。
図１４に示すように、音出力部４４は、例えば、指向性スピーカであり、検出された人物出現領域が存在する方向に対して指向性を有する所定の音を出力する。また、音出力部４４から出力される音は指向性を有しているため、人物２だけに聞こえる。したがって、人物２は、人物出現領域が自動運転車両１ｂによって認識されているか否かを知ることができ、自動運転車両１ｂの前を横断するか否かなどの自動運転車両１ｂに対する行動を決定することができる。
なお、本実施の形態１では、人物出現領域は、自動運転車両１ａから出現する人物の足下の道路上に認識対象提示装置によって形成されるが、本開示は特にこれに限定されず、例えば交差点付近などに存在する建物から出現する人物の足下の道路上に認識対象提示装置によって形成されてもよい。
図１５は、本実施の形態１の第７の変形例において認識対象を提示する処理について説明するための図である。本実施の形態１の第７の変形例では、認識対象提示装置のドア開閉検知部３１は、建物５０１の出入り口に設けられたドアが開状態及び閉状態のいずれであるかを検知する。
領域形成判断部１２は、ドア開閉検知部３１によって建物５０１のドアが開状態であると検知された場合、人物出現領域５０２を形成すると判断し、ドア開閉検知部３１によって建物５０１のドアが閉状態であると検知された場合、人物出現領域５０２を形成しないと判断する。
領域照射部４１は、建物５０１の出入り口に配置され、例えば長方形状の光を、開状態のドアの下方の道路上に照射し、人物出現領域５０２を道路上に形成する。そして、自動運転車両１の領域検出部１３は、カメラ３２によって撮影した撮影画像２０１に含まれる人物出現領域５０２を検出する。レーザ照射部４２は、領域検出部１３によって検出された人物出現領域５０２の位置に向けてレーザ光を照射する。
このように、車両から出てくる人物だけでなく、建物から出てくる人物の足下に人物出現領域５０２を形成し、自動運転車両１に人物出現領域５０２を認識させることができる。したがって、人物２は、人物出現領域５０２が自動運転車両１によって認識されているか否かを知ることができ、自動運転車両１の前を横断するか否かなどの自動運転車両１に対する行動を決定することができる。
なお、領域検出部１３は、撮影画像中の複数の人物出現領域を検出してもよい。複数の人物出現領域が検出された場合、レーザ照射部４２は、検出された複数の人物出現領域のそれぞれに対して光を照射してもよい。また、複数の人物出現領域が検出された場合、表示部４３は、検出された複数の人物出現領域のそれぞれの色を変更した撮影画像を表示してもよい。また、複数の人物出現領域が検出された場合、音出力部４４は、検出された複数の人物出現領域のそれぞれに対して音を出力してもよい。
また、実施の形態１において、提示部１１４は、レーザ照射部４２、表示部４３及び音出力部４４の少なくとも１つを含んでもよい。すなわち、レーザ照射部４２による認識結果の提示、表示部４３による認識結果の提示及び音出力部４４による認識結果の提示のいずれか２つ又は全てを組み合わせてもよい。
また、本実施の形態１において、人物が降車する車両は自動運転車両であるが、本開示は特にこれに限定されず、人物が降車する車両は、運転手によって運転される車両であってもよく、当該車両は、認識対象提示装置を備えていればよい。
また、本実施の形態１において、領域形成判断部１２は、ドア開閉検知部３１によってドアが開状態であると検知された場合、人物出現領域を形成すると判断しているが、本開示は特にこれに限定されず、自動運転車両の電源がオフ状態であると検知された場合、人物出現領域を形成すると判断してもよい。
また、本実施の形態１において、領域形成判断部１２は、ドア開閉検知部３１によってドアが開状態であると検知され、人物出現領域を形成すると判断した後、ドア開閉検知部３１によってドアが閉状態であると検知された場合、ドアが閉状態であると検知されてから所定時間経過するまで人物出現領域を形成すると判断してもよい。これにより、ドアが閉じられても、所定時間経過するまでは人物出現領域が形成されるので、人物は、安全に自動運転車両１ｂの前を通過することができる。
（実施の形態２）
図１６は、本実施の形態２における認識結果提示装置の構成を示す図である。図１６に示す認識結果提示装置は、カメラ３２、領域検出部１３、座標変換部１４、危険度判定部１５、提示方法決定部１６、提示部１１４及び座標変換マップデータ格納部２２１を備える。
実施の形態２における自動運転車両の構成は、自動運転プログラム１２１が危険度判定部１５及び提示方法決定部１６をさらに備えること以外は、図１に示す自動運転車両の構成と同じである。図１６に示す認識結果提示装置において図１及び図３と同じ構成については同じ符号を付し、説明を省略する。
危険度判定部１５は、領域検出部１３によって検出された人物出現領域の危険度を判定する。危険度は、第１の危険度と、第１の危険度より低い第２の危険度とを含む。例えば、危険度判定部１５は、自動運転車両１から人物出現領域までの距離を撮影画像から推定し、推定した距離が所定の距離以下である場合、危険度が高い第１の危険度であると判定し、推定した距離が所定の距離より長い場合、危険度が低い第２の危険度であると判定する。
提示方法決定部１６は、危険度判定部１５によって判定された危険度に応じて提示方法を決定する。提示方法決定部１６は、危険度判定部１５によって第１の危険度であると判定された場合のレーザ光の色と、危険度判定部１５によって第２の危険度であると判定された場合のレーザ光の色とを異ならせる。例えば、提示方法決定部１６は、第１の危険度であると判定された場合、レーザ光を赤色にする提示方法に決定し、第２の危険度であると判定された場合、レーザ光を青色にする提示方法に決定する。
提示部１１４は、提示方法決定部１６によって決定された提示方法に従って認識結果を提示する。提示部１１４は、レーザ照射部４２、表示部４３及び音出力部４４の少なくとも１つを含む。
例えば、提示方法決定部１６によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部４２は、領域検出部１３によって検出された第１の危険度の人物出現領域に向けて、赤色のレーザ光を照射する。例えば、提示方法決定部１６によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部４２は、領域検出部１３によって検出された第２の危険度の人物出現領域に向けて、青色のレーザ光を照射する。これにより、人物は、照射された光の色によって人物出現領域の危険度がどの程度であるかを認識することができる。
なお、提示方法決定部１６は、第１の危険度であると判定された場合、人物出現領域を赤色にする提示方法に決定し、第２の危険度であると判定された場合、人物出現領域を青色にする提示方法に決定してもよい。提示方法決定部１６によって人物出現領域を赤色にする提示方法に決定された場合、レーザ照射部４２は、領域検出部１３によって検出された第１の危険度の人物出現領域に向けて、人物出現領域に照射することによって人物出現領域が赤色に変化する色のレーザ光を照射してもよい。また、提示方法決定部１６によって人物出現領域を青色にする提示方法に決定された場合、レーザ照射部４２は、領域検出部１３によって検出された第２の危険度の人物出現領域に向けて、人物出現領域に照射することによって人物出現領域が青色に変化する色のレーザ光を照射してもよい。
また、例えば、提示方法決定部１６によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部４２は、領域検出部１３によって検出された第１の危険度の人物出現領域に向けて、赤色の所定の形状のレーザ光を照射するとともに、人物出現領域と自動運転車両が存在する位置との間の地面上に直線状の赤色のレーザ光を照射してもよい。例えば、提示方法決定部１６によってレーザ光を青色にする提示方法に決定された場合、レーザ照射部４２は、領域検出部１３によって検出された第２の危険度の人物出現領域に向けて、青色の所定の形状のレーザ光を照射するとともに、人物出現領域と自動運転車両が存在する位置との間の地面上に直線状の青色のレーザ光を照射してもよい。
また、提示方法決定部１６は、危険度判定部１５によって第１の危険度であると判定された場合の音と、危険度判定部１５によって第２の危険度であると判定された場合の音とを異ならせてもよい。例えば、提示方法決定部１６は、第１の危険度であると判定された場合、第１の音を出力する提示方法に決定し、第２の危険度であると判定された場合、第１の音とは異なる第２の音を出力する提示方法に決定する。そして、第１の音を出力する提示方法に決定された場合、音出力部４４は、領域検出部１３によって検出された第１の危険度の人物出現領域に向けて、第１の音を出力してもよい。また、第２の音を出力する提示方法に決定された場合、音出力部４４は、領域検出部１３によって検出された第２の危険度の人物出現領域に向けて、第２の音を出力してもよい。
また、例えば、提示方法決定部１６は、第１の危険度であると判定された場合、検出した人物出現領域の色を赤色にする提示方法に決定し、第２の危険度であると判定された場合、検出した人物出現領域の色を青色にする提示方法に決定する。そして、検出した人物出現領域の色を赤色にする提示方法に決定された場合、表示部４３は、領域検出部１３によって検出された第１の危険度の人物出現領域を赤色にした画像を表示してもよい。また、検出した人物出現領域の色を青色にする提示方法に決定された場合、表示部４３は、領域検出部１３によって検出された第２の危険度の人物出現領域を青色にした画像を表示してもよい。
また、領域検出部１３によって複数の人物出現領域が検出された場合、危険度判定部１５は、領域検出部１３によって検出された複数の人物出現領域のそれぞれの危険度を判定してもよい。そして、提示部１１４は、複数の人物出現領域のうちの危険度が最も高い人物出現領域から順番に認識結果を提示してもよい。例えば、領域検出部１３によって複数の人物出現領域が検出された場合、危険度判定部１５は、自動運転車両１から複数の人物出現領域のそれぞれまでの距離を撮影画像から推定し、推定した距離が最も近い（短い）人物出現領域から順番に危険度が高いと判定する。そして、提示部１１４は、複数の人物出現領域のうちの危険度が最も高い人物出現領域に対して優先的に認識結果を提示する。
例えば、レーザ照射部４２が１度に照射可能なレーザ光の数が限られている場合、レーザ照射部４２は、複数の人物出現領域のうちの危険度が最も高い人物出現領域に対して優先的にレーザ光を照射してもよい。
また、レーザ照射部４２が１度に２つのレーザ光を出射可能である場合、レーザ照射部４２は、複数の人物出現領域のうちの危険度が最も高い人物出現領域と危険度が２番目に高い人物出現領域とに対してレーザ光を照射してもよい。このとき、２つのレーザ光は互いに異なる色であることが好ましい。
また、例えば、音出力部４４が１度に出力可能な音の数が限られている場合、音出力部４４は、複数の人物出現領域のうちの危険度が最も高い人物出現領域に対して優先的に音を出力してもよい。
また、音出力部４４が１度に２つの音を出力可能である場合、音出力部４４は、複数の人物出現領域のうちの危険度が最も高い人物出現領域と危険度が２番目に高い人物出現領域とに対して音を出力する。このとき、２つの音は互いに異なる音であることが好ましい。
また、実施の形態１，２において、認識結果提示装置の構成要素の一部を、認識結果提示装置とネットワークを介して通信可能なサーバが備えてもよい。
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるＲｅｃｏｎｆｉｇｕｒａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅも同じ目的で使うことができる。
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（Ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（Ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（Ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。
本開示に係る認識結果提示装置及び認識結果提示方法は、道路上に人物が出現することを正確に認識することができるとともに、人物が出現する場所が自律移動体によって認識されていることを人物に対して確実に通知することができ、自律移動体の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する認識結果提示装置及び認識結果提示方法として有用である。
１，１ａ，１ｂ 自動運転車両
２ 人物
１１ レーン検出部
１２ 領域形成判断部
１３ 領域検出部
１４ 座標変換部
１５ 危険度判定部
１６ 提示方法決定部
２１ 地図データ
２２ 座標変換マップデータ
３１ ドア開閉検知部
３２ カメラ
４１ 領域照射部
４２ レーザ照射部
４３ 表示部
４４ 音出力部
１０１ 自動運転システム
１０２ 指示器
１０３ 車両制御プロセッサ
１０４ ブレーキ制御システム
１０５ アクセル制御システム
１０６ ステアリング制御システム
１０７ 車両ナビゲーションシステム
１０８ ＧＰＳ
１１１ プロセッサ
１１２ メモリ
１１３ ユーザ入力部
１１４ 提示部
１１５ センサ
１２１ 自動運転プログラム
１２２ データ
２２１ 座標変換マップデータ格納部

Claims (13)

  1. 自律移動体の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する認識結果提示装置であって、
    人物が出現する道路上に前記認識対象提示装置によって形成された人物出現領域を前記認識対象として検出する検出部と、
    前記人物に対して、前記検出部によって前記認識対象が検出されることによって前記自律移動体が前記人物出現領域を認識していることを示す認識結果を提示する提示部と、
    を備える認識結果提示装置。
  2. 前記提示部は、前記人物出現領域に向けて光を照射する光照射部を含む、
    請求項１記載の認識結果提示装置。
  3. 前記光照射部は、前記人物出現領域に向けて前記人物出現領域と同じ形状の光を照射するとともに、前記人物出現領域と前記自律移動体が存在する位置との間の地面上に直線状の光を照射する、
    請求項２記載の認識結果提示装置。
  4. 前記光照射部は、前記人物出現領域の色とは異なる色の前記光を前記人物出現領域に向けて照射し、前記人物出現領域の色を変化させる、
    請求項２又は３記載の認識結果提示装置。
  5. 前記光照射部は、前記自律移動体が前記人物出現領域を認識していることを示す文字を含む画像を、前記人物出現領域に投影する、
    請求項２〜４のいずれか１項に記載の認識結果提示装置。
  6. 前記光照射部は、前記自律移動体が前記人物出現領域を認識していることを示す模様を含む画像を、前記人物出現領域に投影する、
    請求項２〜４のいずれか１項に記載の認識結果提示装置。
  7. 前記光照射部は、前記人物出現領域のうちの前記自律移動体が走行する範囲のみに前記光を照射する、
    請求項１〜６のいずれか１項に記載の認識結果提示装置。
  8. 前記提示部は、前記人物出現領域が存在する方向へ所定の音を出力する音出力部を含む、
    請求項１〜７のいずれか１項に記載の認識結果提示装置。
  9. 前記自律移動体の進行方向の画像を撮影する撮影部をさらに備え、
    前記検出部は、前記画像内における前記人物出現領域を検出し、
    前記提示部は、前記自律移動体の表面に配置され、前記検出部によって検出された前記人物出現領域を識別可能な態様で表した前記画像を表示する表示部を含む、
    請求項１記載の認識結果提示装置。
  10. 前記人物出現領域は、前記認識対象提示装置が前記検出部で検出可能な所定の色の光を前記道路上に照射することによって形成される、
    請求項１〜９のいずれか１項に記載の認識結果提示装置。
  11. 前記人物出現領域は、前記認識対象提示装置が前記検出部で検出可能な所定のパターンの光を前記道路上に照射することによって形成される、
    請求項１〜１０のいずれか１項に記載の認識結果提示装置。
  12. 前記人物出現領域は、前記認識対象提示装置が前記検出部で検出可能な時間変化する光を前記道路上に照射することによって形成される、
    請求項１〜１１のいずれか１項に記載の認識結果提示装置。
  13. 自律移動体の進行方向に認識対象提示装置によって提示される認識対象を認識した結果を提示する認識結果提示装置における認識結果提示方法であって、
    人物が出現する道路上に前記認識対象提示装置によって形成された人物出現領域を前記認識対象として検出し、
    前記人物に対して、前記認識対象が検出されることによって前記自律移動体が前記人物出現領域を認識していることを示す認識結果を提示する、
    認識結果提示方法。
JP2016210329A 2016-03-10 2016-10-27 認識結果提示装置及び認識結果提示方法 Active JP6788477B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710065965.2A CN107176095B (zh) 2016-03-10 2017-02-06 识别结果提示装置及其方法、识别对象提示装置及其方法
EP19167763.2A EP3533665B1 (en) 2016-03-10 2017-02-21 Apparatus that presents result of recognition of recognition target
EP17157070.8A EP3235684B1 (en) 2016-03-10 2017-02-21 Apparatus that presents result of recognition of recognition target
US15/439,987 US10474907B2 (en) 2016-03-10 2017-02-23 Apparatus that presents result of recognition of recognition target

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662306176P 2016-03-10 2016-03-10
US62/306,176 2016-03-10

Publications (2)

Publication Number Publication Date
JP2017159882A JP2017159882A (ja) 2017-09-14
JP6788477B2 true JP6788477B2 (ja) 2020-11-25

Family

ID=59852994

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016210329A Active JP6788477B2 (ja) 2016-03-10 2016-10-27 認識結果提示装置及び認識結果提示方法

Country Status (3)

Country Link
EP (2) EP3235684B1 (ja)
JP (1) JP6788477B2 (ja)
CN (1) CN107176095B (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6788477B2 (ja) * 2016-03-10 2020-11-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 認識結果提示装置及び認識結果提示方法
CN108237973B (zh) * 2017-12-19 2020-12-29 深圳市海梁科技有限公司 一种标识系统及无人驾驶车辆
WO2019146008A1 (ja) * 2018-01-24 2019-08-01 三菱電機株式会社 路面ライティング装置、路面ライティング方法、及び路面ライティング用プログラム
DE102018206040A1 (de) * 2018-04-20 2019-10-24 Volkswagen Aktiengesellschaft Verfahren zur Kommunikation eines Kraftfahrzeugs mit einem Verkehrsteilnehmer sowie Kraftfahrzeug zur Durchführung des Verfahrens
JP7031750B2 (ja) * 2018-08-14 2022-03-08 日産自動車株式会社 ヘッドランプ制御方法及びヘッドランプ制御装置
CN110910055B (zh) * 2018-09-17 2024-04-12 菜鸟智能物流控股有限公司 数据处理方法、装置、物流对象处理系统和机器可读介质
JP7080837B2 (ja) 2019-02-26 2022-06-06 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7404994B2 (ja) 2020-04-30 2023-12-26 市光工業株式会社 車両用照明装置
CN111860227B (zh) 2020-06-30 2024-03-08 阿波罗智能技术(北京)有限公司 训练轨迹规划模型的方法、装置和计算机存储介质
CN111717202A (zh) * 2020-07-01 2020-09-29 新石器慧通（北京）科技有限公司 一种用于无人驾驶车辆的行驶提示方法及装置
JP7375703B2 (ja) * 2020-08-03 2023-11-08 トヨタ自動車株式会社 制御装置、車両、プログラム及び制御方法
AT524616A1 (de) * 2021-01-07 2022-07-15 Christoph Schoeggler Dipl Ing Bsc Bsc Ma Dynamisches optisches Signalprojektionssystem für Straßenverkehrsfahrzeuge
DE102021119347A1 (de) * 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Steuern des Zugangs und/oder Ausgangs einer Anlage
US20230106692A1 (en) * 2021-10-06 2023-04-06 Gm Cruise Holdings Llc Reflective surface-based communications system for rideshare service vehicle
CN115593307A (zh) * 2022-10-31 2023-01-13 广州文远知行科技有限公司（Cn） 自动驾驶的提示方法、装置、设备及存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10007501A1 (de) * 2000-02-18 2001-09-13 Daimler Chrysler Ag Verfahren und Vorrichtung zur Erfassung und Überwachung einer Mehrzahl von vorausfahrenden Fahrzeugen
JP2003327041A (ja) * 2002-05-09 2003-11-19 Yazaki Corp スライドドアの給電装置
DE202005017408U1 (de) * 2005-11-08 2006-01-12 Apag Elektronik Ag Fahrzeug-Umfeldbeleuchtung
JP2008226140A (ja) * 2007-03-15 2008-09-25 Mazda Motor Corp 車両の運転支援装置
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
DE102008001551A1 (de) * 2008-05-05 2009-11-12 Robert Bosch Gmbh Vorrichtung und Verfahren zum automatischen Einstellen der Leuchtdichte eines von einer Beleuchtungseinrichtung eines Fahrzeuges ausgesandten Lichtbündels in Abhängigkeit von der Sichtweite
US20100321945A1 (en) * 2009-06-19 2010-12-23 Gm Global Technology Operations, Inc. Vehicular graphics projection system
CN102019878A (zh) * 2009-09-18 2011-04-20 陈忠 有可被识别行车标识灯的被识别车辆及被识别车辆的行车互动安全识别方法
SE534621C2 (sv) * 2010-01-19 2011-10-25 Volvo Technology Corp Anordning för döda vinkeln-varning
DE102010034853A1 (de) * 2010-08-18 2012-02-23 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Kraftfahrzeug mit Digitalprojektoren
JP5705528B2 (ja) * 2010-12-21 2015-04-22 矢崎総業株式会社 ワイヤハーネス構造体及び照明ユニット
JP5386537B2 (ja) * 2011-05-12 2014-01-15 富士重工業株式会社 環境認識装置
KR101312630B1 (ko) * 2011-07-08 2013-10-04 에스엘 주식회사 차량용 램프 및 그 제어 방법
KR101354231B1 (ko) * 2011-11-14 2014-01-22 현대자동차주식회사 경관 조명을 이용한 탑승자 보호 장치 및 그 방법
DE102011086241B4 (de) * 2011-11-14 2018-04-05 Robert Bosch Gmbh Verfahren zum sicheren Abstellen eines Fahrzeuges
US9082239B2 (en) * 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
JP5904286B2 (ja) * 2012-11-27 2016-04-13 日産自動車株式会社 運転支援装置
JP6393189B2 (ja) * 2012-11-27 2018-09-19 クラリオン株式会社 車載画像処理装置
EP2740632A1 (en) * 2012-12-07 2014-06-11 Urs Nüssli Lateral rearview mirror system for a vehicle, method for projecting an image to the environment of the vehicle and corresponding application program product
CN203172620U (zh) * 2012-12-07 2013-09-04 长安大学 一种对驾驶员换道安全性进行判断并预警的装置
EP2752349A1 (en) * 2013-01-04 2014-07-09 Continental Automotive Systems, Inc. Driver assistance system and method
JP2014164426A (ja) * 2013-02-22 2014-09-08 Denso Corp 物体検出装置
US9321395B2 (en) * 2013-04-26 2016-04-26 Ford Global Technologies, Llc Vehicle puddle lamp assembly generating animated image and method
US9552735B2 (en) * 2013-11-22 2017-01-24 Ford Global Technologies, Llc Autonomous vehicle identification
US9481287B2 (en) * 2014-01-21 2016-11-01 Harman International Industries, Inc. Roadway projection system
CN104943642A (zh) * 2014-03-24 2015-09-30 辉创电子科技(苏州)有限公司 影像式辅助驾驶者下车警示安全系统
CN104002818A (zh) * 2014-05-27 2014-08-27 昆山市智汽电子科技有限公司 一种集互动与自动为一体的车载系统
CN105185160B (zh) * 2015-10-09 2017-11-24 卢庆港 虚拟网格内畸变区域移动趋势识别的路面检测方法
CN105235615B (zh) * 2015-10-27 2018-01-23 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制系统
JP6788477B2 (ja) * 2016-03-10 2020-11-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 認識結果提示装置及び認識結果提示方法

Also Published As

Publication number Publication date
EP3235684B1 (en) 2019-05-22
JP2017159882A (ja) 2017-09-14
EP3235684A1 (en) 2017-10-25
CN107176095A (zh) 2017-09-19
EP3533665A1 (en) 2019-09-04
CN107176095B (zh) 2021-12-24
EP3533665B1 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
JP6788477B2 (ja) 認識結果提示装置及び認識結果提示方法
CN107176161B (zh) 识别结果提示装置、识别结果提示方法以及自主移动体
JP6933457B2 (ja) 認識結果提示装置、認識結果提示方法及び自律移動体
US10474907B2 (en) Apparatus that presents result of recognition of recognition target
CN108021862B (zh) 道路标志识别
US10380438B2 (en) System and method for vehicle control based on red color and green color detection
US20180373943A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
US9469248B2 (en) System and method for providing situational awareness in a vehicle
JP4847051B2 (ja) 車両周囲監視方法およびシステム
US9588340B2 (en) Pedestrian intersection alert system and method thereof
CN107545232A (zh) 车道探测系统和方法
CN107615353A (zh) 汽车周边信息显示系统
US20190303688A1 (en) System and method for advanced highway lane detection
JPWO2018092710A1 (ja) 通知装置、自動運転車両、通知方法、プログラム、非一時的記録媒体、および通知システム
CN108089573A (zh) 车辆视觉
CN109383367A (zh) 车辆外部通知装置
JP6795379B2 (ja) 運転制御装置、運転制御方法及び運転制御プログラム
JP2008047006A (ja) 車載レーザ光照射システム
JP4775034B2 (ja) 画像認識システムおよび画像認識方法
JP2019145039A (ja) 自走式ロボットおよび自走式ロボットの制御方法
KR102491382B1 (ko) 차량 및 그 제어방법
EP4194883A1 (en) Device and method for determining objects around a vehicle
JP7473087B2 (ja) 駐車支援装置、駐車支援方法
JP2016158186A (ja) 撮像装置、撮像方法、撮像プログラム
JP2022153395A (ja) 画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201030

R150 Certificate of patent or registration of utility model

Ref document number: 6788477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150