WO2019146385A1 - 画像処理装置、撮像装置、移動体および画像処理方法 - Google Patents

画像処理装置、撮像装置、移動体および画像処理方法 Download PDF

Info

Publication number
WO2019146385A1
WO2019146385A1 PCT/JP2019/000076 JP2019000076W WO2019146385A1 WO 2019146385 A1 WO2019146385 A1 WO 2019146385A1 JP 2019000076 W JP2019000076 W JP 2019000076W WO 2019146385 A1 WO2019146385 A1 WO 2019146385A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
processor
mobile
image processing
state
Prior art date
Application number
PCT/JP2019/000076
Other languages
English (en)
French (fr)
Inventor
亮介 茂木
祥武 大和田
陽介 井田
朋広 三次
貴宏 青山
翔太 岩野
伸彦 齋藤
大輔 貴島
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US16/958,774 priority Critical patent/US20200342757A1/en
Priority to CN201980007021.7A priority patent/CN111527533A/zh
Priority to CN202310309175.XA priority patent/CN116342641A/zh
Priority to EP19743462.4A priority patent/EP3748605A4/en
Priority to JP2019567951A priority patent/JP7014822B2/ja
Publication of WO2019146385A1 publication Critical patent/WO2019146385A1/ja
Priority to JP2022007449A priority patent/JP2022064929A/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/346—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction with automatic actuation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Definitions

  • the present disclosure relates to an image processing device, an imaging device, a moving object, and an image processing method.
  • Patent Document 1 describes a technique for capturing the periphery of a vehicle with a vehicle-mounted camera and detecting the moving speed of the knee position of the pedestrian and the moving speed of the upper body position from the captured image of the vehicle-mounted camera. Further, according to Patent Document 2, when the vehicle turns right at an intersection, the state of the oncoming vehicle is detected by an on-vehicle camera, a radar or the like, and the possibility of a collision with the oncoming vehicle is determined based on the detection result. Describes the technology to notify people.
  • An image processing apparatus includes a processor and an output unit.
  • the processor detects an image of an object from a peripheral image obtained by imaging the periphery of the mobile object, and determines the behavior of the mobile object based on the state of the detected object.
  • the output unit outputs, to the mobile unit, information indicating the behavior of the mobile unit determined by the processor.
  • the processor determines a first behavior of the moving body based on a state of an object detected from the peripheral image, and the information indicating the determined first behavior is output via the output unit. Output to Then, the processor determines a second behavior of the mobile based on the state of the object detected from the peripheral image after the first behavior by the mobile.
  • An image processing apparatus includes a processor and an output unit.
  • the processor detects an image of another moving object from a peripheral image obtained by imaging the periphery of the moving object, and performs a behavior determination process of determining the behavior of the moving object based on the detected state of the other moving object.
  • the output unit outputs, to the mobile unit, information indicating the behavior of the mobile unit determined by the processor.
  • the processor determines a first behavior of the moving body based on a first state of another moving body detected from the peripheral image as the behavior determining process, and indicates the determined first behavior. Information is output to the mobile via the output unit.
  • the processor is configured to, based on a second state of the other mobile detected from the peripheral image after the first behavior by the mobile, a significant response of the other mobile to the first behavior. If is not obtained, determine a second behavior of the mobile.
  • An image processing apparatus includes a processor and an output unit.
  • the processor detects an image of a candidate for boarding the moving object from a peripheral image obtained by imaging the periphery of the moving object carrying the passenger, and the behavior of the moving object is detected based on the detected condition of the candidate for boarding. decide.
  • the output unit outputs, to the mobile unit, information indicating the behavior of the mobile unit determined by the processor.
  • the processor determines a first behavior of the moving body based on the condition of the boarding candidate detected from the peripheral image, and outputs the information indicating the first behavior of the moving body as the output unit. Output to the mobile unit via The processor determines a second behavior of the mobile based on the condition of the boarding candidate detected from the peripheral image after the first behavior by the mobile.
  • An imaging device includes any of the image processing devices described above and an input unit that acquires the peripheral video.
  • a mobile according to an embodiment of the present disclosure mounts the imaging device described above.
  • An image processing method is an image processing method executed by an image processing apparatus, which detects an image of an object from a peripheral image obtained by imaging the periphery of a moving object, and detects the state of the detected object Determining a first behavior of the mobile body, outputting information indicating the determined first behavior to the mobile body, and a periphery after the first behavior by the mobile body. Determining a second behavior of the moving object based on the state of the object detected from the image.
  • An image processing method is an image processing method executed by an image processing apparatus, which detects an image of another moving object from a peripheral image obtained by imaging the periphery of the moving object, and detects the other image Determining a first behavior of the mobile based on a first state of the mobile; outputting information indicating the determined first behavior to the mobile; and When a significant response of the other moving body to the first behavior is not obtained based on a second state of the other moving body detected from the peripheral image after the first behavior, the second state of the moving body Determining the second behavior.
  • An image processing method is an image processing method executed by an image processing apparatus, which is an image of a candidate for boarding a moving object from a peripheral image obtained by imaging the vicinity of a moving object that carries a passenger. Detecting a first behavior of the mobile body based on the detected condition of the boarding candidate, and outputting information indicating the determined first behavior to the mobile body. Determining a second behavior of the mobile based on the condition of the boarding candidate detected from the peripheral image after the first behavior by the mobile.
  • FIG. 1 is a diagram illustrating a configuration example of an image processing apparatus according to a first embodiment of the present disclosure. It is a figure which shows the example of generation
  • 5 is a flowchart showing an example of the operation of the image processing apparatus shown in FIG. 4; It is a figure showing an example of composition of an image processing device concerning a 3rd embodiment of this indication. It is a flowchart which shows an example of operation
  • Patent Document 1 and Patent Document 2 described above are applied to fully automatic driving, for example, to detect the state of a pedestrian such as starting to move from a stop or the state of another vehicle driven by a person. It is also conceivable to use it for control of a vehicle by fully automatic driving. However, even when the above-described technology is applied, appropriate full automatic driving is not always performed, and there is room for improvement in traffic convenience.
  • FIG. 1 is a diagram showing an example of a main configuration of an image processing apparatus 10a according to a first embodiment of the present disclosure.
  • the image processing apparatus 10a according to the present embodiment is mounted on the moving body 1, as shown in FIG. 1, detects the state of the object from the peripheral image around the moving body 1, and detects the state of the detected object.
  • the objects include, for example, people, other moving bodies, animals and the like.
  • people as objects include pedestrians and people riding bicycles.
  • the moving body 1 for example, there is a vehicle provided with an automatic driving function.
  • “automatic driving” includes automating a part or all of the user operation for driving the vehicle.
  • automated driving may include levels 1 to 5 defined in the Society of Automotive Engineers (SAE).
  • SAE Society of Automotive Engineers
  • the mobile unit 1 will be described as having a fully automated driving function of level 4 or higher defined by the SAE.
  • the vehicle provided with a fully automatic driving function may be called a fully automatic driving vehicle.
  • An image processing apparatus 10a illustrated in FIG. 1 includes a communication interface 12 as an output unit, a processor 13a, and a storage unit 14.
  • the moving body 1 is mounted with an imaging unit 11 as an input unit that acquires a peripheral image obtained by imaging the periphery of the moving body 1.
  • the image processing device 10 a and the imaging unit 11 constitute an imaging device 1 ⁇ / b> A mounted on the moving body 1. First, the imaging unit 11 will be described.
  • the imaging unit 11 is an on-vehicle camera mounted on the moving body 1.
  • the imaging unit 11 acquires a peripheral image obtained by imaging the periphery of the mobile unit 1 and outputs the peripheral image to the processor 13a.
  • a plurality of imaging units 11 may be mounted on the mobile unit 1.
  • the imaging unit 11 is disposed at a position where it is possible to take an image, a peripheral region on the right side of the moving body 1, and a position where it is possible to take an image of at least a part of the right side of the moving body 1. With such an arrangement, it is possible to capture four peripheral areas of the moving body 1.
  • the imaging unit 11 includes at least an imaging optical system and an imaging element.
  • the imaging optical system includes, for example, an optical member such as one or more lenses and a stop.
  • the lens provided in the imaging optical system is, for example, a wide-angle lens such as a fisheye lens.
  • the imaging optical system forms an object image on the light receiving surface of the imaging element.
  • the imaging device includes, for example, a Charge Coupled Device (CCD) image sensor or a Complementary Metal-Oxide Semiconductor (CMOS) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • a plurality of pixels are arranged on the light receiving surface of the imaging device.
  • the imaging element captures a subject image formed on the light receiving surface to generate a captured image.
  • the imaging unit 11 outputs the captured image generated by the imaging element to the processor 13a via wire or wireless.
  • the imaging unit 11 may output the captured image to an external device such as an electronic control unit (ECU) mounted on the moving body 1, a display, and a navigation device.
  • ECU electronice control unit
  • the imaging unit 11 may have a function of performing predetermined image processing such as white balance adjustment processing, exposure adjustment processing, and gamma correction processing on a captured image.
  • the communication interface 12 is an interface that communicates with various control systems of the mobile unit 1 via wired or wireless communication.
  • the communication interface 12 communicates with, for example, a control system that controls traveling of the mobile unit 1, a control system that controls flashing of lights and blinkers of the mobile unit 1, ringing of a horn, and the like.
  • the processor 13a includes, for example, a dedicated processor such as a digital signal processor (DSP) or a general-purpose processor such as a central processing unit (CPU).
  • the processor 13a controls the overall operation of the image processing apparatus 10a. For example, the processor 13a detects the image of the object from the peripheral image acquired by the imaging unit 11, and determines the behavior of the mobile body 1 based on the state of the detected object. When the object is a person, the processor 13a detects the state of the person based on at least one of the direction of the movement of the person, the direction of the face or gaze of the person, and the movement of the hand or foot of the person. .
  • the processor 13a accesses various control systems of the mobile unit 1 through the communication interface 12 and detects the behavior of the mobile unit 1.
  • the processor 13a detects, as the behavior of the mobile unit 1, forward, backward, stop, deceleration, change of course, lighting of illumination, passing, blinking of blinkers, ringing of a horn, external display, maintenance of the current state, and the like.
  • the processor 13a accesses, for example, a control system that controls the traveling of the mobile body 1, and detects behavior such as forward, backward, stop, deceleration, and course change.
  • the processor 13a also accesses a control system that controls the lights of the mobile unit 1 and blinks of the blinkers, ringing of the horns, etc., and detects behaviors such as illumination lighting, passing, blinkers blinking, horning ringing, and external display.
  • the processor 13a detects the image of the object from the peripheral image acquired by the imaging unit 11, and determines the first behavior of the mobile body 1 based on the state of the detected object.
  • the processor 13a outputs information indicating the determined first behavior to the control system of the mobile unit 1 via the communication interface 12.
  • the processor 13a moves, when the significant response of the object to the first behavior is not obtained based on the state of the object detected from the peripheral image acquired by the imaging unit 11 after the first behavior by the moving body 1 Determine the second behavior of body 1
  • the significant reaction is a reaction that can recognize the intention of the object, for example, a reaction that can recognize the intention of the object in automatic operation in the mobile body 1. Specific examples of significant reactions will be described later.
  • the storage unit 14 includes, for example, a primary storage device or a secondary storage device.
  • the storage unit 14 stores various information and programs necessary for the operation of the image processing apparatus 10a.
  • a stuck condition may occur between a fully autonomous vehicle and an object.
  • the object is a person, for example, as shown in FIG. 2, the pedestrian 3 is on the sidewalk near the pedestrian crossing 2 while the moving body 1 is traveling on the road.
  • the pedestrian 3 can cross the pedestrian crossing 2 As such, stop in front of pedestrian crossing 2.
  • the pedestrian 3 does not necessarily cross the pedestrian crossing 2, but may stop on the spot.
  • the moving object 1 stopped in front of the pedestrian crossing 2 because the pedestrian 3 is stopped near the pedestrian crossing 2 despite the pedestrian 3 not intending to cross the pedestrian crossing 2. It will remain. In this way, a sticking state may occur between the mobile unit 1 and the pedestrian 3 and smooth traffic may be impeded.
  • the image processing apparatus 10a takes a further action on the object when a significant response can not be obtained from the object in a situation where the sticking condition as described above may occur.
  • the reaction of the object is acquired to detect the intention of the object. That is, in the present embodiment, the intention of the object is detected as if the mobile 1 and the object are in conversation. By doing this, the probability of occurrence of the stuck state is reduced and traffic is facilitated, so that the convenience of the traffic by the moving object 1 can be improved.
  • FIG. 3 is a flowchart showing an example of the operation of the image processing apparatus 10a, and is a diagram for explaining an image processing method executed by the image processing apparatus 10a.
  • FIG. 3 as shown in FIG. 2, a state in which a pedestrian 3 as an object stands near the pedestrian crossing 2 will be described as an example.
  • Step S11 The processor 13a determines whether or not there is a pedestrian 3 standing near the pedestrian crossing 2, as shown in FIG. 2, from the peripheral image acquired by the imaging unit 11.
  • the situation in which the pedestrian 3 stops near the pedestrian crossing 2 is an example of a situation in which a stuck state may occur between the mobile body 1 and the pedestrian 3.
  • the processor 13a determines whether or not the pedestrian 3 is present in various situations in which a stuck state may occur.
  • the processor 13a can detect the state of the pedestrian 3 from the surrounding image and the surrounding environment such as near the pedestrian crossing 2, using various image recognition techniques.
  • Step S12 When it is determined that the pedestrian 3 does not exist (Step S11: No), the processor 13a continues the full-automatic operation of the mobile unit 1 and makes the mobile unit 1 pass the pedestrian crossing 2.
  • Step S13 When it is determined that the pedestrian 3 is present (Step S11: Yes), the processor 13a determines “stop” as the behavior of the mobile body 1.
  • the processor 13a outputs the information for instructing to stop to the moving body 1 via the communication interface 12, and stops the moving body 1. That is, the processor 13a determines “stop” as the behavior (first behavior) of the mobile body 1 based on the state of the pedestrian 3 detected from the surrounding image and being stopped in the environment near the pedestrian crossing 2, It determines and outputs the information which instruct
  • Step S14 The processor 13a determines whether or not a significant response of the pedestrian 3 to the behavior (stop) of the mobile body 1 has been acquired. For example, the processor 13a determines whether a significant response of the pedestrian 3 has been acquired from the peripheral image acquired by the imaging unit 11.
  • step S14 If it is determined that the significant response of the pedestrian 3 to the behavior (stopping) of the mobile body 1 can be acquired (step S14: Yes), the processor 13a proceeds to the process of step S12 and the fully automatic operation of the mobile body 1 is performed.
  • a significant response for example, in the example of the pedestrian crossing 2 shown in FIG. 2, the pedestrian 3 starts the crossing of the pedestrian crossing 2 and performs a gesture indicating not to cross the pedestrian crossing 2.
  • a reaction such as making a gesture that gives According to these reactions, walking is such that the pedestrian 3 intends to cross the pedestrian crossing 2, the pedestrian 3 does not intend to cross the pedestrian crossing 2, and the pedestrian 3 intends to give way to the moving object 1.
  • the intention of the third party can be detected. By detecting the intention of these pedestrians 3, the mobile body 1 can continue fully automatic driving.
  • Step S15 Based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11 after the mobile body 1 has stopped, acquiring a significant response of the pedestrian 3 to the behavior (stop) of the mobile body 1 If it is determined that the process can not be performed (Step S14: No), the processor 13a determines the behavior (second behavior) of the mobile body 1. When it is not possible to obtain a significant response of the pedestrian 3 to the behavior (stop) of the moving body 1, the pedestrian 3 is not aware of the behavior (stop) of the moving body 1, or the intention to cross the pedestrian crossing 2 is It can be estimated that there is no such thing. In this case, the processor 13a determines the second behavior of the mobile body 1 in order to make the pedestrian 3 notice the mobile body 1 or to detect the intention of the pedestrian 3.
  • the processor 13a determines “passing” to light the light of the moving object 1 instantaneously upward (high beam) as the behavior (second behavior) of the moving object 1.
  • the processor 13a outputs information instructing “passing” to the mobile unit 1 via the communication interface 12 to execute the passing.
  • the processor 13a determines the significance of the pedestrian 3 with respect to the first behavior based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11 after the first behavior (stop) by the mobile body 1 If a proper response can not be obtained, the second behavior (passing) of the mobile body 1 is determined. By doing this, it is possible to prompt the pedestrian 3 to react from the moving body 1 and to detect the intention of the pedestrian 3 more accurately by the image processing device 10a. As a result, the probability that a sticking state occurs between the mobile unit 1 and the pedestrian 3 can be reduced, and traffic can be smoothed. Therefore, the convenience of the traffic by the mobile unit 1 can be improved. it can.
  • Step S16 The processor 13a determines whether or not a significant response of the pedestrian 3 to the behavior (passing) of the mobile body 1 has been acquired.
  • step S16 If it is determined that the significant response of the pedestrian 3 to the behavior (passing) of the mobile body 1 can be acquired (step S16: Yes), the processor 13a proceeds to the process of step S12 and the fully automatic operation of the mobile body 1 is performed. Continue driving.
  • Step S17 Based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11 after passing, it is determined that the significant response of the pedestrian 3 to the behavior (passing) of the moving object 1 can not be acquired In the case (Step S16: No), the processor 13a determines “a little forward” for advancing the moving body 1 as the behavior of the moving body 1 (for example, several tens of cm) without reaching the pedestrian crossing 2. Then, the processor 13a outputs information instructing “a little forward” to the mobile unit 1 through the communication interface 12, and advances the mobile 1 a little.
  • step S17 the processor 13a sets “passing” as the first behavior, and based on the state of the pedestrian 3 detected from the peripheral image after passing of the moving body 1, the processor 13a performs the first behavior. If a significant response can not be obtained, “a little forward” is determined as the second behavior of the mobile body 1.
  • Step S18 The processor 13a determines whether or not a significant response of the pedestrian 3 to the behavior (slightly advanced) of the mobile body 1 has been acquired.
  • step S18: Yes the processor 13a proceeds to the process of step S12 and Continue automatic operation.
  • Step S19 Based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11 after slightly advancing the moving body 1, obtain a significant response of the pedestrian 3 to the behavior (slightly advancing) of the moving body 1 If it is determined that the movement can not be performed (step S18: No), the processor 13a determines "ruction ringing" as the behavior of the mobile body 1. The processor 13a outputs, to the mobile unit 1 via the communication interface 12, information for instructing "ringing a horn” to ring the horn.
  • step S19 the processor 13a sets “a little forward” as the first behavior, and based on the condition of the pedestrian 3 detected from the peripheral image after the slight advancement of the moving body 1, the pedestrian with respect to the first behavior If a significant response of 3 can not be obtained, "ruction ringing" is determined as the second behavior of the mobile unit 1.
  • Step S20 The processor 13a determines whether or not a significant response of the pedestrian 3 to the behavior of the mobile body 1 (a horn ringing) has been acquired.
  • step S20 If it is determined that the significant response of the pedestrian 3 to the behavior of the mobile body 1 (a horn ringing) can be obtained (step S20: Yes), the processor 13a proceeds to the process of step S12, and the entire mobile body 1 is processed. Continue automatic operation.
  • Step S21 Based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11 after the ringing by the moving body 1, the significant response of the pedestrian 3 to the behavior (the ringing of the ring) of the moving body 1 is acquired. If it is determined that the movement can not be performed (Step S20: No), the processor 13a cancels the fully automatic operation of the mobile body 1. That is, even if the processor 13a can not obtain a significant response from the pedestrian 3 even if the behavior of the mobile body 1 is repeated a predetermined number of times, the processor 13a cancels the fully automatic driving of the mobile body 1. By canceling the fully automatic driving, the driver of the mobile unit 1 can recognize the intention of the pedestrian 3 from the appearance of the pedestrian 3, gestures, etc., and can run the mobile unit 1 according to the recognition result. .
  • the behavior of the mobile body 1 is described as an example of “stop”, “passing”, “slight forward”, and “ruction ringing”, but is not limited thereto.
  • the behavior of the mobile unit 1 includes “forward”, “back”, “stop”, “deceleration”, “change course”, “light on”, “passing”, “flashing blinker”, “rinking ringing”, “external” Operations such as “display” and “maintain current status” can be selected as appropriate.
  • the behavior of the moving object 1 is “forward”, “back”, “stop”, “deceleration”, “change course”, “light on”, “passing”, “flashing blinker”, “rinking ringing”, “ The behavior may be a combination of operations such as “external display” and “maintaining the current state” as appropriate.
  • the behavior of the mobile unit 1 may include an audio output.
  • the behavior of the mobile unit 1 may include the projection of a predetermined image such as a message on a sidewalk or the like.
  • the processor 13a has been described using an example in which the behavior of the mobile object 1 is determined in the order of “stop”, “passing”, “slightly forward”, and “squeal ringing”. It is not something that can be done.
  • the processor 13a selects "forward”, “backward”, “stop”, “deceleration”, “change course”, “lights on”, “passing”, “flashing blinker”, “sounding horn”, “external display” and "
  • the behavior of the mobile unit 1 may be determined in accordance with a predetermined priority among a plurality of operations such as “maintaining the current state”.
  • the processor 13a may determine the behavior of the mobile unit 1 according to a predetermined priority based on, for example, the surrounding environment.
  • the processor 13a lowers the priority of operations that can be noises such as "sounding horns” and prioritizes operations that do not generate noises such as "lights on", “passing” and “flashing blinkers”. It may be set high. Moreover, the processor 13a may provide the point according to the possibility that the pedestrian 3 notices each operation. In this case, the processor 13a, for example, does not give a significant response even if presenting the behavior by a single action to the pedestrian 3 one or more times, rather than the points given to the single action, A combination of a plurality of operations in which the total points become higher may be determined as the behavior of the mobile body 1.
  • the example has been described using the example of canceling the fully automatic driving of the mobile body 1
  • the processor 13a may cause the moving body 1 to travel while taking a distance from the pedestrian 3 and traveling slowly instead of canceling the fully automatic driving.
  • FIG. 1 an example in which the image processing apparatus 10a mounted on the moving body 1 performs the detection of the state of the object from the peripheral image and the determination of the behavior of the moving body 1 according to the state of the object.
  • a server or the like on the network may have functions such as detection of the state of an object from peripheral images and determination of the behavior of the mobile object 1 according to the state of the object mainly included in the processor 13a.
  • the mobile unit 1 can communicate with the server via the network, and the mobile unit 1 transmits peripheral images to the server.
  • the server performs detection of the object and determination of the behavior of the mobile body 1 according to the state of the object from peripheral images acquired from the mobile body 1, and transmits information indicating the determined behavior to the mobile body 1.
  • the image processing apparatus 10a includes the communication interface 12 and the processor 13a.
  • the processor 13a detects the image of the object from the peripheral image obtained by imaging the periphery of the mobile unit 1, and determines the behavior of the mobile unit 1 based on the state of the detected object.
  • the communication interface 12 outputs, to the mobile unit 1, information indicating the behavior of the mobile unit 1 determined by the processor 13a.
  • the processor 13a determines the first behavior of the mobile body 1 based on the state of the object detected from the peripheral image, and outputs information indicating the determined first behavior to the mobile body 1 via the communication interface 12 Do.
  • the processor 13a determines the second behavior of the mobile body 1 based on the state of the object detected from the peripheral image after the first behavior by the mobile body 1.
  • the mobile body 1 By causing the mobile body 1 to perform the second behavior after the first behavior of the mobile body 1, it is possible to accelerate the reaction of the object and to more accurately detect the intention of the object. As a result, the probability that a sticking state occurs between the mobile unit 1 and the object is reduced, and traffic can be smoothed, so that the convenience of the traffic by the mobile unit 1 can be improved.
  • FIG. 4 is a diagram showing an example of a main configuration of an image processing apparatus 10b according to a second embodiment of the present disclosure.
  • the image processing apparatus 10b according to the present embodiment is mounted on the mobile unit 1, as shown in FIG. 4, and detects the state of another mobile unit from the peripheral image around the mobile unit 1, and detects the other mobile unit.
  • the behavior to be performed by the mobile unit 1 is determined in accordance with the state of.
  • the moving body 1 for example, there is a vehicle provided with an automatic driving function. Also, as another moving body, for example, there is a vehicle driven by a person.
  • An image processing apparatus 10b illustrated in FIG. 1 includes a communication interface 12 as an output unit, a processor 13b, and a storage unit 14. That is, the image processing apparatus 10b according to the present embodiment is different from the image processing apparatus 10a according to the first embodiment in that the processor 13a is changed to the processor 13b.
  • the moving body 1 is mounted with an imaging unit 11 as an input unit that acquires a peripheral image obtained by imaging the periphery of the moving body 1.
  • the image processing device 10 b and the imaging unit 11 constitute an imaging device 1 ⁇ / b> A mounted on the moving body 1.
  • the processor 13 b includes, for example, a dedicated processor such as a DSP or a general-purpose processor such as a CPU.
  • the processor 13 b controls the overall operation of the image processing apparatus 10 b.
  • the processor 13b detects an image of another moving body from the peripheral image acquired by the imaging unit 11, and performs a behavior determining process of determining the behavior of the moving body 1 based on the detected state of the other moving body.
  • the processor 13b is at least one of forward, backward, stop, deceleration, steering direction, course change, lighting, passing, blinkers, ringing, external display, and maintenance of the other moving bodies as the states of the other moving bodies. Detect one.
  • the processor 13 b also accesses various control systems of the mobile unit 1 via the communication interface 12 to detect the behavior of the mobile unit 1.
  • the processor 13b detects forward movement, backward movement, stop, deceleration, course change, lighting, passing, blinking blink, ringing, external display, and current condition maintenance as the behavior of the mobile unit 1.
  • the processor 13b accesses, for example, a control system that controls the traveling of the mobile body 1, and detects behavior such as forward, backward, stop, deceleration, and course change.
  • the processor 13b accesses a control system that controls the lights of the mobile unit 1 and blinks of the blinkers, ringing of the horns, etc., and detects behaviors such as illumination lighting, passing, blinkers blinking, horning ringing and external display.
  • the processor 13 b performs the following operation as the behavior determination process. That is, the processor 13b detects an image of another moving object from the peripheral image acquired by the imaging unit 11, and determines a first behavior of the moving object 1 based on the detected first state of the other moving object. . The processor 13 b outputs information indicating the determined first behavior to the control system of the mobile unit 1 via the communication interface 12. After the first behavior by the mobile body 1, the processor 13b generates a significant response of the other mobile body to the first behavior based on the second state of the other mobile body detected from the peripheral image acquired by the imaging unit 11. If is not obtained, the second behavior of the mobile body 1 is determined.
  • the significant reaction is a reaction that can recognize the intention of the driver of another mobile body, for example, a reaction that can recognize the intention of the driver of the other mobile body in automatic driving in the mobile body 1, for example. It is. Specific examples of significant reactions will be described later.
  • a stuck state may occur between a fully automated driving vehicle and a vehicle driven by a human.
  • FIG. 5 when the mobile unit 1 turns the intersection to the right, there is a situation where another mobile unit 4 traveling in the opposite lane has stopped in front of the intersection, as shown in FIG. 5. .
  • the moving object 1 detects another moving object 4 on the opposite lane from the peripheral image acquired by the imaging unit 11, for example, the other moving object 4 can go straight ahead or left. Stop at a point where you have entered the intersection a little from the driving lane.
  • the other mobile units 4 do not necessarily enter the intersection and go straight or turn left, and may stop for giving way to the mobile unit 1 or for loading and unloading of luggage and the like.
  • the moving object 1 remains stopped because the other moving object 4 continues to exist in front of the intersection even though the driver of the other moving object 4 does not intend to enter the intersection.
  • a sticking state may occur between the mobile unit 1 and the other mobile unit 4 and smooth traffic may be impeded.
  • the image processing apparatus 10b is configured to send the other moving object 4 to the other moving object 4 when a significant response can not be obtained from the other moving object 4 in a situation where the sticking condition as described above may occur. To take further action. By doing this, the image processing apparatus 10b acquires the reaction of the other moving object 4 and detects the driver's intention of the other moving object 4 more accurately. That is, in the present embodiment, the intention of the driver of another mobile 4 is detected as if the mobile 1 and the other mobile 4 are in conversation. By doing this, the probability of occurrence of the stuck state is reduced and traffic is facilitated, so that the convenience of the traffic by the moving object 1 can be improved.
  • FIG. 6 is a flowchart showing an example of the operation of the image processing apparatus 10b, and is a diagram for explaining an image processing method executed by the image processing apparatus 10b.
  • FIG. 6 as shown in FIG. 5, the state where the mobile body 1 turns right at the intersection will be described as an example.
  • Step S31 The processor 13b determines, based on the peripheral image acquired by the imaging unit 11, whether there is an oncoming vehicle which is another moving object 4 in the oncoming lane.
  • Step S32 When it is determined that the oncoming vehicle does not exist (Step S31: No)
  • the processor 13b continues the full-automatic operation of the mobile unit 1 and causes the mobile unit 1 to turn the intersection to the right.
  • Step S33 If it is determined that an oncoming vehicle exists (step S31: Yes), the processor 13b determines whether the oncoming vehicle is moving forward from the peripheral image acquired by the imaging unit 11.
  • Step S34 If it is determined that the oncoming vehicle is moving forward (step S33: Yes), the processor 13b moves in the right turn position where the oncoming vehicle can go straight ahead and waits for the right turn Stop the body 1
  • Step S35 Next, the processor 13b determines whether the oncoming vehicle has passed straight through the intersection or left after passing through the intersection.
  • step S35 No
  • the processor 13b returns to the process of step S34 and continues to stop the mobile body 1.
  • step S35: Yes the processor 13b continues the full-automatic operation of the mobile unit 1 and causes the mobile unit 1 to turn the intersection to the right.
  • Step S36 If it is determined that the oncoming vehicle is not moving forward (step S33: No), the processor 13b does not prevent the oncoming vehicle from going straight ahead as the behavior of the moving object 1; For example, "a little advance" to be advanced is determined. That is, the processor 13 b determines “slightly forward” as the behavior (first behavior) of the mobile body 1 based on the state (first state) of the oncoming vehicle (stop) in the environment of right turn of the intersection. The information instructing “a little forward” is output to the mobile unit 1 via the communication interface 12.
  • the processor 13b determines whether or not there is another mobile 4 in various situations in which a stuck state may occur.
  • the processor 13b can detect the surrounding environment such as the state of the other moving object 4 and the time of the right turn of the intersection from the surrounding image using various image recognition techniques.
  • Step S37 The processor 13b determines whether or not a significant response of the oncoming vehicle to the behavior (slight forward) of the mobile body 1 has been acquired. For example, the processor 13b determines whether or not the significant response of the oncoming vehicle has been acquired from the peripheral image acquired by the imaging unit 11.
  • step S37: Yes If it is determined that the significant response of the oncoming vehicle to the behavior (slightly forward) of the mobile unit 1 can be acquired (step S37: Yes), the processor 13b proceeds to the process of step S32 and the fully automatic of the mobile unit 1 is performed.
  • a significant response for example, in the example at the time of the right turn of the intersection shown in FIG. 5, an oncoming vehicle starts to move forward, an oncoming vehicle gives an action to give way to the moving object 1, eg, passing. There is a reaction. According to these reactions, it is possible to detect the intention of the driver of the oncoming vehicle, who intends to enter the intersection or intends to give way to the mobile unit 1. By detecting the intention of the driver of the oncoming vehicle, the moving body 1 can continue the fully automatic driving according to the intention.
  • Step S38 Based on the state of the oncoming vehicle detected from the peripheral image acquired by the imaging unit 11 after the first behavior (slight forward) by the moving body 1, obtain a significant response of the oncoming vehicle to the behavior of the moving body 1 If it is determined that the movement can not be performed (step S37: No), the processor 13b determines the behavior (second behavior) of the mobile body 1. If the driver of the oncoming vehicle is not aware of the behavior of the moving object 1 or if the driver of the oncoming vehicle is not aware of the behavior of the moving object 1 if the significant response of the oncoming vehicle to the behavior of the moving object 1 (a little forward movement) can not be obtained It can be estimated.
  • the processor 13b makes the driver of the oncoming vehicle notice the moving object 1, or promotes the reaction of the oncoming vehicle in order to detect the intention of the oncoming vehicle driver more accurately.
  • Determine the second behavior For example, the processor 13 b determines “passing” to turn on the light of the moving object 1 instantaneously upward (high beam) as the second behavior of the moving object 1.
  • the processor 13 b outputs information indicating “passing” to the mobile unit 1 via the communication interface 12 to execute the passing.
  • the processor 13 b determines, based on the state of the other moving object 4 detected from the peripheral image acquired by the imaging unit 11 after the first behavior (slightly advancing) by the moving object 1, another processing for the first behavior. If a significant response of mobile 4 can not be obtained, the second behavior (passing) of mobile 1 is determined. By doing this, the response from the mobile unit 1 to the other mobile units 4 is promoted, and the intention of the driver of the other mobile units 4 can be detected more accurately by the image processing apparatus 10 b. As a result, the probability of occurrence of a sticking state between the moving body 1 and the other moving body 4 can be reduced, and traffic can be smoothened, so that traffic convenience can be improved.
  • Step S39 The processor 13b determines whether or not the significant response of the oncoming vehicle to the behavior (passing) of the mobile body 1 has been acquired.
  • step S39: Yes If it is determined that the significant response of the oncoming vehicle to the behavior (passing) of the mobile unit 1 can be acquired (step S39: Yes), the processor 13b proceeds to the process of step S32, and fully automatic driving of the mobile unit 1 is performed. To continue.
  • Step S40 If it is determined that the significant response of the oncoming vehicle to the behavior (passing) of the mobile unit 1 can not be acquired (step S39: No), the processor 13b cancels the fully automatic operation of the mobile unit 1. By canceling the fully automatic driving, the driver of the mobile unit 1 can recognize the intention of the driver of the oncoming vehicle from the appearance of the oncoming vehicle and the like, and can make the mobile unit 1 travel according to the recognition result.
  • the second behavior is described using an example in which the fully-automatic operation of the mobile unit 1 is canceled when no significant response of the oncoming vehicle can be obtained after passing. It is not something that can be done.
  • the processor 13b may sequentially perform operations such as horn ringing and blinker blinking to determine whether or not a significant reaction of the oncoming vehicle can be obtained for each operation. Also, the processor 13b may release the fully automatic operation of the mobile unit 1 when a significant response can not be obtained from another mobile unit 4 even if the behavior of the mobile unit 1 is repeated a predetermined number of times. .
  • the behavior of the mobile unit 1 includes “forward”, “back”, “stop”, “deceleration”, “change course”, “light on”, “passing”, “flashing blinker”, “rinking ringing”, “external” Operations such as “display” and “maintain current status” can be selected as appropriate.
  • the behavior of the moving object 1 is “forward”, “back”, “stop”, “deceleration”, “change course”, “light on”, “passing”, “flashing blinker”, “rinking ringing”, “ The behavior may be a combination of operations such as “external display” and “maintaining the current state” as appropriate.
  • the behavior of the mobile unit 1 may include an audio output.
  • the behavior of the mobile unit 1 may include the projection of a predetermined image such as a message on a sidewalk or the like.
  • the processor 13b demonstrated using the example which determines the behavior of the mobile body 1 in order of "a little forward” and "passing", it is not restricted to this.
  • the processor 13b is configured to “advance”, “regress”, “stop”, “deceleration”, “change course”, “light on”, “passing”, “flashing blinker”, “ruction ringing”, “external display”, “
  • the behavior of the mobile unit 1 may be determined in accordance with a predetermined priority among a plurality of operations such as “maintaining the current state”.
  • the processor 13b may determine the behavior of the mobile unit 1 according to a predetermined priority based on, for example, the surrounding environment.
  • the processor 13b lowers the priority of operations that can be noises such as "sounding horns", and prioritizes operations that do not generate noises such as "lights on", “passing” and “flashing blinkers”. It may be set high. Also, the processor 13b may give points for each operation according to a predetermined reference, for example, the height of the possibility of being noticed by the driver of the other moving object 4 or the like. In this case, the processor 13b is given to a single operation, for example, when presenting a behavior by a single operation one or more times but can not obtain a significant response of another mobile 4 A combination of a plurality of operations in which the total points are higher than the points may be determined as the behavior of the mobile body 1.
  • the processor 13 b may travel with the moving body 1 at a slow distance from the other moving bodies 4.
  • the image processing apparatus 10 b mounted on the moving body 1 detects the state of the other moving body 4 from the peripheral image and the behavior of the moving body 1 according to the state of the other moving body 4.
  • a server on a network or the like mainly has functions such as detection of the state of the other mobile 4 from the peripheral image and determination of the behavior of the mobile 1 according to the state of the other mobile 4 that the processor 13b mainly has You may have.
  • the mobile unit 1 can communicate with the server via the network, and the mobile unit 1 transmits peripheral images to the server.
  • the server performs detection of the other moving object 4 from the peripheral image acquired from the moving object 1 and determination of the behavior of the moving object 1 according to the state of the other moving object 4, and the information indicating the determined behavior Send to 1.
  • the processor 13 b predicts the path of the mobile unit 1.
  • the processor 13 b predicts the course of the mobile unit 1 based on, for example, the photographed image of the imaging unit 11 and the monitoring result of the control system that controls the traveling of the mobile unit 1 via the communication interface 12.
  • the processor 13 b predicts the path of the other mobile 4 based on the state (first state) of the other mobile 4. Then, when a collision between the mobile unit 1 and the other mobile unit 4 is predicted, the processor 13 b may, for example, collide if the state (second state) of the other mobile unit 4 is the forward or the current state. The stop or deceleration is determined as the behavior (second behavior) of the mobile body 1 until the prediction of the is eliminated.
  • the processor 13 b may, for example, stop, decelerate, or change the course of the other mobile unit 4 (second state). If so, forward or passing is determined as the behavior of the mobile body 1 (second behavior). By doing this, it is possible to avoid a collision between the mobile unit 1 and another mobile unit 4.
  • the operation example of processor 13b in various cases at the time of run of mobile 1 is explained.
  • the processor 13b detects the state of the oncoming vehicle traveling on the opposite lane of the traveling lane of the moving body 1 as the other moving body 4 when the moving body 1 turns right.
  • the processor 13 b determines “stop” as the behavior of the mobile body 1 when the oncoming vehicle is moving forward. Then, the processor 13b detects the state of the oncoming vehicle again. If the oncoming vehicle is moving forward, the processor 13 causes the mobile unit 1 to stand by. That is, the processor 13b keeps the mobile unit 1 stopped.
  • the processor 13b determines "a little forward”, “passing”, “rake ringing”, “flashing blinker” and the like as the behavior of the mobile body 1.
  • the processor 13b determines “a little forward”, “passing”, “ruction ringing”, “flashing blinker” and the like as the behavior of the mobile body 1. Then, the processor 13b detects the state of the oncoming vehicle again, and determines whether a significant response is obtained from the oncoming vehicle. If it is determined that a significant response is obtained from the oncoming vehicle, the processor 13b determines, as the behavior of the mobile body 1, a behavior according to the response of the oncoming vehicle. For example, when the processor 13b determines that the driver of the oncoming vehicle intends to enter the intersection, the processor 13b stops the moving body 1 until the oncoming vehicle passes. Also, for example, when the processor 13 b determines that the driver of the oncoming vehicle intends to give the road to the moving body 1, the processor 13 b causes the moving body 1 to turn the intersection to the right.
  • the processor 13b sets “slightly as the behavior of the moving object 1 to promote the reaction of the oncoming vehicle capable of detecting the intention of the oncoming vehicle driver. Decide forward, "passing,” “knock ringing,” “flashing blinker,” etc. Then, the processor 13b detects the state of the oncoming vehicle again. Thus, the processor 13b detects the state of another mobile 4 traveling in the opposite lane when the mobile 1 turns the intersection right. Then, when the processor 13 b detects that the oncoming vehicle is stopped as the oncoming vehicle state, the processor 13 b performs a behavior determination process.
  • behavior determination processing determines behavior that promotes the reaction of the oncoming vehicle as the behavior of the mobile body 1, and more accurately detects the driver's intention of the oncoming vehicle, thereby reducing the probability of occurrence of the sticking condition. be able to.
  • Table 2 is referred to for an operation example when the moving body 1 joins a main line such as an expressway from a traveling lane, that is, when the moving body 1 joins a first lane to a second lane.
  • a main line such as an expressway from a traveling lane
  • the processor 13b detects the state of a vehicle traveling on the main line behind the moving body 1 as the other moving body 4 at the time of merging into the main line such as an expressway.
  • a vehicle traveling on the main line behind the moving body 1 will be referred to as a main line traveling vehicle.
  • the processor 13 b determines “light on blinker” and “change lane start” as the behavior of the mobile body 1. That is, when there is no main line traveling vehicle, the processor 13b causes the mobile unit 1 to start merging into the main line.
  • the processor 13 b determines “light on blinker”, “move little by little on the main line side”, and “acceleration” as the behavior of the mobile body 1. Then, the processor 13b detects the state of the main line traveling vehicle, and if it can join the main line as it is, causes the moving body 1 to start the joining of the main line.
  • the processor 13 b determines “light on blinker”, “move little by little to the main line side”, and “deceleration” as the behavior of the mobile body 1. Then, the processor 13b detects the state of the main line traveling vehicle. For example, if the main line traveling vehicle continues traveling as it is, the main line is not merged, and after the main line traveling vehicle passes, the main line is merged again. Try.
  • the processor 13b performs “light on blink”, “move little by little to the main line side”, and “move the main line side” as the behavior of the movable body 1 in order to accelerate the reaction of the main line traveling vehicle capable of detecting the intention of the driver of the main line traveling vehicle Decide “acceleration”, “deceleration”, etc.
  • the processor 13b detects the state of the main line traveling vehicle again, and determines whether a significant response is obtained from the main line traveling vehicle. If it is determined that a significant response has been obtained from the main line traveling vehicle, the processor 13b determines, as the behavior of the mobile body 1, a behavior according to the reaction of the main line traveling vehicle. For example, when the processor 13b determines that the driver of the main line traveling vehicle intends to urge the merging of the moving body 1 to the main line, the processor 13b causes the moving body 1 to start merging into the transition. Further, for example, when the processor 13b determines that the driver of the main line traveling vehicle does not urge the merging of the moving body 1 to the main line and intends to continue the traveling as it is, after the main line traveling vehicle passes Try to join the main line again.
  • the processor 13b determines, as the behavior of the mobile body 1, the response of an oncoming vehicle that can detect the driver's intention of the main line traveling vehicle. Determine the behavior of the mobile unit 1 for prompting. In this manner, the processor 13b determines the state of another mobile 4 traveling behind the mobile 1 and traveling in the second lane when the mobile 1 joins the first lane to the second lane. To detect. Then, the processor 13 b performs behavior determination processing when it detects that the other moving object 4 travels at the same speed as the other moving object 4.
  • behavior determination processing determines behavior that promotes the reaction of the oncoming vehicle as the behavior of the mobile body 1, and more accurately detects the driver's intention of the oncoming vehicle, thereby reducing the probability of occurrence of the sticking condition. be able to.
  • the processor 13b tries to move the mobile object 1 ahead of the vehicle among the vehicles traveling on the intersection as the other mobile object 4 state. Detect the condition of the vehicle.
  • a vehicle which travels on a crossroads and the moving body 1 tries to enter in front of the vehicle is referred to as a crossroads traveling vehicle.
  • the processor 13 b determines “a little forward” as the behavior of the mobile body 1 when the intersection traveling vehicle stops. Then, the processor 13b detects the state of the intersection road traveling vehicle again. The processor 13b causes the moving body 1 to approach the intersection traveling vehicle ahead if the intersection traveling vehicle state does not change for a predetermined time or more, that is, if the intersection traveling vehicle remains stopped. When the intersection traveling vehicle moves forward, the processor 13b decides, as the behavior of the moving body 1, a behavior that urges the intersection traveling vehicle to move forward, withdrawing the forward movement of the intersection traveling vehicle.
  • the processor 13b is "traveling slightly forward" as the behavior of the moving body 1 when the crossing road traveling vehicle is traveling, but there is a predetermined space or more where the moving body 1 can enter in front of the crossing road traveling vehicle. Decide. Then, the processor 13b detects the state of the intersection road traveling vehicle again. The processor 13b determines that the driver of the intersection traveling vehicle has an intention to give the road to the moving object 1 when the intersection traveling vehicle stops and when the intersection traveling vehicle decelerates and passes. , Move the mobile unit 1 into the intersection. Further, the processor 13b, as the behavior of the mobile body 1, cancels the forward approach of the intersection traveling vehicle and urges the intersection traveling vehicle to advance when the intersection traveling vehicle decelerates but does not perform passing. Decide.
  • the processor 13 b may detect, for example, the state of another moving object 4 present in the traveling direction of the moving object 1 on the traveling path of the moving object 1 when the moving object 1 travels. In this case, the processor 13b may perform behavior determination processing when it detects that the other mobile unit 4 has stopped. By doing this, for example, when the moving object 1 and the other moving object 4 pass each other on a narrow road, the processor 13b advances from the reaction of the other moving object 4 or on the spot. The behavior of the mobile body 1 may be determined, such as whether to stop.
  • the processor 13b may detect the road reflector from the peripheral image acquired by the imaging unit 11, and may detect the state of the other moving object 4 based on the image reflected on the road reflector. By doing this, it is possible to detect the state of the other moving object 4 even on a road with a poor visibility, an intersection, or the like.
  • the image processing apparatus 10 b includes the communication interface 12 and the processor 13 b.
  • the processor 13b detects the image of the other moving object 4 from the peripheral image obtained by imaging the periphery of the moving object 1, and determines the behavior of the moving object 1 based on the detected state of the other moving object 4 Do.
  • the communication interface 12 outputs, to the mobile unit 1, information indicating the behavior of the mobile unit 1 determined by the processor 13b.
  • the processor 13b determines the first behavior of the moving body 1 based on the first state of the other moving body 4 detected from the peripheral image as the behavior determining process, and specifies information indicating the determined first behavior. It is output to the mobile unit 1 via the communication interface 12.
  • the processor 13b can not obtain a significant response of the other mobile 4 to the first behavior based on the second state of the other mobile 4 detected from the peripheral image after the first behavior by the mobile 1 In this case, the second behavior of the mobile body 1 is determined.
  • the second mobile is performed by the second behavior to accelerate the reaction of the other mobile 4,
  • the intention of the driver of the mobile unit 4 can be detected more accurately.
  • the probability that a sticking state occurs between the moving body 1 and the other moving body 4 is reduced, and traffic can be facilitated, so that the convenience of the traffic by the moving body 1 can be improved. it can.
  • FIG. 7 is a diagram showing an example of a main configuration of an image processing apparatus 10c according to a third embodiment of the present disclosure.
  • the image processing apparatus 10c according to the present embodiment is mounted on a mobile unit 1 that carries a passenger such as a bus or a taxi.
  • the mobile unit 1 has an automatic driving function.
  • the image processing apparatus 10c detects the condition of the boarding candidate on the moving body 1 from the peripheral image of the periphery of the moving body 1, and determines the behavior to be executed by the moving body 1 according to the detected state of the boarding candidate It is a thing.
  • An image processing apparatus 10 c illustrated in FIG. 1 includes a communication interface 12 as an output unit, a processor 13 c, and a storage unit 14. That is, the image processing apparatus 10c according to the present embodiment is different from the image processing apparatus 10a according to the first embodiment in that the processor 13a is changed to the processor 13c.
  • the moving body 1 is mounted with an imaging unit 11 as an input unit that acquires a peripheral image obtained by imaging the periphery of the moving body 1.
  • the image processing device 10 c and the imaging unit 11 constitute an imaging device 1 ⁇ / b> A mounted on the moving body 1.
  • the processor 13 c includes, for example, a dedicated processor such as a DSP or a general-purpose processor such as a CPU.
  • the processor 13c controls the overall operation of the image processing apparatus 10c. For example, the processor 13c detects an image of a candidate for boarding the moving object 1 from the peripheral image acquired by the imaging unit 11, and determines the behavior of the moving object 1 based on the detected state of the candidate for boarding.
  • the processor 13c detects the state of the boarding candidate based on at least one of the direction of the boarding candidate's movement, the direction of the boarding candidate's face or line of sight, and the movement of the boarding candidate's hand or foot. .
  • the processor 13 c accesses various control systems of the mobile unit 1 via the communication interface 12 to detect the behavior of the mobile unit 1.
  • the processor 13c detects forward movement, backward movement, stop, deceleration, course change, lighting, passing, blinking blink, ringing, external display, and current condition maintenance as the behavior of the mobile unit 1.
  • the processor 13 c accesses, for example, a control system that controls the traveling of the mobile body 1 and detects behavior such as forward, backward, stop, deceleration, and course change.
  • the processor 13c accesses a control system that controls the lights of the mobile unit 1 and blinks of the blinkers, ringing of the horns, etc., and detects behaviors such as illumination lighting, passing, blinkers blinking, horning ringing and external display.
  • the processor 13c detects an image of a candidate for boarding the moving object 1 from the peripheral image acquired by the imaging unit 11, and determines a first behavior of the moving object 1 based on the detected state of the candidate for boarding.
  • the processor 13 c outputs information indicating the determined first behavior to the control system of the mobile unit 1 via the communication interface 12.
  • the processor 13 c determines the second behavior of the mobile body 1 based on the state of the boarding candidate detected from the peripheral image acquired by the imaging unit 11 after the first behavior by the mobile body 1.
  • the mobile unit 1 When the mobile unit 1 carrying passengers is equipped with a fully automatic driving function, the mobile unit 1 recognizes as a boarding candidate a person standing at a stop, a person standing at the roadside of the traveling path of the mobile unit 1, etc. It is possible to stop for people to ride. However, such a boarding candidate may not always board the mobile unit 1. In this case, the moving body 1 may continue to recognize as a boarding candidate the person standing at the stop, the person standing on the roadside of the traveling path of the moving body 1, and the like, and may remain stopped. In this way, a stuck state may occur between the mobile unit 1 and the boarding candidate, and smooth traffic may be impeded.
  • the image processing apparatus 10c performs a further action on the boarding candidate after the first behavior by the mobile body 1 in the situation where the stuck state as described above may occur.
  • the reaction of the boarding candidate is acquired to detect the intention of the boarding candidate more accurately. That is, in the present embodiment, the intention of the boarding candidate is detected as if the mobile unit 1 and the boarding candidate talk as if they were. By doing this, the probability of occurrence of the stuck state is reduced and traffic is facilitated, so that the convenience of the traffic by the moving object 1 can be improved.
  • FIG. 8 is a flowchart showing an example of the operation of the image processing apparatus 10c, and is a diagram for explaining an image processing method executed by the image processing apparatus 10c.
  • the case where the mobile unit 1 is a taxi will be described as an example.
  • Step S51 The processor 13c determines the presence or absence of a boarding candidate from the surrounding image acquired by the imaging unit 11 while the mobile body 1 is traveling.
  • the processor 13 c detects, for example, a person standing on the roadside of the traveling path of the mobile body 1 as a boarding candidate.
  • Step S52 If it is determined that there is no boarding candidate (Step S51: No), the processor 13c advances the mobile body 1 as it is. That is, the processor 13c continues the traveling of the moving body 1.
  • Step S53 If it is determined that there is a boarding candidate (Step S51: Yes), the processor 13c performs gesture recognition of the boarding candidate from the peripheral image acquired by the imaging unit 11.
  • Step S54 The processor 13c determines, from the result of the gesture recognition of the boarding candidate, whether the boarding candidate has taken a boarding action for boarding a taxi.
  • a boarding action for boarding a taxi there are, for example, an action that the boarding candidate raises his hand, an action that looks at the moving body 1, and the like. However, even if the boarding candidate performs these actions, it does not necessarily mean that he is intended to get on the mobile unit 1.
  • Step S55 If it is determined that the boarding candidate has taken a boarding action (Step S54: Yes), the processor 13c sets, for example, “deceleration”, “passing”, “raction” as the first behavior of the mobile object 1 Decide on “ringing” or "flashing blinker”. Then, the processor 13 c outputs information indicating the determined behavior to the mobile unit 1 via the communication interface 12.
  • Step S56 The processor 13c determines whether or not the boarding candidate approaches the host vehicle, that is, the mobile object 1, from the peripheral image acquired by the imaging unit 11 after the first behavior by the mobile object 1 determined in step S55. Determine In the case where the passenger candidate who has taken a ride approach the moving body 1, there is a high possibility that the passenger candidate intends to get on the moving body 1. Therefore, after the first behavior, by determining whether or not the boarding candidate has approached the moving body 1, the movement of the boarding candidate is performed with higher accuracy than in the case where it is determined only by the presence or absence of the boarding behavior. It is possible to detect the presence or absence of the intention of getting on the body 1.
  • step S56 the processor 13c determines that the boarding candidate has no intention of getting on the mobile unit 1, and the process of step S52 is performed. To move the mobile unit 1 forward. If the processor 13c determines that the boarding candidate is not approaching the mobile unit 1, the process returns to step S55, causes the mobile unit 1 to perform another behavior, and causes the boarding candidate to move to the mobile unit 1 again. It may be determined whether it has approached. In this case, even if the processor 13c repeats the behavior of the mobile unit 1 and the determination of whether or not the boarding candidate has approached the mobile unit 1 several times, the boarding candidate is still not approaching the mobile unit 1 When it is determined, the process may proceed to the process of step S52.
  • the processor 13 c When repeating the behavior of the mobile unit 1 and the determination as to whether or not the boarding candidate has approached the mobile unit 1 a plurality of times, the processor 13 c performs “forward”, “back”, “stop”, “deceleration”, “ Move according to a predetermined priority from a plurality of operations such as course change, "lighting”, “passing”, “flashing blinker”, “knock ringing", “external display” and “maintenance of the current state”
  • the behavior of the body 1 may be determined.
  • the behavior of the mobile unit 1 may include an audio output.
  • the behavior of the mobile unit 1 When the mobile unit 1 has a projection function on the ground or the like, the behavior of the mobile unit 1 may include the projection of a predetermined image such as a message on a sidewalk or the like.
  • the processor 13 c may determine the behavior of the mobile unit 1 according to a predetermined priority based on, for example, the surrounding environment. For example, at night, the processor 13c lowers the priority of operations that can be noises such as "sounding horns", and prioritizes operations that do not generate noises such as "lights on", “passing” and “flashing blinkers". It may be set high.
  • the processor 13c may give points to each operation according to the possibility of being noticed by the boarding candidate. In this case, the processor 13c, for example, does not give a significant response even if presenting the behavior due to a single action to the boarding candidate one or more times, rather than the points given to the single action. A combination of a plurality of operations in which the total points become higher may be determined as the behavior of the mobile body 1.
  • step S56 If it is determined that the boarding candidate has approached the mobile body 1 (step S56: Yes), the processor 13c determines that the boarding candidate is intended to get on the mobile body 1.
  • Step S57 If the processor 13c determines that the boarding candidate intends to get on the moving body 1, the processor 13c determines “stop” as the behavior of the moving body 1 in order to get the boarding candidate on. Then, the processor 13 c outputs information instructing “stop” to the mobile unit 1 via the communication interface 12.
  • the processor 13 c sets “deceleration”, “passing”, “thus” as the first behavior of the mobile body 1 based on the state of the boarding candidate detected from the surrounding image, for example, the state of taking a boarding action. Determine the behavior such as horn sound and blinker blink.
  • the processor 13 c outputs information indicating the determined first behavior to the mobile unit 1 via the communication interface 12.
  • the processor 13 c determines the state of the boarding candidate detected from the peripheral image acquired by the imaging unit 11 after the first behavior by the mobile body 1, that is, depending on whether the boarding candidate approaches the mobile body 1 or not.
  • the second behavior of the mobile unit 1 is determined, that is, stopping or running.
  • Step S58 The processor 13c opens the door of the mobile unit 1 so that the boarding candidate can get on the mobile unit 1 after the mobile unit 1 is stopped.
  • Step S59 The processor 13c determines whether or not the boarding candidate has finished getting in the mobile unit 1 after the door is opened.
  • Step S59: No If it is determined that the boarding candidate on the mobile unit 1 is not completed (Step S59: No), the processor 13c repeats the process of Step S59.
  • Step S60 If it is determined that the boarding candidate has finished getting in the mobile unit 1 (Step S59: Yes), the processor 13c closes the door of the mobile unit 1.
  • Step S61 After closing the door of the mobile unit 1, the processor 13c blinks the blinkers of the mobile unit 1 to indicate the departure of the mobile unit 1 around. After that, the processor 13c proceeds to the process of step S52 and advances the mobile body 1 forward.
  • Step S62 If it is determined that the boarding candidate has not taken a boarding action (Step S54: No), the processor 13c determines whether the distance to the boarding candidate is equal to or more than the predetermined distance based on the surrounding image. Determine
  • the predetermined distance is a distance at which the moving body 1 can safely stop.
  • step S62 If it is determined that the distance to the boarding candidate is equal to or greater than the predetermined distance (step S62: Yes), the processor 13c returns to the process of step S53. After it is determined in step S54 that the boarding candidate has not performed the boarding action for boarding a taxi, the boarding candidate may perform the boarding action. Therefore, when the distance between the mobile unit 1 and the boarding candidate is equal to or more than a predetermined distance, the intention of the boarding candidate to ride can be repeatedly confirmed by repeating the processes of steps S53 and S54.
  • step S62 If it is determined that the distance to the boarding candidate is not the predetermined distance or more (step S62: No), the processor 13c proceeds to the process of step S52.
  • the processor 13 c when the processor 13 c detects that it does not approach the mobile unit 1 as the state of the boarding candidate, it determines “advance” as the behavior of the mobile unit 1. Further, the processor 13 c may stop the mobile unit 1 after the first behavior, and thereafter determine whether the boarding candidate has approached the host vehicle, that is, the mobile unit 1.
  • step S55 when it is determined that the boarding candidate has taken a boarding action, “deceleration”, “passing”, “ruction ringing”, “flashing blinker” or the like is the first behavior of the mobile body 1 in step S55.
  • the processor 13c may determine “stop” to stop the moving body 1 as the first behavior of the moving body 1. In this case, if the processor 13c determines in step S56 that the boarding candidate has approached the mobile body 1, the process proceeds to the process of step S58 and thereafter. If the processor 13c determines in step S56 that the boarding candidate is not approaching the host vehicle, the processor 13c moves the mobile unit 1 forward after closing the door and blinking the blinker.
  • the processor 13c detects a person existing near the stop as a boarding candidate.
  • the processor 13c determines, for example, “flashing blinker” as the behavior of the mobile body 1.
  • the processor 13c sets the line of sight approaching the moving body 1 as the state of the boarding candidate from the peripheral image acquired by the imaging unit 11 after the blinker blinks by the moving body 1, and directs the line of sight to the moving body 1
  • a state such as raising a hand toward 1 is detected, it is determined that the boarding candidate has an intention of getting on the mobile unit 1.
  • the processor 13 c determines “stop” and “door open” as the behavior of the mobile body 1 in order to get the boarding candidate on board. Further, when the processor 13 c detects that it does not approach the moving body 1 as the state of the boarding candidate from the peripheral image acquired by the imaging unit 11 after the blinker blinks by the moving body 1, “the behavior of the moving body 1 Decide "advance”.
  • the processor 13 c blinks the winkers of the mobile unit 1 as the first behavior, and the boarding candidate approaches the mobile unit 1 with respect to the first behavior and directs the line of sight to the mobile unit 1.
  • a reaction such as raising a hand is indicated to the mobile unit 1, it is determined that the boarding candidate is intended to get on the mobile unit 1.
  • the processor 13c detects the state of the boarding candidate and determines the behavior of the mobile body 1 based on the detected state of the boarding candidate so far, the present invention is not limited to this.
  • the processor 13c may detect the state of the passenger dismounted from the moving body 1 from the peripheral image acquired by the imaging unit 11, and may determine the behavior of the moving body 1 based on the detected state. For example, the processor 13 c may cause the mobile unit 1 to depart after detecting that the passenger has been completely dismounted from the mobile unit 1 and sufficiently separated from the mobile unit 1 or the like. By doing this, it is possible to secure the safety at the time of getting on and off.
  • the image processing apparatus 10 c includes the communication interface 12 and the processor 13 c.
  • the processor 13c detects the image of the candidate for boarding the moving body 1 from the peripheral image obtained by imaging the periphery of the moving body 1 carrying the passenger, and the behavior of the moving body 1 is detected based on the detected condition of the boarding candidate. decide.
  • the communication interface 12 outputs, to the mobile unit 1, information indicating the behavior of the mobile unit 1 determined by the processor 13c.
  • the processor 13c determines the first behavior of the mobile body 1 based on the condition of the boarding candidate detected from the peripheral image, and instructs the information indicating the determined first behavior of the mobile body 1 through the communication interface 12 Output to mobile 1
  • the processor 13 c determines the second behavior of the mobile body 1 based on the condition of the boarding candidate detected from the peripheral image after the first behavior by the mobile body 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本開示に係る画像処理装置１０は、通信インタフェース１２と、プロセッサ１３とを備える。プロセッサ１３は、移動体１の周辺を撮像した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の挙動を決定する。通信インタフェース１２は、決定された移動体１の挙動を指示する情報を移動体に出力する。プロセッサ１４は、周辺映像から検出した対象物の状態に基づき、移動体１の第１の挙動を決定し、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１に出力する。そして、プロセッサ１４は、移動体１による第１の挙動後の周辺映像から検出した対象物の状態に基づき、移動体１の第２の挙動を決定する。

Description

画像処理装置、撮像装置、移動体および画像処理方法 関連出願の相互参照
　本出願は、いずれも２０１８年１月２９日に出願された、日本国特許出願２０１８－０１２８７２号、日本国特許出願２０１８－０１２８７７号および日本国特許出願２０１８－０１２９０２号の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
　本開示は、画像処理装置、撮像装置、移動体および画像処理方法に関する。
　従来、カメラの撮影画像から対象物を検出する技術が知られている。
　例えば、特許文献１には、車載カメラにより車両の周辺を撮像し、車載カメラの撮影画像から歩行者の膝部位置の移動速度および上半身部位置の移動速度を検出する技術が記載されている。また、特許文献２には、車両が交差点を右折する際に、車載カメラ、レーダなどにより対向車の状態を検出し、その検出結果に基づき、対向車との衝突の可能性を判定し、運転者に通知を行う技術が記載されている。
特開２０１０－０６６８１０号公報 特開２００８－２４３０６５号公報
　本開示の実施形態に係る画像処理装置は、プロセッサと、出力部とを備える。前記プロセッサは、移動体の周辺を撮像した周辺映像から対象物の像を検出し、該検出した対象物の状態に基づき、前記移動体の挙動を決定する。前記出力部は、前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する。前記プロセッサは、前記周辺映像から検出した対象物の状態に基づき、前記移動体の第１の挙動を決定し、該決定した第１の挙動を指示する情報を前記出力部を介して前記移動体に出力する。そして、前記プロセッサは、前記移動体による前記第１の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第２の挙動を決定する。
　本開示の実施形態に係る画像処理装置は、プロセッサと、出力部とを備える。前記プロセッサは、移動体の周辺を撮像した周辺映像から他の移動体の像を検出し、該検出した他の移動体の状態に基づき、前記移動体の挙動を決定する挙動決定処理を行う。前記出力部は、前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する。前記プロセッサは、前記挙動決定処理として、前記周辺映像から検出した他の移動体の第１の状態に基づき、前記移動体の第１の挙動を決定し、該決定した第１の挙動を指示する情報を前記出力部を介して前記移動体に出力する。そして、前記プロセッサは、前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態に基づき、前記第１の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第２の挙動を決定する。
　本開示の実施形態に係る画像処理装置は、プロセッサと、出力部とを備える。前記プロセッサは、旅客の運搬を行う移動体の周辺を撮像した周辺映像から前記移動体への搭乗候補者の像を検出し、該検出した搭乗候補者の状態に基づき、前記移動体の挙動を決定する。前記出力部は、前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する。前記プロセッサは、前記周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第１の挙動を決定し、該決定した移動体の第１の挙動を指示する情報を前記出力部を介して前記移動体に出力する。前記プロセッサは、前記移動体による前記第１の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第２の挙動を決定する。
　本開示の実施形態に係る撮像装置は、上述したいずれかの画像処理装置と、前記周辺映像を取得する入力部と、を備える。
　本開示の実施形態に係る移動体は、上述した撮像装置を搭載する。
　本開示の実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、移動体の周辺を撮像した周辺映像から対象物の像を検出し、該検出した対象物の状態に基づき、前記移動体の第１の挙動を決定するステップと、前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、前記移動体による前記第１の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第２の挙動を決定するステップと、を含む。
　本開示の実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、移動体の周辺を撮像した周辺映像から他の移動体の像を検出し、該検出した他の移動体の第１の状態に基づき、前記移動体の第１の挙動を決定するステップと、前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態に基づき、前記第１の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第２の挙動を決定するステップと、を含む。
　本開示の実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、旅客の運搬を行う移動体の周辺を撮像した周辺映像から前記移動体への搭乗候補者の像を検出し、該検出した搭乗候補者の状態に基づき、前記移動体の第１の挙動を決定するステップと、前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、前記移動体による前記第１の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第２の挙動を決定するステップと、を含む。
本開示の第１の実施形態に係る画像処理装置の構成例を示す図である。 移動体と歩行者との間のこう着状態の発生例を示す図である。 図１に示す画像処理装置の動作の一例を示すフローチャートである。 本開示の第２の実施形態に係る画像処理装置の構成例を示す図である。 移動体と他の移動体との間のこう着状態の発生例を示す図である。 図４に示す画像処理装置の動作の一例を示すフローチャートである。 本開示の第３の実施形態に係る画像処理装置の構成例を示す図である。 図７に示す画像処理装置の動作の一例を示すフローチャートである。
　近年、車両の全自動運転の研究・開発が進められている。上述した特許文献１および特許文献２に記載されている技術を全自動運転に適用し、例えば、立ち止りからの動き出しといった歩行者の状態、あるいは、人が運転する他の車両の状態を検出し、全自動運転による車両の制御に用いることも考えられる。しかしながら、上述した技術を適用した場合でも、必ずしも適切な全自動運転が行われるとは限らず、交通の利便性には向上の余地があった。
　以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は、同一または同等の構成要素を示している。
　（第１の実施形態）
　図１は、本開示の第１の実施形態に係る画像処理装置１０ａの要部構成例を示す図である。本実施形態に係る画像処理装置１０ａは、図１に示すように、移動体１に搭載され、移動体１の周辺の周辺映像から対象物の状態を検出し、検出した対象物の状態に応じて、移動体１に実行させる挙動を決定するものである。対象物としては、例えは、人、他の移動体、動物などがある。また、対象物としての人には、歩行者、自転車に乗っている人などが含まれる。移動体１としては、例えば、自動運転機能を備える車両がある。以下では、「自動運転」とは、車両を運転するユーザ操作の一部または全部を自動化することを含む。例えば、自動運転は、ＳＡＥ（Society of Automotive Engineers）において定義されるレベル１ないし５を含んでもよい。以下では、移動体１は、ＳＡＥで定義されるレベル４以上の全自動運転機能を備えるものとして説明する。また、以下では、全自動運転機能を備える車両を、全自動運転車両と称することがある。
　図１に示す画像処理装置１０ａは、出力部としての通信インタフェース１２と、プロセッサ１３ａと、記憶部１４とを備える。移動体１には、移動体１の周辺を撮像した周辺映像を取得する、入力部としての撮像部１１が搭載されている。画像処理装置１０ａと、撮像部１１とは、移動体１に搭載された撮像装置１Ａを構成する。まず、撮像部１１について説明する。
　撮像部１１は、移動体１に搭載された車載カメラである。撮像部１１は、移動体１の周辺を撮像した周辺映像を取得し、プロセッサ１３ａに出力する。撮像部１１は、移動体１に複数台搭載されてもよい。例えば、移動体１に４台の車載カメラが搭載される場合、例えば、移動体１の前方の周辺領域と、移動体１の前側面の少なくとも一部とを撮影とを撮影可能な位置と、移動体１の後方の周辺領域と、移動体１の後側面の少なくとも一部とを撮影可能な位置と、移動体１の左側方の周辺領域と、移動体１の左側面の少なくとも一部とを撮影可能な位置と、移動体１の右側方の周辺領域と、移動体１の右側面の少なくとも一部とを撮影可能な位置とにそれぞれ、撮像部１１を配置する。このような配置とすることにより、移動体１の四方の周辺領域を撮影することができる。
　撮像部１１は、少なくとも撮像光学系と、撮像素子とを備える。
　撮像光学系は、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどを含む。撮像素子の受光面上には、複数の画素が配列されている。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部１１は、撮像素子により生成された撮像画像を、有線または無線を介して、プロセッサ１３ａに出力する。撮像部１１は、移動体１に搭載されたＥＣＵ（Electronic Control Unit）、ディスプレイおよびナビゲーション装置などの外部装置に撮像画像を出力してもよい。また、撮像部１１は、撮像画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。
　次に、画像処理装置１０ａが備える各構成について説明する。
　通信インタフェース１２は、有線または無線を介して、移動体１の各種制御系と通信を行うインタフェースである。通信インタフェース１２は、例えば、移動体１の走行を制御する制御系、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系などと通信を行う。
　プロセッサ１３ａは、例えば、ＤＳＰ（Digital Signal Processor）などの専用のプロセッサ、または、ＣＰＵ（Central Processing Unit）などの汎用プロセッサを含む。プロセッサ１３ａは、画像処理装置１０ａ全体の動作を制御する。例えば、プロセッサ１３ａは、撮像部１１が取得した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の挙動を決定する。プロセッサ１３ａは、対象物が人である場合、人の動きの方向、人の顔または視線の方向、および、人の手または足の動きのうち、少なくとも１つに基づき、人の状態を検出する。
　また、プロセッサ１３ａは、通信インタフェース１２を介して移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。プロセッサ１３ａは、移動体１の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ１３ａは、例えば、移動体１の走行を制御する制御系にアクセスし、前進、後退、停止、減速および進路変更などの挙動を検出する。また、プロセッサ１３ａは、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。
　プロセッサ１３ａは、撮像部１１が取得した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の第１の挙動を決定する。プロセッサ１３ａは、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１の制御系に出力する。プロセッサ１３ａは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した対象物の状態に基づき、第１の挙動に対する対象物の有意な反応が得られない場合、移動体１の第２の挙動を決定する。ここで、有意な反応とは、対象物の意図を認識可能な反応であり、例えば、移動体１における自動運転において、対象物の意図を認識可能な反応である。有意な反応の具体例については、後述する。
　記憶部１４は、例えば、一次記憶装置または二次記憶装置などを含む。記憶部１４は、画像処理装置１０ａの動作に必要な種々の情報およびプログラムを記憶する。
　次に、画像処理装置１０ａの動作について説明する。
　全自動運転車両と対象物との間でこう着状態が発生することがある。こう着状態が生じ得る状況としては、対象物が人であるとすると、例えば、図２に示すように、移動体１が車道を走行中に、横断歩道２の付近の歩道に歩行者３が立っている状況がある。図２に示す状況では、移動体１は、撮像部１１が取得した周辺映像から、横断歩道２の付近に立つ歩行者３を検出すると、例えば、歩行者３が横断歩道２を渡ることができるように、横断歩道２の手前で停止する。しかしながら、歩行者３は、必ずしも、横断歩道２を渡るとは限らず、その場で立ち止っている場合がある。この場合、移動体１は、歩行者３が横断歩道２を渡る意図が無いにも関わらず、歩行者３が横断歩道２の付近に立ち止ったままであるので、横断歩道２の手前で停止したままとなる。このようにして、移動体１と歩行者３との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。
　一方、本実施形態においては、画像処理装置１０ａは、上述したようなこう着状態が発生し得る状況において、対象物から有意な反応が得られない場合、対象物に対して更なるアクションを起こすことで、対象物のリアクションを取得して、対象物の意図を検出する。すなわち、本実施形態においては、移動体１と対象物とがあたかも会話を行うようにして、対象物の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。
　図３は、画像処理装置１０ａの動作の一例を示すフローチャートであり、画像処理装置１０ａが実行する画像処理方法を説明するための図である。図３においては、図２に示したように、横断歩道２の付近に対象物としての歩行者３が立っている状態を例として説明する。
　ステップＳ１１：プロセッサ１３ａは、撮像部１１が取得した周辺映像から、図２に示すように、横断歩道２の付近に立ち止っている歩行者３が存在するか否かを判定する。横断歩道２の付近に歩行者３が立ち止っている状況は、移動体１と歩行者３との間でこう着状態が生じ得る状況の一例である。プロセッサ１３ａは、こう着状態が生じ得る各種の状況において、歩行者３が存在するか否かを判定する。プロセッサ１３ａは、種々の画像認識技術を用いて、周辺映像からの歩行者３の状態、および、例えば、横断歩道２の付近である、といった周辺環境を検出することができる。
　ステップＳ１２：歩行者３が存在しないと判定した場合（ステップＳ１１：Ｎｏ）、プロセッサ１３ａは、移動体１の全自動運転を継続し、移動体１に横断歩道２を通過させる。
　ステップＳ１３：歩行者３が存在すると判定した場合（ステップＳ１１：Ｙｅｓ）、プロセッサ１３ａは、移動体１の挙動として、「停車」を決定する。プロセッサ１３ａは、停車を指示する情報を通信インタフェース１２を介して移動体１に出力し、移動体１を停車させる。すなわち、プロセッサ１３ａは、横断歩道２の付近という環境において、周囲映像から検出した、立ち止っているという歩行者３の状態に基づき、移動体１の挙動（第１の挙動）として「停車」を決定し、「停車」を指示する情報を、通信インタフェース１２を介して移動体１に出力する。
　ステップＳ１４：プロセッサ１３ａは、移動体１の挙動（停車）に対する歩行者３の有意な反応を取得したか否かを判定する。例えば、プロセッサ１３ａは、撮像部１１が取得した周辺映像から、歩行者３の有意な反応を取得したか否かを判定する。
　移動体１の挙動（停車）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ１４：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体１の全自動運転を継続させる。有意な反応としては、例えば、図２に示す横断歩道２の例では、歩行者３が横断歩道２の横断を開始する、横断歩道２を渡らないことを示すジェスチャーを行う、移動体１に道を譲るようなジェスチャーをするなどの反応がある。これらの反応によれば、歩行者３が横断歩道２を渡る意図がある、歩行者３が横断歩道２を渡る意図がない、歩行者３が移動体１に道を譲る意図があるといった、歩行者３の意図を検出することができる。これらの歩行者３の意図を検出することで、移動体１は、全自動運転を継続することができる。
　ステップＳ１５：移動体１の停車後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体１の挙動（停車）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ１４：Ｎｏ）、プロセッサ１３ａは、移動体１の挙動（第２の挙動）を決定する。移動体１の挙動（停車）に対する歩行者３の有意な反応を取得することができない場合、歩行者３が移動体１の挙動（停車）に気がついていない、あるいは、横断歩道２を渡る意図がないなどと推定することができる。この場合、プロセッサ１３ａは、歩行者３に移動体１を気付かせる、あるいは、歩行者３の意図を検出するために、移動体１の第２の挙動を決定する。例えば、プロセッサ１３ａは、移動体１の挙動（第２の挙動）として、移動体１のライトを瞬間的に上向き（ハイビーム）で点灯させる「パッシング」を決定する。プロセッサ１３ａは、「パッシング」を指示する情報を、通信インタフェース１２を介して移動体１に出力し、パッシングを実行させる。
　このように、プロセッサ１３ａは、移動体１による第１の挙動（停車）後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、第１の挙動に対する歩行者３の有意な反応が得られない場合、移動体１の第２の挙動（パッシング）を決定する。こうすることで、移動体１から歩行者３に反応を促し、歩行者３の意図を画像処理装置１０ａでより正確に検出できるようになる。その結果、移動体１と歩行者３との間でこう着状態が発生する蓋然性を低減し、交通の円滑化を図ることができるので、移動体１による交通の利便性の向上を図ることができる。
　ステップＳ１６：プロセッサ１３ａは、移動体１の挙動（パッシング）に対する歩行者３の有意な反応を取得したか否かを判定する。
　移動体１の挙動（パッシング）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ１６：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体１の全自動運転を継続させる。
　ステップＳ１７：パッシング後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体1の挙動（パッシング）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ１６：Ｎｏ）、プロセッサ１３ａは、移動体１の挙動として、横断歩道２に到達しない程度（例えば、数十ｃｍ程度）、移動体１を前進させる「少し前進」を決定する。そして、プロセッサ１３ａは、「少し前進」を指示する情報を、通信インタフェース１２を介して移動体１に出力し、移動体１を少し前進させる。すなわち、ステップＳ１７においては、プロセッサ１３ａは、「パッシング」を第１の挙動とし、移動体１のパッシング後の周辺映像から検出した歩行者３の状態に基づき、第１の挙動に対する歩行者３の有意な反応が得られない場合、移動体１の第２の挙動として、「少し前進」を決定する。
　ステップＳ１８：プロセッサ１３ａは、移動体１の挙動（少し前進）に対する歩行者３の有意な反応を取得したか否かを判定する。
　移動体１の挙動（少し前進）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ１８：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体１の全自動運転を継続させる。
　ステップＳ１９：移動体１の少し前進後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体1の挙動（少し前進）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ１８：Ｎｏ）、プロセッサ１３ａは、移動体１の挙動として、「クラクション鳴動」を決定する。プロセッサ１３ａは、「クラクション鳴動」を指示する情報を、通信インタフェース１２を介して移動体1に出力し、クラクションを鳴動させる。すなわち、ステップＳ１９においては、プロセッサ１３ａは、「少し前進」を第１の挙動とし、移動体１の少し前進後の周辺映像から検出した歩行者３の状態に基づき、第１の挙動に対する歩行者３の有意な反応が得られない場合、移動体１の第２の挙動として、「クラクション鳴動」を決定する。
　ステップＳ２０：プロセッサ１３ａは、移動体１の挙動（クラクション鳴動）に対する歩行者３の有意な反応を取得したか否かを判定する。
　移動体１の挙動（クラクション鳴動）に対する歩行者３の有意な反応を取得することができたと判定した場合（ステップＳ２０：Ｙｅｓ）、プロセッサ１３ａは、ステップＳ１２の処理に進み、移動体1の全自動運転を継続させる。
　ステップＳ２１：移動体１によるクラクション鳴動後に、撮像部１１が取得した周辺映像から検出した歩行者３の状態に基づき、移動体1の挙動（クラクション鳴動）に対する歩行者３の有意な反応を取得することができないと判定した場合（ステップＳ２０：Ｎｏ）、プロセッサ１３ａは、移動体１の全自動運転を解除する。すなわち、プロセッサ１３ａは、所定回数だけ移動体１の挙動を繰り返しても歩行者３から有意な反応を取得することができない場合、移動体１の全自動運転を解除する。全自動運転の解除により、移動体１の運転者自身が、歩行者３の様子、仕草などから歩行者３の意図を認識し、その認識結果に応じて、移動体１を走行させることができる。
　図３においては、移動体１の挙動として、「停車」、「パッシング」、「少し前進」および「クラクション鳴動」を例として説明したが、これらに限られるものではない。移動体１の挙動としては、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、選択することができる。また、移動体１の挙動は、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、組み合わせた挙動であってもよい。また、移動体１が音声出力機能を備える場合には、移動体１の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。
　また、図３においては、プロセッサ１３ａは、「停車」、「パッシング」、「少し前進」、「クラクション鳴動」の順に、移動体１の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ａは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体１の挙動を決定してもよい。プロセッサ１３ａは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ａは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ１３ａは、各動作に歩行者３が気付く可能性などに応じたポイントを付与してもよい。この場合、プロセッサ１３ａは、例えば、１または複数回、単一の動作による挙動を歩行者３に提示しても有意な反応が得られなければ、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体１の挙動として決定してもよい。
　また、図３においては、所定回数だけ移動体１の挙動を繰り返しても歩行者３から有意な反応を取得することができない場合、移動体１の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ１３ａは、例えば、全自動運転を解除する代わりに、歩行者３と距離をとって徐行しながら、移動体１を走行させてもよい。
　また、図１においては、移動体１に搭載された画像処理装置１０ａにより、周辺映像からの対象物の状態の検出および対象物の状態に応じた移動体１の挙動の決定などを行う例を用いて説明したが、これに限られるものではない。例えば、主にプロセッサ１３ａが備える、周辺映像からの対象物の状態の検出および対象物の状態に応じた移動体１の挙動の決定など機能を、ネットワーク上のサーバなどが有していてもよい。この場合、移動体１はネットワークを介してサーバと通信可能であり、移動体１からは周辺映像をサーバに送信する。サーバは、移動体１から取得した周辺映像から対象物の検出および対象物の状態に応じた移動体１の挙動の決定を行い、決定した挙動を指示する情報を移動体１に送信する。
　このように本実施形態においては、画像処理装置１０ａは、通信インタフェース１２と、プロセッサ１３ａとを備える。プロセッサ１３ａは、移動体１の周辺を撮像した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体１の挙動を決定する。通信インタフェース１２は、プロセッサ１３ａにより決定された移動体１の挙動を指示する情報を移動体１に出力する。プロセッサ１３ａは、周辺映像から検出した対象物の状態に基づき、移動体１の第１の挙動を決定し、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１に出力する。プロセッサ１３ａは、移動体１による第１の挙動後の周辺映像から検出した対象物の状態に基づき、移動体１の第２の挙動を決定する。
　移動体１の第１の挙動後に、第２の挙動を移動体１に行わせることで、対象物の反応を促し、対象物の意図をより正確に検出することができるようになる。その結果、移動体１と対象物との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。
　（第２の実施形態）
　図４は、本開示の第２の実施形態に係る画像処理装置１０ｂの要部構成例を示す図である。本実施形態に係る画像処理装置１０ｂは、図４に示すように、移動体１に搭載され、移動体１の周辺の周辺映像から他の移動体の状態を検出し、検出した他の移動体の状態に応じて、移動体１に実行させる挙動を決定するものである。移動体１としては、例えば、自動運転機能を備える車両がある。また、他の移動体としては、例えば、人が運転する車両がある。
　図１に示す画像処理装置１０ｂは、出力部としての通信インタフェース１２と、プロセッサ１３ｂと、記憶部１４とを備える。すなわち、本実施形態に係る画像処理装置１０ｂは、第１の実施形態に係る画像処理装置１０ａと比較して、プロセッサ１３ａをプロセッサ１３ｂに変更した点が異なる。移動体１には、移動体１の周辺を撮像した周辺映像を取得する、入力部としての撮像部１１が搭載されている。画像処理装置１０ｂと、撮像部１１とは、移動体１に搭載された撮像装置１Ａを構成する。
　プロセッサ１３ｂは、例えば、ＤＳＰなどの専用のプロセッサ、または、ＣＰＵなどの汎用プロセッサを含む。プロセッサ１３ｂは、画像処理装置１０ｂ全体の動作を制御する。例えば、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から他の移動体の像を検出し、検出した他の移動体の状態に基づき、移動体１の挙動を決定する挙動決定処理を行う。プロセッサ１３ｂは、他の移動体の状態として、他の移動体の前進、後退、停止、減速、操舵方向、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持の少なくとも１つを検出する。
　また、プロセッサ１３ｂは、通信インタフェース１２を介して移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。プロセッサ１３ｂは、移動体１の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ１３ｂは、例えば、移動体１の走行を制御する制御系にアクセスし、前進、後退、停止、減速、進路変更などの挙動を検出する。また、プロセッサ１３ｂは、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。
　プロセッサ１３ｂは、挙動決定処理として、以下の動作を行う。すなわち、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から他の移動体の像を検出し、検出した他の移動体の第１の状態に基づき、移動体１の第１の挙動を決定する。プロセッサ１３ｂは、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１の制御系に出力する。プロセッサ１３ｂは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した他の移動体の第２の状態に基づき、第１の挙動に対する他の移動体の有意な反応が得られない場合、移動体１の第２の挙動を決定する。ここで、有意な反応とは、他の移動体の運転者の意図を認識可能な反応であり、例えば、移動体１における自動運転において、他の移動体の運転者の意図を認識可能な反応である。有意な反応の具体例については、後述する。
　次に、画像処理装置１０ｂの動作について説明する。
　全自動運転車両と人が運転する車両との間でこう着状態が発生することがある。こう着状態が生じ得る状況としては、例えば、図５に示すように、移動体１が交差点を右折する際に、対向車線を走行する他の移動体４が交差点の手前で停止した状況がある。図５に示す状況では、移動体１は、撮像部１１が取得した周辺映像から、対向車線上の他の移動体４を検出すると、例えば、他の移動体４が直進あるいは左折できるように、走行車線から交差点に少し進入した地点で停止する。しかしながら、他の移動体４は、必ずしも交差点に進入して、直進あるいは左折するとは限らず、移動体１に道を譲るため、あるいは、荷物などの積み下ろしなどのために停止することがある。この場合、他の移動体４の運転者が交差点に進入する意図が無いにも関わらず、他の移動体４が交差点の手前に存在し続けるために、移動体１は、停止したままとなる可能性がある。このようにして、移動体１と他の移動体４との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。
　一方、本実施形態においては、画像処理装置１０ｂは、上述したようなこう着状態が発生し得る状況において、他の移動体４から有意な反応が得られない場合、他の移動体４に対して更なるアクションを起こす。こうすることで、画像処理装置１０ｂは、他の移動体４のリアクションを取得して、他の移動体４の運転者の意図をより正確に検出する。すなわち、本実施形態においては、移動体１と他の移動体４とがあたかも会話を行うようにして、他の移動体４の運転者の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。
　図６は、画像処理装置１０ｂの動作の一例を示すフローチャートであり、画像処理装置１０ｂが実行する画像処理方法について説明するための図である。図６においては、図５に示したように、移動体１が交差点を右折する状態を例として説明する。
　ステップＳ３１：プロセッサ１３ｂは、撮像部１１が取得した周辺映像から、対向車線に他の移動体４である対向車が存在するか否かを判定する。
　ステップＳ３２：対向車が存在しないと判定した場合（ステップＳ３１：Ｎｏ）プロセッサ１３ｂは、移動体１の全自動運転を継続し、移動体１に交差点を右折させる。
　ステップＳ３３：対向車が存在すると判定した場合（ステップＳ３１：Ｙｅｓ）、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から、対向車が前進してくるか否かを判定する。
　ステップＳ３４：対向車が前進してくると判定した場合（ステップＳ３３：Ｙｅｓ）、プロセッサ１３ｂは、交差点の中央付近であって対向車が直進可能なようにして右折待ちをする右折位置で、移動体１を停止させる。
　ステップＳ３５：次に、プロセッサ１３ｂは、対向車が交差点を直進あるいは左折して、交差点を通過したか否かを判定する。
　対向車が交差点を通過していないと判定した場合（ステップＳ３５：Ｎｏ）、プロセッサ１３ｂは、ステップＳ３４の処理に戻り、移動体１を引き続き停止させる。
　対向車が交差点を通過したと判定した場合（ステップＳ３５：Ｙｅｓ）、プロセッサ１３ｂは、移動体１の全自動運転を継続し、移動体１に交差点を右折させる。
　ステップＳ３６：対向車が前進していないと判定した場合（ステップＳ３３：Ｎｏ）、プロセッサ１３ｂは、移動体１の挙動として、対向車の直進を妨げることなく、右折位置から移動体１を少し（例えば、数十ｃｍ程度）前進させる「少し前進」を決定する。すなわち、プロセッサ１３ｂは、交差点の右折時という環境において、停止という対向車の状態（第１の状態）に基づき、移動体１の挙動（第１の挙動）として「少し前進」を決定し、「少し前進」を指示する情報を、通信インタフェース１２を介して移動体１に出力する。
　上述したように、移動体１による交差点の右折時に、他の移動体４である対向車が停止しているという状況は、移動体１と他の移動体４との間でこう着状態が生じ得る状況の一例である。プロセッサ１３ｂは、こう着状態が生じ得る各種の状況において、他の移動体４が存在するか否かを判定する。プロセッサ１３ｂは、種々の画像認識技術を用いて、周辺映像から他の移動体４の状態、および、交差点の右折時である、といった周辺環境を検出することができる。
　ステップＳ３７：プロセッサ１３ｂは、移動体１の挙動（少し前進）に対する対向車の有意な反応を取得したか否かを判定する。例えば、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から、対向車の有意な反応を取得したか否かを判定する。
　移動体１の挙動（少し前進）に対する対向車の有意な反応を取得することができたと判定した場合（ステップＳ３７：Ｙｅｓ）、プロセッサ１３ｂは、ステップＳ３２の処理に進み、移動体１の全自動運転を継続させる。有意な反応としては、例えば、図５に示す交差点の右折時の例では、対向車が前進を開始する、対向車が移動体１に道を譲るような動作、例えば、パッシングをする、などの反応がある。これらの反応によれば、交差点に進入する意図がある、移動体１に道を譲る意図があるといった、対向車の運転者の意図を検出することができる。対向車の運転者の意図を検出することで、移動体１は、その意図に応じて、全自動運転を継続することができる。
　ステップＳ３８：移動体１による第１の挙動（少し前進）後に、撮像部１１が取得した周辺映像から検出した対向車の状態に基づき、移動体１の挙動に対する対向車の有意な反応を取得することができないと判定した場合（ステップＳ３７：Ｎｏ）、プロセッサ１３ｂは、移動体１の挙動（第２の挙動）を決定する。移動体１の挙動（少し前進）に対する対向車の有意な反応を取得することができない場合、対向車の運転手が移動体１の挙動に気がついていない、あるいは、交差点に進入する意図がないなどと推定することができる。この場合、プロセッサ１３ｂは、対向車の運転者に移動体１を気付かせる、あるいは、対向車の運転者の意図をより正確に検出するために、対向車の反応を促すような移動体１の第２の挙動を決定する。例えば、プロセッサ１３ｂは、移動体１の第２の挙動として、移動体１のライトを瞬間的に上向き（ハイビーム）で点灯させる「パッシング」を決定する。プロセッサ１３ｂは、「パッシング」を指示する情報を、通信インタフェース１２を介して移動体１に出力し、パッシングを実行させる。
　このように、プロセッサ１３ｂは、移動体１による第１の挙動（少し前進）後に、撮像部１１が取得した周辺映像から検出した他の移動体４の状態に基づき、第１の挙動に対する他の移動体４の有意な反応が得られない場合、移動体１の第２の挙動（パッシング）を決定する。こうすることで、移動体１から他の移動体４に反応を促し、他の移動体４の運転者の意図を画像処理装置１０ｂでより正確に検出できるようになる。その結果、移動体１と他の移動体４との間でこう着状態が発生する蓋然性を低減し、交通の円滑化を図ることができるので、交通の利便性の向上を図ることができる。
　ステップＳ３９：プロセッサ１３ｂは、移動体１の挙動（パッシング）に対する対向車の有意な反応を取得したか否かを判定する。
　移動体１の挙動（パッシング）に対する対向車の有意な反応を取得することができたと判定した場合（ステップＳ３９：Ｙｅｓ）、プロセッサ１３ｂは、ステップＳ３２の処理に進み、移動体１の全自動運転を継続させる。
　ステップＳ４０：移動体１の挙動（パッシング）に対する対向車の有意な反応を取得することができないと判定した場合（ステップＳ３９：Ｎｏ）、プロセッサ１３ｂは、移動体１の全自動運転を解除する。全自動運転の解除により、移動体１の運転者自身が、対向車の様子などから対向車の運転者の意図を認識し、その認識結果に応じて、移動体１を走行させることができる。
　図６においては、第２の挙動として、パッシングを行った後、対向車の有意な反応が得られない場合、移動体１の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｂは、パッシングに続いて、クラクション鳴動、ウィンカ点滅などの動作を順次行い、動作毎に、対向車の有意な反応が得られるか否かを判定してもよい。また、プロセッサ１３ｂは、所定回数だけ移動体１の挙動を繰り返しても他の移動体４から有意な反応を取得することができない場合、移動体１の全自動運転を解除するようにしてもよい。
　また、図６においては、移動体１の挙動として、「少し前進」、「パッシング」を例として説明したが、これらに限られるものではない。移動体１の挙動としては、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、選択することができる。また、移動体１の挙動は、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、組み合わせた挙動であってもよい。また、移動体１が音声出力機能を備える場合には、移動体１の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。
　また、図６においては、プロセッサ１３ｂは、「少し前進」、「パッシング」の順に、移動体１の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｂは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」、「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体１の挙動を決定してもよい。プロセッサ１３ｂは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ｂは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ１３ｂは、所定の基準、例えば、他の移動体４の運転者が気付く可能性の高さなどに応じたポイントを、動作毎に付与してもよい。この場合、プロセッサ１３ｂは、例えば、１または複数回、単一の動作による挙動を提示しても他の移動体４の有意な反応を取得することができない場合、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体１の挙動として決定してもよい。
　また、図６においては、所定回数だけ移動体１の挙動を繰り返しても他の移動体４から有意な反応を取得することができない場合、移動体１の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｂは、例えば、全自動運転を解除する代わりに、他の移動体４と距離をとって移動体１を徐行しながら走行させてもよい。
　また、図４においては、移動体１に搭載された画像処理装置１０ｂにより、周辺映像からの他の移動体４の状態の検出および他の移動体４の状態に応じた移動体１の挙動の決定などを行う例を用いて説明したが、これに限られるものではない。例えば、主にプロセッサ１３ｂが備える、周辺映像からの他の移動体４の状態の検出および他の移動体４の状態に応じた移動体１の挙動の決定など機能を、ネットワーク上のサーバなどが有していてもよい。この場合、移動体１はネットワークを介してサーバと通信可能であり、移動体１からは周辺映像をサーバに送信する。サーバは、移動体１から取得した周辺映像から他の移動体４の検出および他の移動体４の状態に応じた移動体１の挙動の決定を行い、決定した挙動を指示する情報を移動体１に送信する。
　次に、プロセッサ１３ｂの動作例についてより具体的に説明する。
　プロセッサ１３ｂは、移動体１の進路を予測する。プロセッサ１３ｂは、例えば、撮像部１１の撮影映像、および、通信インタフェース１２を介した移動体１の走行を制御する制御系の監視結果に基づき、移動体１の進路を予測する。また、プロセッサ１３ｂは、他の移動体４の状態（第１の状態）に基づき、他の移動体４の進路を予測する。そして、プロセッサ１３ｂは、移動体１と他の移動体４との衝突が予測される場合、例えば、他の移動体４の状態（第２の状態）が、前進または現状維持であれば、衝突の予測が解消されるまで、移動体１の挙動（第２の挙動）として、停止または減速を決定する。また、プロセッサ１３ｂは、移動体１と他の移動体４との衝突が予測される場合、例えば、他の移動体４の状態（第２の状態）が、停止、減速および進路変更のいずれかであれば、移動体１の挙動（第２の挙動）として、前進またはパッシングを決定する。こうすることで、移動体１と他の移動体４との衝突を回避することができる。以下では、移動体１の走行時の種々のケースにおけるプロセッサ１３ｂの動作例について、説明する。
　まず、移動体１が交差点を右折する際のプロセッサ１３ｂの動作例について、表１を参照して説明する。
Figure JPOXMLDOC01-appb-T000001
　プロセッサ１３ｂは、移動体１の右折時には、他の移動体４として、移動体１の走行車線の対向車線を走行する対向車の状態を検出する。プロセッサ１３ｂは、対向車が前進している場合には、移動体１の挙動として、「停止」を決定する。そして、プロセッサ１３ｂは、対向車の状態を再度、検出する。対向車が前進している場合には、プロセッサ１３は、移動体１を待機させる。すなわち、プロセッサ１３ｂは、移動体１を停止させたままとする。また、対向車が停止した場合には、プロセッサ１３ｂは、移動体１の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。
　また、プロセッサ１３ｂは、対向車が停止している場合には、移動体１の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。そして、プロセッサ１３ｂは、対向車の状態を再度、検出し、対向車から有意な反応が得られたか否かを判定する。プロセッサ１３ｂは、対向車から有意な反応が得られたと判定した場合には、移動体１の挙動として、対向車の反応に応じた挙動を決定する。例えば、プロセッサ１３ｂは、対向車の運転者が交差点に進入する意図があると判定した場合には、対向車が通過するまで、移動体１を停止させる。また、例えば、プロセッサ１３ｂは、対向車の運転者が移動体１に道を譲る意図があると判定した場合には、移動体１に交差点を右折させる。
　対向車から有意な反応が得られないと判定した場合には、プロセッサ１３ｂは、対向車の運転者の意図を検出可能な対向車の反応を促すために、移動体１の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。そして、プロセッサ１３ｂは、対向車の状態を再度、検出する。このように、プロセッサ１３ｂは、移動体１による交差点の右折時に、対向車線を走行する他の移動体４の状態を検出する。そして、プロセッサ１３ｂは、対向車の状態として、対向車の停止を検出した場合、挙動決定処理を行う。
　移動体１の右折時に、対向車が停車している場合、対向車の運転者の意図が必ずしも明確ではなく、移動体１と対向車との間でこう着状態が生じ得る。したがって、挙動決定処理により、移動体１の挙動として、対向車の反応を促す挙動を決定し、対向車の運転者の意図をより正確に検出することで、こう着状態が生じる蓋然性を低減することができる。
　次に、移動体１が走行車線から高速道路などの本線に合流する際の、すなわち、移動体１による第１の車線から第２の車線への合流時の動作例について、表２を参照して説明する。
Figure JPOXMLDOC01-appb-T000002
　プロセッサ１３ｂは、高速道路などの本線への合流時には、他の移動体４として、移動体１よりも後方であって、本線を走行する車両の状態を検出する。以下では、移動体１よりも後方であって、本線を走行する車両を、本線走行車両と称する。プロセッサ１３ｂは、本線走行車両が無い場合には、移動体１の挙動として、「ウィンカ点灯」、「車線変更開始」を決定する。すなわち、プロセッサ１３ｂは、本線走行車両がない場合には、移動体１に本線への合流を開始させる。
　本線走行車両が減速している場合、本線走行車両の運転者は、移動体１の本線への合流を促す意図があると推定することができる。そこで、プロセッサ１３ｂは、移動体１の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「加速」を決定する。そして、プロセッサ１３ｂは、本線走行車両の状態を検出し、そのまま本線への合流が可能であれば、移動体１に本線への合流を開始させる。
　本線走行車両が加速している場合、本線走行車両の運転者は、移動体１の本線への合流を促してはおらず、そのまま走行を続ける意図があると推定することができる。そこで、プロセッサ１３ｂは、移動体１の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「減速」を決定する。そして、プロセッサ１３ｂは、本線走行車両の状態を検出し、例えば、本線走行車両がそのまま走行を続けていれば、本線への合流は行わず、その本線走行車両の通過後に再び、本線への合流を試みる。
　本線走行車両が等速度で走行している場合、すなわち、本線走行車両の車速が所定値以上変化しない等速走行をしている場合、本線走行車両の運転者が、移動体１の本線への合流を促す意図があるのか、移動体１の本線への合流を促してはおらず、そのまま走行を続ける意図があるのか不明である。そこで、プロセッサ１３ｂは、本線走行車両の運転者の意図を検出可能な本線走行車両の反応を促すために、移動体１の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「加速」、「減速」などを決定する。そして、プロセッサ１３ｂは、本線走行車両の状態を再度、検出し、本線走行車両から有意な反応が得られたか否かを判定する。本線走行車両から有意な反応が得られたと判定した場合には、プロセッサ１３ｂは、移動体１の挙動として、本線走行車両の反応に応じた挙動を決定する。例えば、プロセッサ１３ｂは、本線走行車両の運転者が移動体１の本線への合流を促す意図があると判定した場合には、移動体１に変遷への合流を開始させる。また、例えば、プロセッサ１３ｂは、本線走行車両の運転者が移動体１の本線への合流を促してはおらず、そのまま走行を続ける意図があると判定した場合には、その本線走行車両の通過後に再び、本線への合流を試みる。
　本線走行車両から有意な反応が得られないと判定した場合には、プロセッサ１３ｂは、移動体１の挙動として、プロセッサ１３ｂは、本線走行車両の運転者の意図を検出可能な対向車の反応を促すための移動体１の挙動を決定する。このように、プロセッサ１３ｂは、移動体１による第１の車線から第２の車線への合流時に、移動体１の後方であって、第２の車線を走行する他の移動体４の状態を検出する。そして、プロセッサ１３ｂは、他の移動体４の状態として、他の移動体４による等速走行を検出した場合、挙動決定処理を行う。
　移動体１の走行車線から本線への合流時に、本線走行車両が等速走行している場合、本線走行車の意図が必ずしも明確ではなく、移動体１と本線走行車両との間でこう着状態が生じ得る。したがって、挙動決定処理により、移動体１の挙動として、対向車の反応を促す挙動を決定し、対向車の運転者の意図をより正確に検出することで、こう着状態が生じる蓋然性を低減することができる。
　次に、移動体１が交差点あるいはＴ字路を右折または左折する際の、すなわち、移動体１により、移動体１の走行路から、走行路と交差する交差路への進入時の動作例について、表３を参照して説明する。
Figure JPOXMLDOC01-appb-T000003
　プロセッサ１３ｂは、移動体１による交差点あるいはＴ字路の右折または左折時には、他の移動体４の状態として、交差路を走行する車両のうち、移動体１がその車両よりも前方に進入しようとする車両の状態を検出する。以下では、交差路を走行し、移動体１が、その車両よりも前方に進入しようとする車両を、交差路走行車両と称する。
　プロセッサ１３ｂは、交差路走行車両が停止した場合、移動体１の挙動として、「少し前進」を決定する。そして、プロセッサ１３ｂは、交差路走行車両の状態を再度、検出する。プロセッサ１３ｂは、交差路走行車両の状態が所定時間以上、変化しない場合、すなわち、交差路走行車両が停止したままである場合、移動体１にその交差路走行車両の前方へ進入させる。プロセッサ１３ｂは、交差路走行車両が前進した場合、移動体１の挙動として、その交差路走行車両の前方への進入を取りやめ、交差路走行車両に前進を促す挙動を決定する。
　また、プロセッサ１３ｂは、交差路走行車両が走行しているが、交差路走行車両の前方に移動体１が進入可能な所定以上のスペースがある場合、移動体１の挙動として、「少し前進」を決定する。そして、プロセッサ１３ｂは、交差路走行車両の状態を再度、検出する。プロセッサ１３ｂは、交差路走行車両が停止した場合、および、交差路走行車両が減速し、パッシングを行った場合、交差路走行車両の運転者が移動体１に道を譲る意図があると判定し、移動体１に交差路へ進入させる。また、プロセッサ１３ｂは、交差路走行車両が減速したが、パッシングを行わない場合、移動体１の挙動として、その交差路走行車両の前方への進入を取りやめ、交差路走行車両に前進を促す挙動を決定する。
　また、プロセッサ１３ｂは、例えば、移動体１の走行時に、移動体１の走行路上において、移動体１の進行方向に存在する他の移動体４の状態を検出してもよい。この場合、プロセッサ１３ｂは、他の移動体４の停止を検出した場合、挙動決定処理を行ってもよい。こうすることで、例えば、道幅の狭い道路において、移動体１と他の移動体４とがすれ違うような場合に、プロセッサ１３ｂは、他の移動体４の反応から、前進するか、その場で停止するかなど、移動体１の挙動を決定してもよい。
　また、プロセッサ１３ｂは、撮像部１１が取得した周辺映像から道路反射鏡を検出し、道路反射鏡に映った像に基づき、他の移動体４の状態を検出してもよい。こうすることで、見通しの悪い道路、交差点などにおいても、他の移動体４の状態を検出することができる。
　このように本実施形態においては、画像処理装置１０ｂは、通信インタフェース１２と、プロセッサ１３ｂとを備える。プロセッサ１３ｂは、移動体１の周辺を撮像した周辺映像から他の移動体４の像を検出し、検出した他の移動体４の状態に基づき、移動体１の挙動を決定する挙動決定処理を行う。通信インタフェース１２は、プロセッサ１３ｂにより決定された移動体１の挙動を指示する情報を移動体１に出力する。プロセッサ１３ｂは、挙動決定処理として、周辺映像から検出した他の移動体４の第１の状態に基づき、移動体１の第１の挙動を決定し、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１に出力する。プロセッサ１３ｂは、移動体１による第１の挙動後の周辺映像から検出した他の移動体４の第２の状態に基づき、第１の挙動に対する他の移動体４の有意な反応が得られない場合、移動体１の第２の挙動を決定する。
　移動体１の第１の挙動に対する他の移動体４の有意な反応が得られない場合に、第２の挙動を移動体１に行わせることで、他の移動体４の反応を促し、他の移動体４の運転者の意図をより正確に検出することができるようになる。その結果、移動体１と他の移動体４との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。
　（第３の実施形態）
　図７は、本開示の第３の実施形態に係る画像処理装置１０ｃの要部構成例を示す図である。本実施形態に係る画像処理装置１０ｃは、図７に示すように、バス、タクシーなどの旅客を運搬する移動体１に搭載される。ここで、移動体１は、自動運転機能を備える。画像処理装置１０ｃは、移動体１の周辺の周辺映像から移動体１への搭乗候補者の状態を検出し、検出した搭乗候補者の状態に応じて、移動体１に実行させる挙動を決定するものである。
　図１に示す画像処理装置１０ｃは、出力部としての通信インタフェース１２と、プロセッサ１３ｃと、記憶部１４とを備える。すなわち、本実施形態に係る画像処理装置１０ｃは、第１の実施形態に係る画像処理装置１０ａと比較して、プロセッサ１３ａをプロセッサ１３ｃに変更した点が異なる。移動体１には、移動体１の周辺を撮像した周辺映像を取得する、入力部としての撮像部１１が搭載されている。画像処理装置１０ｃと、撮像部１１とは、移動体１に搭載された撮像装置１Ａを構成する。
　プロセッサ１３ｃは、例えば、ＤＳＰなどの専用のプロセッサ、または、ＣＰＵなどの汎用プロセッサを含む。プロセッサ１３ｃは、画像処理装置１０ｃ全体の動作を制御する。例えば、プロセッサ１３ｃは、撮像部１１が取得した周辺映像から移動体１への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体１の挙動を決定する。プロセッサ１３ｃは、搭乗候補者の動きの方向、搭乗候補者の顔または視線の方向、および、搭乗候補者の手または足の動きのうち、少なくとも１つに基づき、搭乗候補者の状態を検出する。
　また、プロセッサ１３ｃは、通信インタフェース１２を介して移動体１の各種制御系にアクセスし、移動体１の挙動を検出する。プロセッサ１３ｃは、移動体１の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ１３ｃは、例えば、移動体１の走行を制御する制御系にアクセスし、前進、後退、停止、減速および進路変更などの挙動を検出する。また、プロセッサ１３ｃは、移動体１のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。
　プロセッサ１３ｃは、撮像部１１が取得した周辺映像から移動体１への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体１の第１の挙動を決定する。プロセッサ１３ｃは、決定した第１の挙動を指示する情報を通信インタフェース１２を介して移動体１の制御系に出力する。プロセッサ１３ｃは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した搭乗候補者の状態に基づき、移動体１の第２の挙動を決定する。
　次に、画像処理装置１０ｃの動作について説明する。
　旅客を運搬する移動体１に全自動運転機能が搭載された場合、移動体１は、停留所に立つ人、移動体１の走行路の道端に立つ人などを搭乗候補者として認識し、搭乗候補者が乗車できるように停止することが考えられる。しかしながら、このような搭乗候補者が必ずしも移動体１に搭乗するとは限らない。この場合、移動体１は、停留所に立つ人、移動体１の走行路の道端に立つ人などを搭乗候補者として認識し続け、停止したままとなる可能性がある。このようにして、移動体１と、搭乗候補者との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。
　一方、本実施形態においては、画像処理装置１０ｃは、上述したようなこう着状態が発生し得る状況において、移動体１による第１の挙動後に、搭乗候補者に対してさらなるアクションを行うことで、搭乗候補者のリアクションを取得して、搭乗候補者の意図をより正確に検出する。すなわち、本実施形態においては、移動体１と搭乗候補者とがあたかも会話を行うにようにして、搭乗候補者の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。
　図８は、画像処理装置１０ｃの動作の一例を示すフローチャートであ、画像処理装置１０ｃが実行する画像処理方法について説明するための図である。図８においては、移動体１がタクシーである場合を例として説明する。
　ステップＳ５１：プロセッサ１３ｃは、移動体１の走行中、撮像部１１が取得した周辺映像から、搭乗候補者の有無を判定する。ここで、プロセッサ１３ｃは、例えば、移動体１の走行路の道端に立つ人を搭乗候補者として検出する。
　ステップＳ５２：搭乗候補者がいないと判定した場合には（ステップＳ５１：Ｎｏ）、プロセッサ１３ｃは、移動体１をそのまま前進させる。すなわち、プロセッサ１３ｃは、移動体１の走行を継続させる。
　ステップＳ５３：搭乗候補者がいると判定した場合には（ステップＳ５１：Ｙｅｓ）、プロセッサ１３ｃは、撮像部１１が取得した周辺映像から搭乗候補者のジェスチャ認識を行う。
　ステップＳ５４：プロセッサ１３ｃは、搭乗候補者のジェスチャ認識の結果から、搭乗候補者が、タクシーに乗車するための乗車行動を行ったか否かを判定する。タクシーに乗車するための乗車行動としては、例えば、搭乗候補者が、手を上げるといった行動、移動体１に視線を向けているといった行動などがある。ただし、搭乗候補者が、これらの行動を行ったとしても、必ずしも移動体１に乗車する意図があるとは限らない。
　ステップＳ５５：搭乗候補者が乗車行動を行ったと判定した場合には（ステップＳ５４：Ｙｅｓ）、プロセッサ１３ｃは、移動体１の第１の挙動として、例えば、「減速」、「パッシング」、「クラクション鳴動」または「ウィンカ点滅」などを決定する。そして、プロセッサ１３ｃは、決定した挙動を指示する情報を、通信インタフェース１２を介して移動体１に出力する。
　ステップＳ５６：プロセッサ１３ｃは、ステップＳ５５で決定した、移動体１による第１の挙動後に撮像部１１が取得した周辺映像から、搭乗候補者が自車両、すなわち、移動体１に近づいてきたか否かを判定する。乗車行動を行った搭乗者候補が移動体１に近づいてくる場合には、搭乗者候補が移動体１に乗車する意図がある可能性が高い。したがって、第１の挙動後に、搭乗候補者が移動体１に近づいてきたか否かを判定することにより、乗車行動の有無だけにより判定する場合と比べて、より高精度に、搭乗候補者の移動体１への乗車の意図の有無を検出することができる。
　搭乗候補者が移動体１に近づいてきていないと判定した場合には（ステップＳ５６：Ｎｏ）、プロセッサ１３ｃは、搭乗候補者が移動体１に乗車する意図は無いと判定し、ステップＳ５２の処理に進んで、移動体１をそのまま前進させる。プロセッサ１３ｃは、搭乗候補者が移動体１に近づいてきていないと判定した場合、ステップＳ５５の処理に戻り、別の挙動を移動体１に行わせて、再び、搭乗候補者が移動体１に近づいてきたか否かを判定するようにしてもよい。この場合、プロセッサ１３ｃは、移動体１の挙動と、搭乗候補者が移動体１に近づいてきたか否かの判定とを複数回繰り返しても依然として、搭乗候補者が移動体１に近づいてきていないと判定した場合、ステップＳ５２の処理に進んでもよい。
　移動体１の挙動と、搭乗候補者が移動体１に近づいてきたか否かの判定とを複数回繰り返す場合、プロセッサ１３ｃは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体１の挙動を決定してもよい。また、移動体１が音声出力機能を備える場合には、移動体１の挙動には、音声出力が含まれてもよい。また、移動体１が地面などへの投影機能を備える場合には、移動体１の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。
　また、プロセッサ１３ｃは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ｃは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ１３ｃは、搭乗候補者が気付く可能性などに応じたポイントを各動作に付与してもよい。この場合、プロセッサ１３ｃは、例えば、１または複数回、単一の動作による挙動を搭乗候補者に提示しても有意な反応が得られなければ、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体１の挙動として決定してもよい。
　搭乗候補者が移動体１に近づいてきたと判定した場合には（ステップＳ５６：Ｙｅｓ）、プロセッサ１３ｃは、搭乗候補者が移動体１に乗車する意図があると判定する。
　ステップＳ５７：プロセッサ１３ｃは、搭乗候補者が移動体１に乗車する意図があると判定すると、搭乗候補者を乗車させるために、移動体１の挙動として、「停止」を決定する。そして、プロセッサ１３ｃは、「停止」を指示する情報を、通信インタフェース１２を介して移動体１に出力する。
　このように、プロセッサ１３ｃは、周辺映像から検出した搭乗候補者の状態、例えば、乗車行動を行っている状態に基づき、移動体１の第１の挙動として、「減速」、「パッシング」、「クラクション鳴動」および「ウィンカ点滅」などの挙動を決定する。プロセッサ１３ｃは、決定した第１の挙動を指示する情報を、通信インタフェース１２を介して移動体１に出力する。そして、プロセッサ１３ｃは、移動体１による第１の挙動後に、撮像部１１が取得した周辺映像から検出した搭乗候補者の状態、すなわち、搭乗候補者が移動体１に近づいてきたか否かにより、停止あるいは走行継続という、移動体１の第２の挙動を決定する。
　ステップＳ５８：プロセッサ１３ｃは、移動体１の停止後、搭乗候補者が移動体１に乗車できるように、移動体１のドアを開放させる。
　ステップＳ５９：プロセッサ１３ｃは、ドアの開放後、搭乗候補者の移動体１への乗車が完了したか否かを判定する。
　搭乗候補者の移動体１への乗車が完了していないと判定した場合には（ステップＳ５９：Ｎｏ）、プロセッサ１３ｃは、ステップＳ５９の処理を繰り返す。
　ステップＳ６０：搭乗候補者の移動体１への乗車が完了したと判定した場合には（ステップＳ５９：Ｙｅｓ）、プロセッサ１３ｃは、移動体１のドアを閉止させる。
　ステップＳ６１：プロセッサ１３ｃは、移動体１のドアの閉止後、移動体１の発車を周囲に示すために、移動体１のウィンカを点滅させる。その後、プロセッサ１３ｃは、ステップＳ５２の処理に進み、移動体１を前進させる。
　ステップＳ６２：搭乗候補者が乗車行動を行っていないと判定した場合には（ステップＳ５４：Ｎｏ）、プロセッサ１３ｃは、周辺映像に基づき、搭乗候補者までの距離が所定距離以上であるか否かを判定する。ここで、所定距離とは、移動体１が安全に停止することができる距離である。
　搭乗候補者までの距離が所定距離以上であると判定した場合には（ステップＳ６２：Ｙｅｓ）、プロセッサ１３ｃは、ステップＳ５３の処理に戻る。ステップＳ５４において、搭乗候補者がタクシーに乗車するための乗車行動を行っていないと判定された後に、搭乗候補者が、乗車行動を行うこともある。そこで、移動体１と搭乗候補者との距離が所定距離以上である場合は、ステップＳ５３およびステップＳ５４の処理を繰り返すことで、搭乗候補者の乗車の意図を繰り返し確認することができる。
　搭乗候補者までの距離が所定距離以上でないと判定した場合には（ステップＳ６２：Ｎｏ）、プロセッサ１３ｃは、ステップＳ５２の処理に進む。
　表４は、上述した動作をまとめたものである。
Figure JPOXMLDOC01-appb-T000004
　表４に示すように、プロセッサ１３ｃは、移動体１の走行路の道端などにいる搭乗候補者の状態として、手を挙げている、視線が移動体１を向いているなどの状態を検出すると、移動体１の挙動として、「減速」、「パッシング」、「クラクション鳴動」あるいは「ウィンカ点滅」を決定する。そして、プロセッサ１３ｃは、移動体１による決定した挙動後に、搭乗候補者の状態として、移動体１に近づいてきたことを検出すると、移動体１の挙動として、搭乗候補者を乗車させるために、「停止」、「ドア開放」を決定する。また、プロセッサ１３ｃは、搭乗候補者の状態として、移動体１に近づいてこないことを検出すると、移動体１の挙動として、「前進」を決定する。また、プロセッサ１３ｃは、第１の挙動後に、移動体１を停車させ、その後、搭乗候補者が自車両、すなわち、移動体１に近づいてきたか否かを判定するようにしてもよい。
　図８においては、搭乗候補者が乗車行動を行ったと判定した場合、ステップＳ５５において、移動体１の第１の挙動として、「減速」、「パッシング」、「クラクション鳴動」および「ウィンカ点滅」などを決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｃは、例えば、ステップＳ５５において、移動体１の第１の挙動として、移動体１を停止させる「停止」を決定してもよい。この場合、プロセッサ１３ｃは、ステップＳ５６において、搭乗候補者が移動体１に近づいてきたと判定した場合、ステップＳ５８以降の処理に進む。また、プロセッサ１３ｃは、ステップＳ５６において、搭乗候補者が自車両に近づいてきていないと判定した場合には、ドアの閉止、ウィンカ点滅の後、移動体１を前進させる。
　次に、移動体１がバスである場合の、プロセッサ１３ｃの動作の一例について、表５を参照して説明する。
Figure JPOXMLDOC01-appb-T000005
　プロセッサ１３ｃは、停留所の付近に存在する人を搭乗候補者として検出する。プロセッサ１３ｃは、搭乗候補者の状態として、停留所付近に立ち止っている、停留所に向かって走っているなどの状態を検出すると、移動体１の挙動として、例えば、「ウィンカ点滅」を決定する。そして、プロセッサ１３ｃは、移動体１によるウィンカ点滅後に撮像部１１が取得した周辺映像から、搭乗候補者の状態として、移動体１に近づいてきた、視線を移動体１に向けている、移動体１に向かって手を挙げているなどの状態を検出すると、搭乗候補者が移動体１に乗車する意図があると判定する。そして、プロセッサ１３ｃは、移動体１の挙動として、搭乗候補者を乗車させるために、「停止」、「ドア開放」を決定する。また、プロセッサ１３ｃは、移動体１によるウィンカ点滅後に撮像部１１が取得した周辺映像から、搭乗候補者の状態として、移動体１に近づいてこないことを検出すると、移動体１の挙動として、「前進」を決定する。
　搭乗候補者の状態が、停留所付近に立ち止っている、あるいは、停留所に向かって走っている状態であっても、その搭乗候補者が移動体１に乗車するとは限らない。そこで、プロセッサ１３ｃは、第１の挙動として、移動体１のウィンカを点滅させ、その第１の挙動に対して、搭乗候補者が、移動体１に近づいてきた、視線を移動体１に向けた、移動体１に対して手を挙げたなどの反応を示した場合、搭乗候補者が移動体１に乗車する意図があると判定する。
　これまでは、プロセッサ１３ｃが搭乗候補者の状態を検出し、検出した搭乗候補者の状態に基づき、移動体１の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ１３ｃは、撮像部１１が取得した周辺画像から、移動体１から降車した乗客の状態を検出し、検出した状態に基づき、移動体１の挙動を決定してもよい。例えば、プロセッサ１３ｃは、移動体１から乗客の降車が完了し、移動体１から十分に離れたことなどを検出した後に、移動体１を発車させるなどしてもよい。こうすることで、乗降の際の安全性の確保を図ることができる。
　このように本実施形態においては、画像処理装置１０ｃは、通信インタフェース１２と、プロセッサ１３ｃとを備える。プロセッサ１３ｃは、旅客の運搬を行う移動体１の周辺を撮像した周辺映像から移動体１への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体１の挙動を決定する。通信インタフェース１２は、プロセッサ１３ｃにより決定された移動体１の挙動を指示する情報を移動体１に出力する。プロセッサ１３ｃは、周辺映像から検出した搭乗候補者の状態に基づき、移動体１の第１の挙動を決定し、決定した移動体１の第１の挙動を指示する情報を通信インタフェース１２を介して移動体１に出力する。プロセッサ１３ｃは、移動体１による第１の挙動後の周辺映像から検出した搭乗候補者の状態に基づき、移動体１の第２の挙動を決定する。
　移動体１による第１の挙動後の搭乗候補者の状態に基づき、移動体１の第２の挙動を決定することで、搭乗候補者の移動体１への乗車の意図の有無をより正確に検出することができるようになる。その結果、移動体１と搭乗候補者との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体１による交通の利便性の向上を図ることができる。
　本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。
　１　　移動体
　１Ａ　　撮像装置
　２　　横断歩道
　３　　歩行者
　４　　他の移動体
　１０ａ，１０ｂ，１０ｃ　　画像処理装置
　１１　　撮像部（入力部）
　１２　　通信インタフェース（出力部）
　１３ａ，１３ｂ，１３ｃ　　プロセッサ
　１４　　記憶部

Claims (21)

  1. 　移動体の周辺を撮像した周辺映像から対象物の像を検出し、該検出した対象物の状態に基づき、前記移動体の挙動を決定するプロセッサと、
    　前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
    　前記プロセッサは、前記周辺映像から検出した対象物の状態に基づき、前記移動体の第１の挙動を決定し、該決定した第１の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第１の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第２の挙動を決定する、画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記プロセッサは、前記移動体による前記第１の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記第１の挙動に対する前記対象物の有意な反応が得られない場合、前記第２の挙動を決定する、画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記対象物は人であり、
    　前記プロセッサは、前記人の動きの方向、前記人の顔または視線の方向、および、前記人の手または足の動きのうち、少なくとも１つに基づき、前記人の状態を検出する、画像処理装置。
  4. 　請求項１から３のいずれか一項に記載の画像処理装置において、
    　前記プロセッサは、前記第１の挙動および前記第２の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の少なくとも１つを決定する、画像処理装置。
  5. 　請求項１から４のいずれか一項に記載の画像処理装置において、
    　前記プロセッサは、前記第１の挙動および前記第２の挙動を、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の中から、所定の優先順位に応じて決定する、画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記プロセッサは、前記第１の挙動および前記第２の挙動を、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の中から、周辺環境に基づく所定の優先順位に応じて決定する、画像処理装置。
  7. 　移動体の周辺を撮像した周辺映像から他の移動体の像を検出し、該検出した他の移動体の状態に基づき、前記移動体の挙動を決定する挙動決定処理を行うプロセッサと、
    　前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
    　前記プロセッサは、前記挙動決定処理として、前記周辺映像から検出した他の移動体の第１の状態に基づき、前記移動体の第１の挙動を決定し、該決定した第１の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態に基づき、前記第１の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第２の挙動を決定する、画像処理装置。
  8. 　請求項７に記載の画像処理装置において、
    　前記第１の挙動および前記第２の挙動は、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の少なくとも１つであり、
    　前記プロセッサは、前記第１の状態および前記第２の状態として、前記他の移動体の前進、後退、停止、減速、操舵方向、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持の少なくとも１つを検出する、画像処理装置。
  9. 　請求項７または８に記載の画像処理装置において、
    　前記プロセッサは、前記移動体の進路を予測するとともに、前記第１の状態に基づき前記他の移動体の進路を予測し、前記移動体と前記他の移動体との衝突が予測される場合、前記第２の状態が、前進または現状維持であれば、前記衝突の予測が解消されるまで、前記第２の挙動として、停止または減速を決定し、前記第２の状態が停止、減速および進路変更のいずれかであれば、前記第２の挙動として、前進またはパッシングを決定する、画像処理装置。
  10. 　請求項７または８に記載の画像処理装置において、
    　前記プロセッサは、前記移動体による交差点の右折時に、前記他の移動体の状態として、対向車線を走行する他の移動体の停止を検出した場合、前記挙動決定処理を行う、画像処理装置。
  11. 　請求項７または８に記載の画像処理装置において、
    　前記プロセッサは、前記移動体による第１の車線から第２の車線への合流時に、前記他の移動体の状態として、前記移動体よりも後方であって、前記第２の車線を走行する前記他の移動体による、車速が所定値以上変化しない等速走行を検出した場合、前記挙動決定処理を行う、画像処理装置。
  12. 　請求項７または８に記載の画像処理装置において、
    　前記プロセッサは、前記移動体による走行時に、前記他の移動体の状態として、前記移動体の走行路上において、前記移動体の進行方向に存在する前記他の移動体の停止を検出した場合、前記挙動決定処理を行う、画像処理装置。
  13. 　旅客の運搬を行う移動体の周辺を撮像した周辺映像から前記移動体への搭乗候補者の像を検出し、該検出した搭乗候補者の状態に基づき、前記移動体の挙動を決定するプロセッサと、
    　前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
    　前記プロセッサは、前記周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第１の挙動を決定し、該決定した移動体の第１の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第１の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第２の挙動を決定する、画像処理装置。
  14. 　請求項１３に記載の画像処理装置において、
    　前記プロセッサは、前記搭乗候補者の動きの方向、前記搭乗候補者の顔または視線の方向、および、前記搭乗候補者の手または足の動きのうち、少なくとも１つに基づき、前記搭乗候補者の状態を検出する、画像処理装置。
  15. 　請求項１３または１４に記載の画像処理装置において、
    　前記プロセッサは、前記第１の挙動および前記第２の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の少なくとも１つを決定する、画像処理装置。
  16. 　請求項１３から１５のいずれか一項に記載の画像処理装置において、
    　前記プロセッサは、前記第１の挙動および前記第２の挙動を、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の中から、所定の優先順位に応じて決定する、画像処理装置。
  17. 　請求項１から１６のいずれか一項に記載の画像処理装置と、
    　前記周辺映像を取得する入力部と、を備える撮像装置。
  18. 　請求項１７に記載の撮像装置を搭載する移動体。
  19. 　画像処理装置が実行する画像処理方法であって、
    　移動体の周辺を撮像した周辺映像から対象物の像を検出し、該検出した対象物の状態に基づき、前記移動体の第１の挙動を決定するステップと、
    　前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、
    　前記移動体による前記第１の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第２の挙動を決定するステップと、を含む画像処理方法。
  20. 　画像処理装置が実行する画像処理方法であって、
    　移動体の周辺を撮像した周辺映像から他の移動体の像を検出し、該検出した他の移動体の第１の状態に基づき、前記移動体の第１の挙動を決定するステップと、
    　前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、
    　前記移動体による前記第１の挙動後の周辺映像から検出した前記他の移動体の第２の状態に基づき、前記第１の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第２の挙動を決定するステップと、を含む画像処理方法。
  21. 　画像処理装置が実行する画像処理方法であって、
    　旅客の運搬を行う移動体の周辺を撮像した周辺映像から前記移動体への搭乗候補者の像を検出し、該検出した搭乗候補者の状態に基づき、前記移動体の第１の挙動を決定するステップと、
    　前記決定した第１の挙動を指示する情報を前記移動体に出力するステップと、
    　前記移動体による前記第１の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第２の挙動を決定するステップと、を含む画像処理方法。
PCT/JP2019/000076 2018-01-29 2019-01-07 画像処理装置、撮像装置、移動体および画像処理方法 WO2019146385A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US16/958,774 US20200342757A1 (en) 2018-01-29 2019-01-07 Image processing apparatus, imaging apparatus, moveable body, and image processing method
CN201980007021.7A CN111527533A (zh) 2018-01-29 2019-01-07 图像处理装置、拍摄装置、移动体以及图像处理方法
CN202310309175.XA CN116342641A (zh) 2018-01-29 2019-01-07 图像处理装置、以及移动体
EP19743462.4A EP3748605A4 (en) 2018-01-29 2019-01-07 IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE BODY, AND IMAGE PROCESSING METHODS
JP2019567951A JP7014822B2 (ja) 2018-01-29 2019-01-07 画像処理装置、撮像装置、移動体および画像処理方法
JP2022007449A JP2022064929A (ja) 2018-01-29 2022-01-20 画像処理装置および移動体

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2018012877 2018-01-29
JP2018-012872 2018-01-29
JP2018-012902 2018-01-29
JP2018012872 2018-01-29
JP2018012902 2018-01-29
JP2018-012877 2018-01-29

Publications (1)

Publication Number Publication Date
WO2019146385A1 true WO2019146385A1 (ja) 2019-08-01

Family

ID=67395920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000076 WO2019146385A1 (ja) 2018-01-29 2019-01-07 画像処理装置、撮像装置、移動体および画像処理方法

Country Status (5)

Country Link
US (1) US20200342757A1 (ja)
EP (1) EP3748605A4 (ja)
JP (4) JP7014822B2 (ja)
CN (2) CN116342641A (ja)
WO (1) WO2019146385A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021030901A (ja) * 2019-08-26 2021-03-01 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
WO2021084618A1 (ja) * 2019-10-29 2021-05-06 三菱電機株式会社 運転支援装置および運転支援方法
CN113370972A (zh) * 2020-02-21 2021-09-10 本田技研工业株式会社 行驶控制装置、行驶控制方法以及存储程序的计算机可读取存储介质
EP3992048A4 (en) * 2019-06-25 2023-06-28 Kyocera Corporation Image processing device, imaging device, mobile body, and image processing method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210304595A1 (en) 2020-03-31 2021-09-30 Toyota Motor North America, Inc. Traffic manager transports
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports
CN115384545A (zh) * 2021-05-25 2022-11-25 华为技术有限公司 控制方法和装置
EP4201744A1 (de) * 2021-12-22 2023-06-28 Volkswagen Aktiengesellschaft Verfahren und system zur regelung der lichtemission einer fahrzeugleuchte

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57106099U (ja) * 1980-05-15 1982-06-30
JPS57174800A (en) * 1981-04-22 1982-10-27 Takeshi Irisawa Getting-on signal
JP2005332297A (ja) * 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
WO2006070865A1 (ja) * 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho 車両運動制御装置
JP3132300U (ja) * 2007-03-08 2007-06-07 株式会社イー・エス・ピー 警報発生装置及び音声発生装置
JP2008243065A (ja) 2007-03-28 2008-10-09 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2010003163A (ja) * 2008-06-20 2010-01-07 Toyota Motor Corp 走路環境データベース生成システム、当該システムを構成する移動体、および走路環境データベース生成方法
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
JP2010072836A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
JP2016031660A (ja) * 2014-07-29 2016-03-07 クラリオン株式会社 車両制御装置
WO2017134876A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2119617A1 (en) * 2008-05-12 2009-11-18 IVECO S.p.A. Vehicle driving aid system for lane changing assistance
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
CN101992782A (zh) * 2010-12-02 2011-03-30 张婧 城市无人驾驶电动有轨出租车交通系统
US20130325563A1 (en) * 2012-06-01 2013-12-05 Tai Cheung Poon Systems and methods for maximizing profits and opportunities for taxi drivers
JP2014106854A (ja) * 2012-11-29 2014-06-09 Toyota Infotechnology Center Co Ltd 自動運転車両制御装置および方法
US9475422B2 (en) * 2014-05-22 2016-10-25 Applied Invention, Llc Communication between autonomous vehicle and external observers
DE102014111023A1 (de) * 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges
KR102036050B1 (ko) * 2014-12-30 2019-10-24 주식회사 만도 차선 변경 장치 및 방법
JP6361618B2 (ja) * 2015-09-15 2018-07-25 トヨタ自動車株式会社 運転支援装置
CN105629785A (zh) * 2015-12-30 2016-06-01 小米科技有限责任公司 智能汽车行驶控制方法及装置
US10479373B2 (en) * 2016-01-06 2019-11-19 GM Global Technology Operations LLC Determining driver intention at traffic intersections for automotive crash avoidance
US9902311B2 (en) * 2016-02-22 2018-02-27 Uber Technologies, Inc. Lighting device for a vehicle
US10077052B2 (en) * 2016-03-31 2018-09-18 Faraday&Future Inc. State-based operation for autonomous vehicles

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57106099U (ja) * 1980-05-15 1982-06-30
JPS57174800A (en) * 1981-04-22 1982-10-27 Takeshi Irisawa Getting-on signal
JP2005332297A (ja) * 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
WO2006070865A1 (ja) * 2004-12-28 2006-07-06 Kabushiki Kaisha Toyota Chuo Kenkyusho 車両運動制御装置
JP3132300U (ja) * 2007-03-08 2007-06-07 株式会社イー・エス・ピー 警報発生装置及び音声発生装置
JP2008243065A (ja) 2007-03-28 2008-10-09 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2010003163A (ja) * 2008-06-20 2010-01-07 Toyota Motor Corp 走路環境データベース生成システム、当該システムを構成する移動体、および走路環境データベース生成方法
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
JP2010072836A (ja) * 2008-09-17 2010-04-02 Toyota Motor Corp 周辺監視装置
JP2016031660A (ja) * 2014-07-29 2016-03-07 クラリオン株式会社 車両制御装置
WO2017134876A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3992048A4 (en) * 2019-06-25 2023-06-28 Kyocera Corporation Image processing device, imaging device, mobile body, and image processing method
JP2021030901A (ja) * 2019-08-26 2021-03-01 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP7345123B2 (ja) 2019-08-26 2023-09-15 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
WO2021084618A1 (ja) * 2019-10-29 2021-05-06 三菱電機株式会社 運転支援装置および運転支援方法
JPWO2021084618A1 (ja) * 2019-10-29 2021-05-06
JP7313465B2 (ja) 2019-10-29 2023-07-24 三菱電機株式会社 運転支援装置および運転支援方法
CN113370972A (zh) * 2020-02-21 2021-09-10 本田技研工业株式会社 行驶控制装置、行驶控制方法以及存储程序的计算机可读取存储介质
CN113370972B (zh) * 2020-02-21 2023-12-12 本田技研工业株式会社 行驶控制装置、行驶控制方法以及存储程序的计算机可读取存储介质

Also Published As

Publication number Publication date
JP7489517B2 (ja) 2024-05-23
CN111527533A (zh) 2020-08-11
JP2024109674A (ja) 2024-08-14
JP2022064929A (ja) 2022-04-26
EP3748605A4 (en) 2021-10-20
JPWO2019146385A1 (ja) 2021-01-28
JP7014822B2 (ja) 2022-02-01
CN116342641A (zh) 2023-06-27
EP3748605A1 (en) 2020-12-09
US20200342757A1 (en) 2020-10-29
JP2023082158A (ja) 2023-06-13

Similar Documents

Publication Publication Date Title
WO2019146385A1 (ja) 画像処理装置、撮像装置、移動体および画像処理方法
JP6358409B2 (ja) 車両の運転支援制御方法及び制御装置
JP2023052552A (ja) 自動運転制御装置及び車両
CN109564734B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
JP2020091790A (ja) 自動運転システム
JP2018045482A (ja) 撮像装置、信号処理装置、及び、車両制御システム
JP6103265B2 (ja) 車両用歩行者画像取得装置
CN113246993B (zh) 驾驶支援系统
US11618482B2 (en) State determination device, driving support device, state determination method, and driving support method
CN111278702A (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
JP6922919B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
JP2017207954A (ja) 運転支援装置及び運転支援プログラム
KR20190013491A (ko) 주행 지원 장치 및 주행 지원 방법
JP2017058761A (ja) 運転支援装置及び運転支援プログラム
CN113165575B (zh) 图像处理装置、拍摄装置、移动体、以及图像处理方法
JP7110914B2 (ja) 情報処理装置、プログラム、および情報処理方法
JP7139632B2 (ja) 車両の自動運転制御ｅｃｕおよび自動運転制御方法
JP7511727B2 (ja) 画像処理装置、撮像装置、移動体、および画像処理方法
JP7474370B2 (ja) 画像処理装置、車両、画像処理方法、画像処理プログラム及びサーバ
JP6888851B1 (ja) 自動運転車
JP2017065586A (ja) 運転支援装置
CN117440902A (zh) 车辆用报告控制装置以及车辆用报告控制方法
CN116872977A (zh) 用于与弱势道路使用者进行信息交互的方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19743462

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019567951

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019743462

Country of ref document: EP

Effective date: 20200831