JPWO2019146385A1 - Image processing equipment, imaging equipment, moving objects and image processing methods - Google Patents
Image processing equipment, imaging equipment, moving objects and image processing methods Download PDFInfo
- Publication number
- JPWO2019146385A1 JPWO2019146385A1 JP2019567951A JP2019567951A JPWO2019146385A1 JP WO2019146385 A1 JPWO2019146385 A1 JP WO2019146385A1 JP 2019567951 A JP2019567951 A JP 2019567951A JP 2019567951 A JP2019567951 A JP 2019567951A JP WO2019146385 A1 JPWO2019146385 A1 JP WO2019146385A1
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- behavior
- processor
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 93
- 238000003384 imaging method Methods 0.000 title claims description 48
- 238000003672 processing method Methods 0.000 title claims description 17
- 230000002093 peripheral effect Effects 0.000 claims abstract description 100
- 238000006243 chemical reaction Methods 0.000 claims description 63
- 230000004397 blinking Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 24
- 238000012423 maintenance Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 35
- 230000006399 behavior Effects 0.000 description 252
- 230000004044 response Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/34—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
- B60Q1/346—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction with automatic actuation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q5/00—Arrangement or adaptation of acoustic signal devices
- B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
- B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18154—Approaching an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18159—Traversing an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
- B60W60/00253—Taxi operations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
- B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4045—Intention, e.g. lane change or imminent movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本開示に係る画像処理装置10は、通信インタフェース12と、プロセッサ13とを備える。プロセッサ13は、移動体1の周辺を撮像した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体1の挙動を決定する。通信インタフェース12は、決定された移動体1の挙動を指示する情報を移動体に出力する。プロセッサ14は、周辺映像から検出した対象物の状態に基づき、移動体1の第1の挙動を決定し、決定した第1の挙動を指示する情報を通信インタフェース12を介して移動体1に出力する。そして、プロセッサ14は、移動体1による第1の挙動後の周辺映像から検出した対象物の状態に基づき、移動体1の第2の挙動を決定する。The image processing device 10 according to the present disclosure includes a communication interface 12 and a processor 13. The processor 13 detects an image of the object from the peripheral image obtained by capturing the periphery of the moving body 1, and determines the behavior of the moving body 1 based on the detected state of the target object. The communication interface 12 outputs information indicating the determined behavior of the mobile body 1 to the mobile body. The processor 14 determines the first behavior of the mobile body 1 based on the state of the object detected from the peripheral image, and outputs information indicating the determined first behavior to the mobile body 1 via the communication interface 12. To do. Then, the processor 14 determines the second behavior of the moving body 1 based on the state of the object detected from the peripheral image after the first behavior by the moving body 1.
Description
本出願は、いずれも2018年1月29日に出願された、日本国特許出願2018−012872号、日本国特許出願2018−012877号および日本国特許出願2018−012902号の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。 This application claims the priority of Japanese Patent Application No. 2018-012872, Japanese Patent Application No. 2018-012877 and Japanese Patent Application No. 2018-012902, all of which were filed on January 29, 2018. And the entire disclosure of the application is incorporated herein by reference.
本開示は、画像処理装置、撮像装置、移動体および画像処理方法に関する。 The present disclosure relates to an image processing device, an imaging device, a moving body, and an image processing method.
従来、カメラの撮影画像から対象物を検出する技術が知られている。 Conventionally, a technique for detecting an object from an image taken by a camera is known.
例えば、特許文献1には、車載カメラにより車両の周辺を撮像し、車載カメラの撮影画像から歩行者の膝部位置の移動速度および上半身部位置の移動速度を検出する技術が記載されている。また、特許文献2には、車両が交差点を右折する際に、車載カメラ、レーダなどにより対向車の状態を検出し、その検出結果に基づき、対向車との衝突の可能性を判定し、運転者に通知を行う技術が記載されている。 For example, Patent Document 1 describes a technique of capturing the periphery of a vehicle with an in-vehicle camera and detecting the moving speed of a pedestrian's knee position and the moving speed of the upper body position from an image taken by the in-vehicle camera. Further, in Patent Document 2, when a vehicle turns right at an intersection, the state of the oncoming vehicle is detected by an in-vehicle camera, radar, etc., and based on the detection result, the possibility of collision with the oncoming vehicle is determined and driving is performed. The technology for notifying a person is described.
本開示の実施形態に係る画像処理装置は、プロセッサと、出力部とを備える。前記プロセッサは、移動体の周辺を撮像した周辺映像から対象物の像を検出し、該検出した対象物の状態に基づき、前記移動体の挙動を決定する。前記出力部は、前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する。前記プロセッサは、前記周辺映像から検出した対象物の状態に基づき、前記移動体の第1の挙動を決定し、該決定した第1の挙動を指示する情報を前記出力部を介して前記移動体に出力する。そして、前記プロセッサは、前記移動体による前記第1の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第2の挙動を決定する。 The image processing device according to the embodiment of the present disclosure includes a processor and an output unit. The processor detects an image of an object from a peripheral image of the periphery of the moving object, and determines the behavior of the moving object based on the detected state of the object. The output unit outputs information indicating the behavior of the moving body determined by the processor to the moving body. The processor determines the first behavior of the moving body based on the state of the object detected from the peripheral image, and transmits information indicating the determined first behavior to the moving body via the output unit. Output to. Then, the processor determines the second behavior of the moving body based on the state of the object detected from the peripheral image after the first behavior of the moving body.
本開示の実施形態に係る画像処理装置は、プロセッサと、出力部とを備える。前記プロセッサは、移動体の周辺を撮像した周辺映像から他の移動体の像を検出し、該検出した他の移動体の状態に基づき、前記移動体の挙動を決定する挙動決定処理を行う。前記出力部は、前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する。前記プロセッサは、前記挙動決定処理として、前記周辺映像から検出した他の移動体の第1の状態に基づき、前記移動体の第1の挙動を決定し、該決定した第1の挙動を指示する情報を前記出力部を介して前記移動体に出力する。そして、前記プロセッサは、前記移動体による前記第1の挙動後の周辺映像から検出した前記他の移動体の第2の状態に基づき、前記第1の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第2の挙動を決定する。 The image processing device according to the embodiment of the present disclosure includes a processor and an output unit. The processor detects an image of another moving body from a peripheral image of the periphery of the moving body, and performs a behavior determination process for determining the behavior of the moving body based on the detected state of the other moving body. The output unit outputs information indicating the behavior of the moving body determined by the processor to the moving body. As the behavior determining process, the processor determines the first behavior of the moving body based on the first state of the other moving body detected from the peripheral image, and instructs the determined first behavior. Information is output to the moving body via the output unit. Then, the processor has a significant reaction of the other mobile body to the first behavior based on the second state of the other mobile body detected from the peripheral image after the first behavior of the moving body. If is not obtained, the second behavior of the moving body is determined.
本開示の実施形態に係る画像処理装置は、プロセッサと、出力部とを備える。前記プロセッサは、旅客の運搬を行う移動体の周辺を撮像した周辺映像から前記移動体への搭乗候補者の像を検出し、該検出した搭乗候補者の状態に基づき、前記移動体の挙動を決定する。前記出力部は、前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する。前記プロセッサは、前記周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第1の挙動を決定し、該決定した移動体の第1の挙動を指示する情報を前記出力部を介して前記移動体に出力する。前記プロセッサは、前記移動体による前記第1の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第2の挙動を決定する。 The image processing device according to the embodiment of the present disclosure includes a processor and an output unit. The processor detects an image of a boarding candidate on the moving body from a peripheral image of the periphery of the moving body carrying a passenger, and determines the behavior of the moving body based on the detected state of the boarding candidate. decide. The output unit outputs information indicating the behavior of the moving body determined by the processor to the moving body. The processor determines the first behavior of the moving body based on the state of the boarding candidate detected from the peripheral image, and outputs information indicating the first behavior of the determined moving body to the output unit. It is output to the moving body via. The processor determines the second behavior of the moving body based on the state of the boarding candidate detected from the peripheral image after the first behavior of the moving body.
本開示の実施形態に係る撮像装置は、上述したいずれかの画像処理装置と、前記周辺映像を取得する入力部と、を備える。 The image pickup apparatus according to the embodiment of the present disclosure includes any of the above-mentioned image processing apparatus and an input unit for acquiring the peripheral image.
本開示の実施形態に係る移動体は、上述した撮像装置を搭載する。 The moving body according to the embodiment of the present disclosure is equipped with the above-mentioned imaging device.
本開示の実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、移動体の周辺を撮像した周辺映像から対象物の像を検出し、該検出した対象物の状態に基づき、前記移動体の第1の挙動を決定するステップと、前記決定した第1の挙動を指示する情報を前記移動体に出力するステップと、前記移動体による前記第1の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第2の挙動を決定するステップと、を含む。 The image processing method according to the embodiment of the present disclosure is an image processing method executed by an image processing apparatus, which detects an image of an object from a peripheral image obtained by capturing the periphery of a moving body, and states of the detected object. Based on the above, a step of determining the first behavior of the moving body, a step of outputting information indicating the determined first behavior to the moving body, and a peripheral area after the first behavior of the moving body. It includes a step of determining a second behavior of the moving body based on the state of the object detected from the image.
本開示の実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、移動体の周辺を撮像した周辺映像から他の移動体の像を検出し、該検出した他の移動体の第1の状態に基づき、前記移動体の第1の挙動を決定するステップと、前記決定した第1の挙動を指示する情報を前記移動体に出力するステップと、前記移動体による前記第1の挙動後の周辺映像から検出した前記他の移動体の第2の状態に基づき、前記第1の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第2の挙動を決定するステップと、を含む。 The image processing method according to the embodiment of the present disclosure is an image processing method executed by an image processing apparatus, in which an image of another moving body is detected from a peripheral image obtained by capturing the periphery of the moving body, and the other detected image of the moving body is detected. A step of determining the first behavior of the moving body based on the first state of the moving body, a step of outputting information instructing the determined first behavior to the moving body, and the step of the moving body. If a significant response of the other mobile to the first behavior is not obtained based on the second state of the other mobile detected from the surrounding image after the first behavior, the first of the mobiles. Includes a step of determining the behavior of 2.
本開示の実施形態に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、旅客の運搬を行う移動体の周辺を撮像した周辺映像から前記移動体への搭乗候補者の像を検出し、該検出した搭乗候補者の状態に基づき、前記移動体の第1の挙動を決定するステップと、前記決定した第1の挙動を指示する情報を前記移動体に出力するステップと、前記移動体による前記第1の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第2の挙動を決定するステップと、を含む。 The image processing method according to the embodiment of the present disclosure is an image processing method executed by an image processing apparatus, and is an image of a candidate for boarding on the moving body from a peripheral image of the periphery of a moving body carrying a passenger. And a step of determining the first behavior of the moving body based on the detected state of the boarding candidate, and a step of outputting information indicating the determined first behavior to the moving body. The step includes determining a second behavior of the moving body based on the state of the boarding candidate detected from the peripheral image after the first behavior of the moving body.
近年、車両の全自動運転の研究・開発が進められている。上述した特許文献1および特許文献2に記載されている技術を全自動運転に適用し、例えば、立ち止りからの動き出しといった歩行者の状態、あるいは、人が運転する他の車両の状態を検出し、全自動運転による車両の制御に用いることも考えられる。しかしながら、上述した技術を適用した場合でも、必ずしも適切な全自動運転が行われるとは限らず、交通の利便性には向上の余地があった。 In recent years, research and development of fully automatic driving of vehicles has been promoted. The techniques described in Patent Documents 1 and 2 described above are applied to fully automated driving to detect the state of a pedestrian such as starting to move from a stop or the state of another vehicle driven by a person. , It is also conceivable to use it for vehicle control by fully automatic driving. However, even when the above-mentioned technology is applied, appropriate fully automatic driving is not always performed, and there is room for improvement in transportation convenience.
以下、本開示の実施の形態について図面を参照して例示説明する。各図中、同一符号は、同一または同等の構成要素を示している。 Hereinafter, embodiments of the present disclosure will be illustrated with reference to the drawings. In each figure, the same reference numerals indicate the same or equivalent components.
(第1の実施形態)
図1は、本開示の第1の実施形態に係る画像処理装置10aの要部構成例を示す図である。本実施形態に係る画像処理装置10aは、図1に示すように、移動体1に搭載され、移動体1の周辺の周辺映像から対象物の状態を検出し、検出した対象物の状態に応じて、移動体1に実行させる挙動を決定するものである。対象物としては、例えは、人、他の移動体、動物などがある。また、対象物としての人には、歩行者、自転車に乗っている人などが含まれる。移動体1としては、例えば、自動運転機能を備える車両がある。以下では、「自動運転」とは、車両を運転するユーザ操作の一部または全部を自動化することを含む。例えば、自動運転は、SAE(Society of Automotive Engineers)において定義されるレベル1ないし5を含んでもよい。以下では、移動体1は、SAEで定義されるレベル4以上の全自動運転機能を備えるものとして説明する。また、以下では、全自動運転機能を備える車両を、全自動運転車両と称することがある。(First Embodiment)
FIG. 1 is a diagram showing a configuration example of a main part of the
図1に示す画像処理装置10aは、出力部としての通信インタフェース12と、プロセッサ13aと、記憶部14とを備える。移動体1には、移動体1の周辺を撮像した周辺映像を取得する、入力部としての撮像部11が搭載されている。画像処理装置10aと、撮像部11とは、移動体1に搭載された撮像装置1Aを構成する。まず、撮像部11について説明する。
The
撮像部11は、移動体1に搭載された車載カメラである。撮像部11は、移動体1の周辺を撮像した周辺映像を取得し、プロセッサ13aに出力する。撮像部11は、移動体1に複数台搭載されてもよい。例えば、移動体1に4台の車載カメラが搭載される場合、例えば、移動体1の前方の周辺領域と、移動体1の前側面の少なくとも一部とを撮影とを撮影可能な位置と、移動体1の後方の周辺領域と、移動体1の後側面の少なくとも一部とを撮影可能な位置と、移動体1の左側方の周辺領域と、移動体1の左側面の少なくとも一部とを撮影可能な位置と、移動体1の右側方の周辺領域と、移動体1の右側面の少なくとも一部とを撮影可能な位置とにそれぞれ、撮像部11を配置する。このような配置とすることにより、移動体1の四方の周辺領域を撮影することができる。
The imaging unit 11 is an in-vehicle camera mounted on the moving body 1. The imaging unit 11 acquires a peripheral image of the periphery of the moving body 1 and outputs the peripheral image to the
撮像部11は、少なくとも撮像光学系と、撮像素子とを備える。 The image pickup unit 11 includes at least an image pickup optical system and an image pickup element.
撮像光学系は、例えば、1個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、CCD(Charge Coupled Device)イメージセンサまたはCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを含む。撮像素子の受光面上には、複数の画素が配列されている。撮像素子は、受光面上に結像された被写体像を撮像して撮像画像を生成する。撮像部11は、撮像素子により生成された撮像画像を、有線または無線を介して、プロセッサ13aに出力する。撮像部11は、移動体1に搭載されたECU(Electronic Control Unit)、ディスプレイおよびナビゲーション装置などの外部装置に撮像画像を出力してもよい。また、撮像部11は、撮像画像に対して、ホワイトバランス調整処理、露出調整処理およびガンマ補正処理などの所定の画像処理を施す機能を有していてもよい。
The imaging optical system includes, for example, one or more lenses and optical members such as an aperture. The lens included in the imaging optical system is, for example, a lens having a wide angle of view such as a fisheye lens. The image pickup optical system forms a subject image on a light receiving surface of an image pickup device. The image sensor includes, for example, a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor. A plurality of pixels are arranged on the light receiving surface of the image sensor. The image sensor captures a subject image formed on a light receiving surface to generate an captured image. The image pickup unit 11 outputs the captured image generated by the image pickup element to the
次に、画像処理装置10aが備える各構成について説明する。
Next, each configuration included in the
通信インタフェース12は、有線または無線を介して、移動体1の各種制御系と通信を行うインタフェースである。通信インタフェース12は、例えば、移動体1の走行を制御する制御系、移動体1のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系などと通信を行う。
The
プロセッサ13aは、例えば、DSP(Digital Signal Processor)などの専用のプロセッサ、または、CPU(Central Processing Unit)などの汎用プロセッサを含む。プロセッサ13aは、画像処理装置10a全体の動作を制御する。例えば、プロセッサ13aは、撮像部11が取得した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体1の挙動を決定する。プロセッサ13aは、対象物が人である場合、人の動きの方向、人の顔または視線の方向、および、人の手または足の動きのうち、少なくとも1つに基づき、人の状態を検出する。
The
また、プロセッサ13aは、通信インタフェース12を介して移動体1の各種制御系にアクセスし、移動体1の挙動を検出する。プロセッサ13aは、移動体1の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ13aは、例えば、移動体1の走行を制御する制御系にアクセスし、前進、後退、停止、減速および進路変更などの挙動を検出する。また、プロセッサ13aは、移動体1のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。
Further, the
プロセッサ13aは、撮像部11が取得した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体1の第1の挙動を決定する。プロセッサ13aは、決定した第1の挙動を指示する情報を通信インタフェース12を介して移動体1の制御系に出力する。プロセッサ13aは、移動体1による第1の挙動後に、撮像部11が取得した周辺映像から検出した対象物の状態に基づき、第1の挙動に対する対象物の有意な反応が得られない場合、移動体1の第2の挙動を決定する。ここで、有意な反応とは、対象物の意図を認識可能な反応であり、例えば、移動体1における自動運転において、対象物の意図を認識可能な反応である。有意な反応の具体例については、後述する。
The
記憶部14は、例えば、一次記憶装置または二次記憶装置などを含む。記憶部14は、画像処理装置10aの動作に必要な種々の情報およびプログラムを記憶する。
The
次に、画像処理装置10aの動作について説明する。
Next, the operation of the
全自動運転車両と対象物との間でこう着状態が発生することがある。こう着状態が生じ得る状況としては、対象物が人であるとすると、例えば、図2に示すように、移動体1が車道を走行中に、横断歩道2の付近の歩道に歩行者3が立っている状況がある。図2に示す状況では、移動体1は、撮像部11が取得した周辺映像から、横断歩道2の付近に立つ歩行者3を検出すると、例えば、歩行者3が横断歩道2を渡ることができるように、横断歩道2の手前で停止する。しかしながら、歩行者3は、必ずしも、横断歩道2を渡るとは限らず、その場で立ち止っている場合がある。この場合、移動体1は、歩行者3が横断歩道2を渡る意図が無いにも関わらず、歩行者3が横断歩道2の付近に立ち止ったままであるので、横断歩道2の手前で停止したままとなる。このようにして、移動体1と歩行者3との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。 A stalemate may occur between a fully autonomous vehicle and an object. As a situation where a stalemate can occur, assuming that the object is a person, for example, as shown in FIG. 2, a pedestrian 3 is on the sidewalk near the pedestrian crossing 2 while the moving body 1 is traveling on the roadway. There is a standing situation. In the situation shown in FIG. 2, when the moving body 1 detects a pedestrian 3 standing near the pedestrian crossing 2 from the peripheral image acquired by the imaging unit 11, for example, the pedestrian 3 can cross the pedestrian crossing 2. So, stop just before the pedestrian crossing 2. However, the pedestrian 3 does not always cross the pedestrian crossing 2 and may stop there. In this case, the moving body 1 stopped in front of the pedestrian crossing 2 because the pedestrian 3 remained in the vicinity of the pedestrian crossing 2 even though the pedestrian 3 did not intend to cross the pedestrian crossing 2. Will remain. In this way, a stalemate may occur between the moving body 1 and the pedestrian 3, and smooth traffic may be hindered.
一方、本実施形態においては、画像処理装置10aは、上述したようなこう着状態が発生し得る状況において、対象物から有意な反応が得られない場合、対象物に対して更なるアクションを起こすことで、対象物のリアクションを取得して、対象物の意図を検出する。すなわち、本実施形態においては、移動体1と対象物とがあたかも会話を行うようにして、対象物の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体1による交通の利便性の向上を図ることができる。
On the other hand, in the present embodiment, the
図3は、画像処理装置10aの動作の一例を示すフローチャートであり、画像処理装置10aが実行する画像処理方法を説明するための図である。図3においては、図2に示したように、横断歩道2の付近に対象物としての歩行者3が立っている状態を例として説明する。
FIG. 3 is a flowchart showing an example of the operation of the
ステップS11:プロセッサ13aは、撮像部11が取得した周辺映像から、図2に示すように、横断歩道2の付近に立ち止っている歩行者3が存在するか否かを判定する。横断歩道2の付近に歩行者3が立ち止っている状況は、移動体1と歩行者3との間でこう着状態が生じ得る状況の一例である。プロセッサ13aは、こう着状態が生じ得る各種の状況において、歩行者3が存在するか否かを判定する。プロセッサ13aは、種々の画像認識技術を用いて、周辺映像からの歩行者3の状態、および、例えば、横断歩道2の付近である、といった周辺環境を検出することができる。
Step S11: The
ステップS12:歩行者3が存在しないと判定した場合(ステップS11:No)、プロセッサ13aは、移動体1の全自動運転を継続し、移動体1に横断歩道2を通過させる。
Step S12: When it is determined that the pedestrian 3 does not exist (step S11: No), the
ステップS13:歩行者3が存在すると判定した場合(ステップS11:Yes)、プロセッサ13aは、移動体1の挙動として、「停車」を決定する。プロセッサ13aは、停車を指示する情報を通信インタフェース12を介して移動体1に出力し、移動体1を停車させる。すなわち、プロセッサ13aは、横断歩道2の付近という環境において、周囲映像から検出した、立ち止っているという歩行者3の状態に基づき、移動体1の挙動(第1の挙動)として「停車」を決定し、「停車」を指示する情報を、通信インタフェース12を介して移動体1に出力する。
Step S13: When it is determined that the pedestrian 3 is present (step S11: Yes), the
ステップS14:プロセッサ13aは、移動体1の挙動(停車)に対する歩行者3の有意な反応を取得したか否かを判定する。例えば、プロセッサ13aは、撮像部11が取得した周辺映像から、歩行者3の有意な反応を取得したか否かを判定する。
Step S14: The
移動体1の挙動(停車)に対する歩行者3の有意な反応を取得することができたと判定した場合(ステップS14:Yes)、プロセッサ13aは、ステップS12の処理に進み、移動体1の全自動運転を継続させる。有意な反応としては、例えば、図2に示す横断歩道2の例では、歩行者3が横断歩道2の横断を開始する、横断歩道2を渡らないことを示すジェスチャーを行う、移動体1に道を譲るようなジェスチャーをするなどの反応がある。これらの反応によれば、歩行者3が横断歩道2を渡る意図がある、歩行者3が横断歩道2を渡る意図がない、歩行者3が移動体1に道を譲る意図があるといった、歩行者3の意図を検出することができる。これらの歩行者3の意図を検出することで、移動体1は、全自動運転を継続することができる。
When it is determined that the significant reaction of the pedestrian 3 to the behavior (stop) of the moving body 1 can be obtained (step S14: Yes), the
ステップS15:移動体1の停車後に、撮像部11が取得した周辺映像から検出した歩行者3の状態に基づき、移動体1の挙動(停車)に対する歩行者3の有意な反応を取得することができないと判定した場合(ステップS14:No)、プロセッサ13aは、移動体1の挙動(第2の挙動)を決定する。移動体1の挙動(停車)に対する歩行者3の有意な反応を取得することができない場合、歩行者3が移動体1の挙動(停車)に気がついていない、あるいは、横断歩道2を渡る意図がないなどと推定することができる。この場合、プロセッサ13aは、歩行者3に移動体1を気付かせる、あるいは、歩行者3の意図を検出するために、移動体1の第2の挙動を決定する。例えば、プロセッサ13aは、移動体1の挙動(第2の挙動)として、移動体1のライトを瞬間的に上向き(ハイビーム)で点灯させる「パッシング」を決定する。プロセッサ13aは、「パッシング」を指示する情報を、通信インタフェース12を介して移動体1に出力し、パッシングを実行させる。
Step S15: After the moving body 1 is stopped, it is possible to acquire a significant reaction of the pedestrian 3 to the behavior (stopping) of the moving body 1 based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11. If it is determined that the movement is not possible (step S14: No), the
このように、プロセッサ13aは、移動体1による第1の挙動(停車)後に、撮像部11が取得した周辺映像から検出した歩行者3の状態に基づき、第1の挙動に対する歩行者3の有意な反応が得られない場合、移動体1の第2の挙動(パッシング)を決定する。こうすることで、移動体1から歩行者3に反応を促し、歩行者3の意図を画像処理装置10aでより正確に検出できるようになる。その結果、移動体1と歩行者3との間でこう着状態が発生する蓋然性を低減し、交通の円滑化を図ることができるので、移動体1による交通の利便性の向上を図ることができる。
As described above, the
ステップS16:プロセッサ13aは、移動体1の挙動(パッシング)に対する歩行者3の有意な反応を取得したか否かを判定する。
Step S16: The
移動体1の挙動(パッシング)に対する歩行者3の有意な反応を取得することができたと判定した場合(ステップS16:Yes)、プロセッサ13aは、ステップS12の処理に進み、移動体1の全自動運転を継続させる。
When it is determined that the significant response of the pedestrian 3 to the behavior (passing) of the moving body 1 can be obtained (step S16: Yes), the
ステップS17:パッシング後に、撮像部11が取得した周辺映像から検出した歩行者3の状態に基づき、移動体1の挙動(パッシング)に対する歩行者3の有意な反応を取得することができないと判定した場合(ステップS16:No)、プロセッサ13aは、移動体1の挙動として、横断歩道2に到達しない程度(例えば、数十cm程度)、移動体1を前進させる「少し前進」を決定する。そして、プロセッサ13aは、「少し前進」を指示する情報を、通信インタフェース12を介して移動体1に出力し、移動体1を少し前進させる。すなわち、ステップS17においては、プロセッサ13aは、「パッシング」を第1の挙動とし、移動体1のパッシング後の周辺映像から検出した歩行者3の状態に基づき、第1の挙動に対する歩行者3の有意な反応が得られない場合、移動体1の第2の挙動として、「少し前進」を決定する。
Step S17: After passing, it is determined that the significant reaction of the pedestrian 3 to the behavior (passing) of the moving body 1 cannot be obtained based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11. In the case (step S16: No), the
ステップS18:プロセッサ13aは、移動体1の挙動(少し前進)に対する歩行者3の有意な反応を取得したか否かを判定する。
Step S18: The
移動体1の挙動(少し前進)に対する歩行者3の有意な反応を取得することができたと判定した場合(ステップS18:Yes)、プロセッサ13aは、ステップS12の処理に進み、移動体1の全自動運転を継続させる。
When it is determined that the significant response of the pedestrian 3 to the behavior of the moving body 1 (slightly forward) can be obtained (step S18: Yes), the
ステップS19:移動体1の少し前進後に、撮像部11が取得した周辺映像から検出した歩行者3の状態に基づき、移動体1の挙動(少し前進)に対する歩行者3の有意な反応を取得することができないと判定した場合(ステップS18:No)、プロセッサ13aは、移動体1の挙動として、「クラクション鳴動」を決定する。プロセッサ13aは、「クラクション鳴動」を指示する情報を、通信インタフェース12を介して移動体1に出力し、クラクションを鳴動させる。すなわち、ステップS19においては、プロセッサ13aは、「少し前進」を第1の挙動とし、移動体1の少し前進後の周辺映像から検出した歩行者3の状態に基づき、第1の挙動に対する歩行者3の有意な反応が得られない場合、移動体1の第2の挙動として、「クラクション鳴動」を決定する。
Step S19: After the moving body 1 moves slightly forward, a significant reaction of the pedestrian 3 to the behavior of the moving body 1 (slightly moving forward) is acquired based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11. If it is determined that this is not possible (step S18: No), the
ステップS20:プロセッサ13aは、移動体1の挙動(クラクション鳴動)に対する歩行者3の有意な反応を取得したか否かを判定する。
Step S20: The
移動体1の挙動(クラクション鳴動)に対する歩行者3の有意な反応を取得することができたと判定した場合(ステップS20:Yes)、プロセッサ13aは、ステップS12の処理に進み、移動体1の全自動運転を継続させる。
When it is determined that the pedestrian 3 has been able to obtain a significant response to the behavior of the moving body 1 (honking) (step S20: Yes), the
ステップS21:移動体1によるクラクション鳴動後に、撮像部11が取得した周辺映像から検出した歩行者3の状態に基づき、移動体1の挙動(クラクション鳴動)に対する歩行者3の有意な反応を取得することができないと判定した場合(ステップS20:No)、プロセッサ13aは、移動体1の全自動運転を解除する。すなわち、プロセッサ13aは、所定回数だけ移動体1の挙動を繰り返しても歩行者3から有意な反応を取得することができない場合、移動体1の全自動運転を解除する。全自動運転の解除により、移動体1の運転者自身が、歩行者3の様子、仕草などから歩行者3の意図を認識し、その認識結果に応じて、移動体1を走行させることができる。
Step S21: After the horn ringing by the moving body 1, a significant reaction of the pedestrian 3 to the behavior of the moving body 1 (honking) is acquired based on the state of the pedestrian 3 detected from the peripheral image acquired by the imaging unit 11. If it is determined that this is not possible (step S20: No), the
図3においては、移動体1の挙動として、「停車」、「パッシング」、「少し前進」および「クラクション鳴動」を例として説明したが、これらに限られるものではない。移動体1の挙動としては、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、選択することができる。また、移動体1の挙動は、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、組み合わせた挙動であってもよい。また、移動体1が音声出力機能を備える場合には、移動体1の挙動には、音声出力が含まれてもよい。また、移動体1が地面などへの投影機能を備える場合には、移動体1の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。 In FIG. 3, as the behavior of the moving body 1, "stop", "passing", "slightly forward", and "honking" have been described as examples, but the behavior is not limited to these. The behavior of the moving body 1 is "forward", "backward", "stop", "deceleration", "change of course", "lighting", "passing", "winker blinking", "honking", "external". Operations such as "display" and "maintain the status quo" can be appropriately selected. The behavior of the moving body 1 is "forward", "backward", "stop", "deceleration", "change of course", "lighting", "passing", "winker blinking", "horn ringing", " The behavior may be a combination of operations such as "external display" and "maintaining the status quo" as appropriate. Further, when the moving body 1 has a voice output function, the behavior of the moving body 1 may include a voice output. Further, when the moving body 1 has a projection function on the ground or the like, the behavior of the moving body 1 may include projection of a predetermined image such as a message on a sidewalk or the like.
また、図3においては、プロセッサ13aは、「停車」、「パッシング」、「少し前進」、「クラクション鳴動」の順に、移動体1の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ13aは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体1の挙動を決定してもよい。プロセッサ13aは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体1の挙動を決定してもよい。例えば、プロセッサ13aは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ13aは、各動作に歩行者3が気付く可能性などに応じたポイントを付与してもよい。この場合、プロセッサ13aは、例えば、1または複数回、単一の動作による挙動を歩行者3に提示しても有意な反応が得られなければ、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体1の挙動として決定してもよい。
Further, in FIG. 3, the
また、図3においては、所定回数だけ移動体1の挙動を繰り返しても歩行者3から有意な反応を取得することができない場合、移動体1の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ13aは、例えば、全自動運転を解除する代わりに、歩行者3と距離をとって徐行しながら、移動体1を走行させてもよい。
Further, in FIG. 3, an example of canceling the fully automatic operation of the moving body 1 will be described when a significant reaction cannot be obtained from the pedestrian 3 even if the behavior of the moving body 1 is repeated a predetermined number of times. However, it is not limited to this. For example, the
また、図1においては、移動体1に搭載された画像処理装置10aにより、周辺映像からの対象物の状態の検出および対象物の状態に応じた移動体1の挙動の決定などを行う例を用いて説明したが、これに限られるものではない。例えば、主にプロセッサ13aが備える、周辺映像からの対象物の状態の検出および対象物の状態に応じた移動体1の挙動の決定など機能を、ネットワーク上のサーバなどが有していてもよい。この場合、移動体1はネットワークを介してサーバと通信可能であり、移動体1からは周辺映像をサーバに送信する。サーバは、移動体1から取得した周辺映像から対象物の検出および対象物の状態に応じた移動体1の挙動の決定を行い、決定した挙動を指示する情報を移動体1に送信する。
Further, in FIG. 1, an example in which the
このように本実施形態においては、画像処理装置10aは、通信インタフェース12と、プロセッサ13aとを備える。プロセッサ13aは、移動体1の周辺を撮像した周辺映像から対象物の像を検出し、検出した対象物の状態に基づき、移動体1の挙動を決定する。通信インタフェース12は、プロセッサ13aにより決定された移動体1の挙動を指示する情報を移動体1に出力する。プロセッサ13aは、周辺映像から検出した対象物の状態に基づき、移動体1の第1の挙動を決定し、決定した第1の挙動を指示する情報を通信インタフェース12を介して移動体1に出力する。プロセッサ13aは、移動体1による第1の挙動後の周辺映像から検出した対象物の状態に基づき、移動体1の第2の挙動を決定する。
As described above, in the present embodiment, the
移動体1の第1の挙動後に、第2の挙動を移動体1に行わせることで、対象物の反応を促し、対象物の意図をより正確に検出することができるようになる。その結果、移動体1と対象物との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体1による交通の利便性の向上を図ることができる。 By causing the moving body 1 to perform the second behavior after the first behavior of the moving body 1, the reaction of the target object can be promoted and the intention of the target object can be detected more accurately. As a result, the probability that a stuck state will occur between the moving body 1 and the object is reduced, and the traffic is facilitated, so that the convenience of the traffic by the moving body 1 can be improved.
(第2の実施形態)
図4は、本開示の第2の実施形態に係る画像処理装置10bの要部構成例を示す図である。本実施形態に係る画像処理装置10bは、図4に示すように、移動体1に搭載され、移動体1の周辺の周辺映像から他の移動体の状態を検出し、検出した他の移動体の状態に応じて、移動体1に実行させる挙動を決定するものである。移動体1としては、例えば、自動運転機能を備える車両がある。また、他の移動体としては、例えば、人が運転する車両がある。(Second Embodiment)
FIG. 4 is a diagram showing a configuration example of a main part of the
図1に示す画像処理装置10bは、出力部としての通信インタフェース12と、プロセッサ13bと、記憶部14とを備える。すなわち、本実施形態に係る画像処理装置10bは、第1の実施形態に係る画像処理装置10aと比較して、プロセッサ13aをプロセッサ13bに変更した点が異なる。移動体1には、移動体1の周辺を撮像した周辺映像を取得する、入力部としての撮像部11が搭載されている。画像処理装置10bと、撮像部11とは、移動体1に搭載された撮像装置1Aを構成する。
The
プロセッサ13bは、例えば、DSPなどの専用のプロセッサ、または、CPUなどの汎用プロセッサを含む。プロセッサ13bは、画像処理装置10b全体の動作を制御する。例えば、プロセッサ13bは、撮像部11が取得した周辺映像から他の移動体の像を検出し、検出した他の移動体の状態に基づき、移動体1の挙動を決定する挙動決定処理を行う。プロセッサ13bは、他の移動体の状態として、他の移動体の前進、後退、停止、減速、操舵方向、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持の少なくとも1つを検出する。
The
また、プロセッサ13bは、通信インタフェース12を介して移動体1の各種制御系にアクセスし、移動体1の挙動を検出する。プロセッサ13bは、移動体1の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ13bは、例えば、移動体1の走行を制御する制御系にアクセスし、前進、後退、停止、減速、進路変更などの挙動を検出する。また、プロセッサ13bは、移動体1のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。
Further, the
プロセッサ13bは、挙動決定処理として、以下の動作を行う。すなわち、プロセッサ13bは、撮像部11が取得した周辺映像から他の移動体の像を検出し、検出した他の移動体の第1の状態に基づき、移動体1の第1の挙動を決定する。プロセッサ13bは、決定した第1の挙動を指示する情報を通信インタフェース12を介して移動体1の制御系に出力する。プロセッサ13bは、移動体1による第1の挙動後に、撮像部11が取得した周辺映像から検出した他の移動体の第2の状態に基づき、第1の挙動に対する他の移動体の有意な反応が得られない場合、移動体1の第2の挙動を決定する。ここで、有意な反応とは、他の移動体の運転者の意図を認識可能な反応であり、例えば、移動体1における自動運転において、他の移動体の運転者の意図を認識可能な反応である。有意な反応の具体例については、後述する。
The
次に、画像処理装置10bの動作について説明する。
Next, the operation of the
全自動運転車両と人が運転する車両との間でこう着状態が発生することがある。こう着状態が生じ得る状況としては、例えば、図5に示すように、移動体1が交差点を右折する際に、対向車線を走行する他の移動体4が交差点の手前で停止した状況がある。図5に示す状況では、移動体1は、撮像部11が取得した周辺映像から、対向車線上の他の移動体4を検出すると、例えば、他の移動体4が直進あるいは左折できるように、走行車線から交差点に少し進入した地点で停止する。しかしながら、他の移動体4は、必ずしも交差点に進入して、直進あるいは左折するとは限らず、移動体1に道を譲るため、あるいは、荷物などの積み下ろしなどのために停止することがある。この場合、他の移動体4の運転者が交差点に進入する意図が無いにも関わらず、他の移動体4が交差点の手前に存在し続けるために、移動体1は、停止したままとなる可能性がある。このようにして、移動体1と他の移動体4との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。
A stalemate may occur between a fully autonomous vehicle and a vehicle driven by a person. As a situation in which a stalemate can occur, for example, as shown in FIG. 5, when the moving body 1 turns right at an intersection, another moving
一方、本実施形態においては、画像処理装置10bは、上述したようなこう着状態が発生し得る状況において、他の移動体4から有意な反応が得られない場合、他の移動体4に対して更なるアクションを起こす。こうすることで、画像処理装置10bは、他の移動体4のリアクションを取得して、他の移動体4の運転者の意図をより正確に検出する。すなわち、本実施形態においては、移動体1と他の移動体4とがあたかも会話を行うようにして、他の移動体4の運転者の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体1による交通の利便性の向上を図ることができる。
On the other hand, in the present embodiment, the
図6は、画像処理装置10bの動作の一例を示すフローチャートであり、画像処理装置10bが実行する画像処理方法について説明するための図である。図6においては、図5に示したように、移動体1が交差点を右折する状態を例として説明する。
FIG. 6 is a flowchart showing an example of the operation of the
ステップS31:プロセッサ13bは、撮像部11が取得した周辺映像から、対向車線に他の移動体4である対向車が存在するか否かを判定する。
Step S31: The
ステップS32:対向車が存在しないと判定した場合(ステップS31:No)プロセッサ13bは、移動体1の全自動運転を継続し、移動体1に交差点を右折させる。
Step S32: When it is determined that there is no oncoming vehicle (step S31: No), the
ステップS33:対向車が存在すると判定した場合(ステップS31:Yes)、プロセッサ13bは、撮像部11が取得した周辺映像から、対向車が前進してくるか否かを判定する。
Step S33: When it is determined that the oncoming vehicle exists (step S31: Yes), the
ステップS34:対向車が前進してくると判定した場合(ステップS33:Yes)、プロセッサ13bは、交差点の中央付近であって対向車が直進可能なようにして右折待ちをする右折位置で、移動体1を停止させる。
Step S34: When it is determined that the oncoming vehicle is moving forward (step S33: Yes), the
ステップS35:次に、プロセッサ13bは、対向車が交差点を直進あるいは左折して、交差点を通過したか否かを判定する。
Step S35: Next, the
対向車が交差点を通過していないと判定した場合(ステップS35:No)、プロセッサ13bは、ステップS34の処理に戻り、移動体1を引き続き停止させる。
When it is determined that the oncoming vehicle has not passed the intersection (step S35: No), the
対向車が交差点を通過したと判定した場合(ステップS35:Yes)、プロセッサ13bは、移動体1の全自動運転を継続し、移動体1に交差点を右折させる。
When it is determined that the oncoming vehicle has passed the intersection (step S35: Yes), the
ステップS36:対向車が前進していないと判定した場合(ステップS33:No)、プロセッサ13bは、移動体1の挙動として、対向車の直進を妨げることなく、右折位置から移動体1を少し(例えば、数十cm程度)前進させる「少し前進」を決定する。すなわち、プロセッサ13bは、交差点の右折時という環境において、停止という対向車の状態(第1の状態)に基づき、移動体1の挙動(第1の挙動)として「少し前進」を決定し、「少し前進」を指示する情報を、通信インタフェース12を介して移動体1に出力する。
Step S36: When it is determined that the oncoming vehicle is not moving forward (step S33: No), the
上述したように、移動体1による交差点の右折時に、他の移動体4である対向車が停止しているという状況は、移動体1と他の移動体4との間でこう着状態が生じ得る状況の一例である。プロセッサ13bは、こう着状態が生じ得る各種の状況において、他の移動体4が存在するか否かを判定する。プロセッサ13bは、種々の画像認識技術を用いて、周辺映像から他の移動体4の状態、および、交差点の右折時である、といった周辺環境を検出することができる。
As described above, in the situation where the oncoming vehicle, which is another moving
ステップS37:プロセッサ13bは、移動体1の挙動(少し前進)に対する対向車の有意な反応を取得したか否かを判定する。例えば、プロセッサ13bは、撮像部11が取得した周辺映像から、対向車の有意な反応を取得したか否かを判定する。
Step S37: The
移動体1の挙動(少し前進)に対する対向車の有意な反応を取得することができたと判定した場合(ステップS37:Yes)、プロセッサ13bは、ステップS32の処理に進み、移動体1の全自動運転を継続させる。有意な反応としては、例えば、図5に示す交差点の右折時の例では、対向車が前進を開始する、対向車が移動体1に道を譲るような動作、例えば、パッシングをする、などの反応がある。これらの反応によれば、交差点に進入する意図がある、移動体1に道を譲る意図があるといった、対向車の運転者の意図を検出することができる。対向車の運転者の意図を検出することで、移動体1は、その意図に応じて、全自動運転を継続することができる。
When it is determined that the significant reaction of the oncoming vehicle to the behavior of the moving body 1 (slightly forward) can be obtained (step S37: Yes), the
ステップS38:移動体1による第1の挙動(少し前進)後に、撮像部11が取得した周辺映像から検出した対向車の状態に基づき、移動体1の挙動に対する対向車の有意な反応を取得することができないと判定した場合(ステップS37:No)、プロセッサ13bは、移動体1の挙動(第2の挙動)を決定する。移動体1の挙動(少し前進)に対する対向車の有意な反応を取得することができない場合、対向車の運転手が移動体1の挙動に気がついていない、あるいは、交差点に進入する意図がないなどと推定することができる。この場合、プロセッサ13bは、対向車の運転者に移動体1を気付かせる、あるいは、対向車の運転者の意図をより正確に検出するために、対向車の反応を促すような移動体1の第2の挙動を決定する。例えば、プロセッサ13bは、移動体1の第2の挙動として、移動体1のライトを瞬間的に上向き(ハイビーム)で点灯させる「パッシング」を決定する。プロセッサ13bは、「パッシング」を指示する情報を、通信インタフェース12を介して移動体1に出力し、パッシングを実行させる。
Step S38: After the first behavior (slightly forward) by the moving body 1, the significant reaction of the oncoming vehicle to the behavior of the moving body 1 is acquired based on the state of the oncoming vehicle detected from the peripheral image acquired by the imaging unit 11. If it is determined that this is not possible (step S37: No), the
このように、プロセッサ13bは、移動体1による第1の挙動(少し前進)後に、撮像部11が取得した周辺映像から検出した他の移動体4の状態に基づき、第1の挙動に対する他の移動体4の有意な反応が得られない場合、移動体1の第2の挙動(パッシング)を決定する。こうすることで、移動体1から他の移動体4に反応を促し、他の移動体4の運転者の意図を画像処理装置10bでより正確に検出できるようになる。その結果、移動体1と他の移動体4との間でこう着状態が発生する蓋然性を低減し、交通の円滑化を図ることができるので、交通の利便性の向上を図ることができる。
In this way, the
ステップS39:プロセッサ13bは、移動体1の挙動(パッシング)に対する対向車の有意な反応を取得したか否かを判定する。
Step S39: The
移動体1の挙動(パッシング)に対する対向車の有意な反応を取得することができたと判定した場合(ステップS39:Yes)、プロセッサ13bは、ステップS32の処理に進み、移動体1の全自動運転を継続させる。
When it is determined that a significant reaction of the oncoming vehicle to the behavior (passing) of the moving body 1 can be obtained (step S39: Yes), the
ステップS40:移動体1の挙動(パッシング)に対する対向車の有意な反応を取得することができないと判定した場合(ステップS39:No)、プロセッサ13bは、移動体1の全自動運転を解除する。全自動運転の解除により、移動体1の運転者自身が、対向車の様子などから対向車の運転者の意図を認識し、その認識結果に応じて、移動体1を走行させることができる。
Step S40: When it is determined that a significant reaction of the oncoming vehicle to the behavior (passing) of the moving body 1 cannot be obtained (step S39: No), the
図6においては、第2の挙動として、パッシングを行った後、対向車の有意な反応が得られない場合、移動体1の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ13bは、パッシングに続いて、クラクション鳴動、ウィンカ点滅などの動作を順次行い、動作毎に、対向車の有意な反応が得られるか否かを判定してもよい。また、プロセッサ13bは、所定回数だけ移動体1の挙動を繰り返しても他の移動体4から有意な反応を取得することができない場合、移動体1の全自動運転を解除するようにしてもよい。
In FIG. 6, as the second behavior, when a significant reaction of the oncoming vehicle is not obtained after passing, an example of canceling the fully automatic operation of the moving body 1 has been described, but this is limited to this. It is not something that can be done. Following the passing, the
また、図6においては、移動体1の挙動として、「少し前進」、「パッシング」を例として説明したが、これらに限られるものではない。移動体1の挙動としては、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、選択することができる。また、移動体1の挙動は、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの動作を適宜、組み合わせた挙動であってもよい。また、移動体1が音声出力機能を備える場合には、移動体1の挙動には、音声出力が含まれてもよい。また、移動体1が地面などへの投影機能を備える場合には、移動体1の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。 Further, in FIG. 6, as the behavior of the moving body 1, "slightly forward" and "passing" have been described as examples, but the behavior is not limited to these. The behavior of the moving body 1 is "forward", "backward", "stop", "deceleration", "change of course", "lighting", "passing", "winker blinking", "honking", "external". Operations such as "display" and "maintain the status quo" can be appropriately selected. The behavior of the moving body 1 is "forward", "backward", "stop", "deceleration", "change of course", "lighting", "passing", "winker blinking", "horn ringing", " The behavior may be a combination of operations such as "external display" and "maintaining the status quo" as appropriate. Further, when the moving body 1 has a voice output function, the behavior of the moving body 1 may include a voice output. Further, when the moving body 1 has a projection function on the ground or the like, the behavior of the moving body 1 may include projection of a predetermined image such as a message on a sidewalk or the like.
また、図6においては、プロセッサ13bは、「少し前進」、「パッシング」の順に、移動体1の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ13bは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」、「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体1の挙動を決定してもよい。プロセッサ13bは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体1の挙動を決定してもよい。例えば、プロセッサ13bは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ13bは、所定の基準、例えば、他の移動体4の運転者が気付く可能性の高さなどに応じたポイントを、動作毎に付与してもよい。この場合、プロセッサ13bは、例えば、1または複数回、単一の動作による挙動を提示しても他の移動体4の有意な反応を取得することができない場合、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体1の挙動として決定してもよい。
Further, in FIG. 6, the
また、図6においては、所定回数だけ移動体1の挙動を繰り返しても他の移動体4から有意な反応を取得することができない場合、移動体1の全自動運転を解除する例を用いて説明したが、これに限られるものではない。プロセッサ13bは、例えば、全自動運転を解除する代わりに、他の移動体4と距離をとって移動体1を徐行しながら走行させてもよい。
Further, in FIG. 6, an example is used in which the fully automatic operation of the moving body 1 is canceled when a significant reaction cannot be obtained from the other moving
また、図4においては、移動体1に搭載された画像処理装置10bにより、周辺映像からの他の移動体4の状態の検出および他の移動体4の状態に応じた移動体1の挙動の決定などを行う例を用いて説明したが、これに限られるものではない。例えば、主にプロセッサ13bが備える、周辺映像からの他の移動体4の状態の検出および他の移動体4の状態に応じた移動体1の挙動の決定など機能を、ネットワーク上のサーバなどが有していてもよい。この場合、移動体1はネットワークを介してサーバと通信可能であり、移動体1からは周辺映像をサーバに送信する。サーバは、移動体1から取得した周辺映像から他の移動体4の検出および他の移動体4の状態に応じた移動体1の挙動の決定を行い、決定した挙動を指示する情報を移動体1に送信する。
Further, in FIG. 4, the
次に、プロセッサ13bの動作例についてより具体的に説明する。
Next, an operation example of the
プロセッサ13bは、移動体1の進路を予測する。プロセッサ13bは、例えば、撮像部11の撮影映像、および、通信インタフェース12を介した移動体1の走行を制御する制御系の監視結果に基づき、移動体1の進路を予測する。また、プロセッサ13bは、他の移動体4の状態(第1の状態)に基づき、他の移動体4の進路を予測する。そして、プロセッサ13bは、移動体1と他の移動体4との衝突が予測される場合、例えば、他の移動体4の状態(第2の状態)が、前進または現状維持であれば、衝突の予測が解消されるまで、移動体1の挙動(第2の挙動)として、停止または減速を決定する。また、プロセッサ13bは、移動体1と他の移動体4との衝突が予測される場合、例えば、他の移動体4の状態(第2の状態)が、停止、減速および進路変更のいずれかであれば、移動体1の挙動(第2の挙動)として、前進またはパッシングを決定する。こうすることで、移動体1と他の移動体4との衝突を回避することができる。以下では、移動体1の走行時の種々のケースにおけるプロセッサ13bの動作例について、説明する。
The
まず、移動体1が交差点を右折する際のプロセッサ13bの動作例について、表1を参照して説明する。
First, an operation example of the
プロセッサ13bは、移動体1の右折時には、他の移動体4として、移動体1の走行車線の対向車線を走行する対向車の状態を検出する。プロセッサ13bは、対向車が前進している場合には、移動体1の挙動として、「停止」を決定する。そして、プロセッサ13bは、対向車の状態を再度、検出する。対向車が前進している場合には、プロセッサ13は、移動体1を待機させる。すなわち、プロセッサ13bは、移動体1を停止させたままとする。また、対向車が停止した場合には、プロセッサ13bは、移動体1の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。
When the moving body 1 makes a right turn, the
また、プロセッサ13bは、対向車が停止している場合には、移動体1の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。そして、プロセッサ13bは、対向車の状態を再度、検出し、対向車から有意な反応が得られたか否かを判定する。プロセッサ13bは、対向車から有意な反応が得られたと判定した場合には、移動体1の挙動として、対向車の反応に応じた挙動を決定する。例えば、プロセッサ13bは、対向車の運転者が交差点に進入する意図があると判定した場合には、対向車が通過するまで、移動体1を停止させる。また、例えば、プロセッサ13bは、対向車の運転者が移動体1に道を譲る意図があると判定した場合には、移動体1に交差点を右折させる。
Further, when the oncoming vehicle is stopped, the
対向車から有意な反応が得られないと判定した場合には、プロセッサ13bは、対向車の運転者の意図を検出可能な対向車の反応を促すために、移動体1の挙動として、「少し前進」、「パッシング」、「クラクション鳴動」、「ウィンカ点滅」などを決定する。そして、プロセッサ13bは、対向車の状態を再度、検出する。このように、プロセッサ13bは、移動体1による交差点の右折時に、対向車線を走行する他の移動体4の状態を検出する。そして、プロセッサ13bは、対向車の状態として、対向車の停止を検出した場合、挙動決定処理を行う。
When it is determined that a significant reaction cannot be obtained from the oncoming vehicle, the
移動体1の右折時に、対向車が停車している場合、対向車の運転者の意図が必ずしも明確ではなく、移動体1と対向車との間でこう着状態が生じ得る。したがって、挙動決定処理により、移動体1の挙動として、対向車の反応を促す挙動を決定し、対向車の運転者の意図をより正確に検出することで、こう着状態が生じる蓋然性を低減することができる。 If the oncoming vehicle is stopped when the moving body 1 makes a right turn, the intention of the driver of the oncoming vehicle is not always clear, and a stuck state may occur between the moving body 1 and the oncoming vehicle. Therefore, the behavior determination process determines the behavior that promotes the reaction of the oncoming vehicle as the behavior of the moving body 1, and more accurately detects the intention of the driver of the oncoming vehicle, thereby reducing the probability that a stuck state will occur. be able to.
次に、移動体1が走行車線から高速道路などの本線に合流する際の、すなわち、移動体1による第1の車線から第2の車線への合流時の動作例について、表2を参照して説明する。 Next, refer to Table 2 for an operation example when the moving body 1 merges from the traveling lane to the main lane such as an expressway, that is, when the moving body 1 merges from the first lane to the second lane. I will explain.
プロセッサ13bは、高速道路などの本線への合流時には、他の移動体4として、移動体1よりも後方であって、本線を走行する車両の状態を検出する。以下では、移動体1よりも後方であって、本線を走行する車両を、本線走行車両と称する。プロセッサ13bは、本線走行車両が無い場合には、移動体1の挙動として、「ウィンカ点灯」、「車線変更開始」を決定する。すなわち、プロセッサ13bは、本線走行車両がない場合には、移動体1に本線への合流を開始させる。
When merging with a main line such as an expressway, the
本線走行車両が減速している場合、本線走行車両の運転者は、移動体1の本線への合流を促す意図があると推定することができる。そこで、プロセッサ13bは、移動体1の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「加速」を決定する。そして、プロセッサ13bは、本線走行車両の状態を検出し、そのまま本線への合流が可能であれば、移動体1に本線への合流を開始させる。
When the main line traveling vehicle is decelerating, it can be presumed that the driver of the main line traveling vehicle intends to encourage the moving body 1 to join the main line. Therefore, the
本線走行車両が加速している場合、本線走行車両の運転者は、移動体1の本線への合流を促してはおらず、そのまま走行を続ける意図があると推定することができる。そこで、プロセッサ13bは、移動体1の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「減速」を決定する。そして、プロセッサ13bは、本線走行車両の状態を検出し、例えば、本線走行車両がそのまま走行を続けていれば、本線への合流は行わず、その本線走行車両の通過後に再び、本線への合流を試みる。
When the main line traveling vehicle is accelerating, it can be presumed that the driver of the main line traveling vehicle does not urge the moving body 1 to join the main line and intends to continue traveling as it is. Therefore, the
本線走行車両が等速度で走行している場合、すなわち、本線走行車両の車速が所定値以上変化しない等速走行をしている場合、本線走行車両の運転者が、移動体1の本線への合流を促す意図があるのか、移動体1の本線への合流を促してはおらず、そのまま走行を続ける意図があるのか不明である。そこで、プロセッサ13bは、本線走行車両の運転者の意図を検出可能な本線走行車両の反応を促すために、移動体1の挙動として、「ウィンカ点灯」、「本線側に少しずつ移動」、「加速」、「減速」などを決定する。そして、プロセッサ13bは、本線走行車両の状態を再度、検出し、本線走行車両から有意な反応が得られたか否かを判定する。本線走行車両から有意な反応が得られたと判定した場合には、プロセッサ13bは、移動体1の挙動として、本線走行車両の反応に応じた挙動を決定する。例えば、プロセッサ13bは、本線走行車両の運転者が移動体1の本線への合流を促す意図があると判定した場合には、移動体1に変遷への合流を開始させる。また、例えば、プロセッサ13bは、本線走行車両の運転者が移動体1の本線への合流を促してはおらず、そのまま走行を続ける意図があると判定した場合には、その本線走行車両の通過後に再び、本線への合流を試みる。
When the main line traveling vehicle is traveling at a constant speed, that is, when the main line traveling vehicle is traveling at a constant speed where the vehicle speed does not change by a predetermined value or more, the driver of the main line traveling vehicle moves to the main line of the moving body 1. It is unclear whether the intention is to encourage the merging, or whether the moving body 1 is not urged to join the main line and is intended to continue traveling as it is. Therefore, in order to promote the reaction of the main line traveling vehicle that can detect the driver's intention of the main line traveling vehicle, the
本線走行車両から有意な反応が得られないと判定した場合には、プロセッサ13bは、移動体1の挙動として、プロセッサ13bは、本線走行車両の運転者の意図を検出可能な対向車の反応を促すための移動体1の挙動を決定する。このように、プロセッサ13bは、移動体1による第1の車線から第2の車線への合流時に、移動体1の後方であって、第2の車線を走行する他の移動体4の状態を検出する。そして、プロセッサ13bは、他の移動体4の状態として、他の移動体4による等速走行を検出した場合、挙動決定処理を行う。
When it is determined that a significant reaction cannot be obtained from the main line traveling vehicle, the
移動体1の走行車線から本線への合流時に、本線走行車両が等速走行している場合、本線走行車の意図が必ずしも明確ではなく、移動体1と本線走行車両との間でこう着状態が生じ得る。したがって、挙動決定処理により、移動体1の挙動として、対向車の反応を促す挙動を決定し、対向車の運転者の意図をより正確に検出することで、こう着状態が生じる蓋然性を低減することができる。 When the main lane traveling vehicle is traveling at a constant speed at the time of merging from the traveling lane of the moving body 1 to the main lane, the intention of the main lane traveling vehicle is not always clear, and the stalemate between the moving body 1 and the main lane traveling vehicle Can occur. Therefore, the behavior determination process determines the behavior that promotes the reaction of the oncoming vehicle as the behavior of the moving body 1, and more accurately detects the intention of the driver of the oncoming vehicle, thereby reducing the probability that a stuck state will occur. be able to.
次に、移動体1が交差点あるいはT字路を右折または左折する際の、すなわち、移動体1により、移動体1の走行路から、走行路と交差する交差路への進入時の動作例について、表3を参照して説明する。 Next, regarding an operation example when the moving body 1 makes a right or left turn at an intersection or a T-junction, that is, when the moving body 1 enters the intersection where the moving body 1 intersects with the running road. , Table 3 will be described.
プロセッサ13bは、移動体1による交差点あるいはT字路の右折または左折時には、他の移動体4の状態として、交差路を走行する車両のうち、移動体1がその車両よりも前方に進入しようとする車両の状態を検出する。以下では、交差路を走行し、移動体1が、その車両よりも前方に進入しようとする車両を、交差路走行車両と称する。
When the moving body 1 makes a right or left turn at an intersection or a T-junction, the
プロセッサ13bは、交差路走行車両が停止した場合、移動体1の挙動として、「少し前進」を決定する。そして、プロセッサ13bは、交差路走行車両の状態を再度、検出する。プロセッサ13bは、交差路走行車両の状態が所定時間以上、変化しない場合、すなわち、交差路走行車両が停止したままである場合、移動体1にその交差路走行車両の前方へ進入させる。プロセッサ13bは、交差路走行車両が前進した場合、移動体1の挙動として、その交差路走行車両の前方への進入を取りやめ、交差路走行車両に前進を促す挙動を決定する。
When the vehicle traveling on the crossroads stops, the
また、プロセッサ13bは、交差路走行車両が走行しているが、交差路走行車両の前方に移動体1が進入可能な所定以上のスペースがある場合、移動体1の挙動として、「少し前進」を決定する。そして、プロセッサ13bは、交差路走行車両の状態を再度、検出する。プロセッサ13bは、交差路走行車両が停止した場合、および、交差路走行車両が減速し、パッシングを行った場合、交差路走行車両の運転者が移動体1に道を譲る意図があると判定し、移動体1に交差路へ進入させる。また、プロセッサ13bは、交差路走行車両が減速したが、パッシングを行わない場合、移動体1の挙動として、その交差路走行車両の前方への進入を取りやめ、交差路走行車両に前進を促す挙動を決定する。
Further, in the
また、プロセッサ13bは、例えば、移動体1の走行時に、移動体1の走行路上において、移動体1の進行方向に存在する他の移動体4の状態を検出してもよい。この場合、プロセッサ13bは、他の移動体4の停止を検出した場合、挙動決定処理を行ってもよい。こうすることで、例えば、道幅の狭い道路において、移動体1と他の移動体4とがすれ違うような場合に、プロセッサ13bは、他の移動体4の反応から、前進するか、その場で停止するかなど、移動体1の挙動を決定してもよい。
Further, for example, when the moving body 1 is traveling, the
また、プロセッサ13bは、撮像部11が取得した周辺映像から道路反射鏡を検出し、道路反射鏡に映った像に基づき、他の移動体4の状態を検出してもよい。こうすることで、見通しの悪い道路、交差点などにおいても、他の移動体4の状態を検出することができる。
Further, the
このように本実施形態においては、画像処理装置10bは、通信インタフェース12と、プロセッサ13bとを備える。プロセッサ13bは、移動体1の周辺を撮像した周辺映像から他の移動体4の像を検出し、検出した他の移動体4の状態に基づき、移動体1の挙動を決定する挙動決定処理を行う。通信インタフェース12は、プロセッサ13bにより決定された移動体1の挙動を指示する情報を移動体1に出力する。プロセッサ13bは、挙動決定処理として、周辺映像から検出した他の移動体4の第1の状態に基づき、移動体1の第1の挙動を決定し、決定した第1の挙動を指示する情報を通信インタフェース12を介して移動体1に出力する。プロセッサ13bは、移動体1による第1の挙動後の周辺映像から検出した他の移動体4の第2の状態に基づき、第1の挙動に対する他の移動体4の有意な反応が得られない場合、移動体1の第2の挙動を決定する。
As described above, in the present embodiment, the
移動体1の第1の挙動に対する他の移動体4の有意な反応が得られない場合に、第2の挙動を移動体1に行わせることで、他の移動体4の反応を促し、他の移動体4の運転者の意図をより正確に検出することができるようになる。その結果、移動体1と他の移動体4との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体1による交通の利便性の向上を図ることができる。
When a significant reaction of the other moving
(第3の実施形態)
図7は、本開示の第3の実施形態に係る画像処理装置10cの要部構成例を示す図である。本実施形態に係る画像処理装置10cは、図7に示すように、バス、タクシーなどの旅客を運搬する移動体1に搭載される。ここで、移動体1は、自動運転機能を備える。画像処理装置10cは、移動体1の周辺の周辺映像から移動体1への搭乗候補者の状態を検出し、検出した搭乗候補者の状態に応じて、移動体1に実行させる挙動を決定するものである。(Third Embodiment)
FIG. 7 is a diagram showing a configuration example of a main part of the
図1に示す画像処理装置10cは、出力部としての通信インタフェース12と、プロセッサ13cと、記憶部14とを備える。すなわち、本実施形態に係る画像処理装置10cは、第1の実施形態に係る画像処理装置10aと比較して、プロセッサ13aをプロセッサ13cに変更した点が異なる。移動体1には、移動体1の周辺を撮像した周辺映像を取得する、入力部としての撮像部11が搭載されている。画像処理装置10cと、撮像部11とは、移動体1に搭載された撮像装置1Aを構成する。
The
プロセッサ13cは、例えば、DSPなどの専用のプロセッサ、または、CPUなどの汎用プロセッサを含む。プロセッサ13cは、画像処理装置10c全体の動作を制御する。例えば、プロセッサ13cは、撮像部11が取得した周辺映像から移動体1への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体1の挙動を決定する。プロセッサ13cは、搭乗候補者の動きの方向、搭乗候補者の顔または視線の方向、および、搭乗候補者の手または足の動きのうち、少なくとも1つに基づき、搭乗候補者の状態を検出する。
The
また、プロセッサ13cは、通信インタフェース12を介して移動体1の各種制御系にアクセスし、移動体1の挙動を検出する。プロセッサ13cは、移動体1の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示および現状維持などを検出する。プロセッサ13cは、例えば、移動体1の走行を制御する制御系にアクセスし、前進、後退、停止、減速および進路変更などの挙動を検出する。また、プロセッサ13cは、移動体1のライトおよびウィンカの点滅、クラクションの鳴動などを制御する制御系にアクセスし、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動および外部表示などの挙動を検出する。
Further, the
プロセッサ13cは、撮像部11が取得した周辺映像から移動体1への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体1の第1の挙動を決定する。プロセッサ13cは、決定した第1の挙動を指示する情報を通信インタフェース12を介して移動体1の制御系に出力する。プロセッサ13cは、移動体1による第1の挙動後に、撮像部11が取得した周辺映像から検出した搭乗候補者の状態に基づき、移動体1の第2の挙動を決定する。
The
次に、画像処理装置10cの動作について説明する。
Next, the operation of the
旅客を運搬する移動体1に全自動運転機能が搭載された場合、移動体1は、停留所に立つ人、移動体1の走行路の道端に立つ人などを搭乗候補者として認識し、搭乗候補者が乗車できるように停止することが考えられる。しかしながら、このような搭乗候補者が必ずしも移動体1に搭乗するとは限らない。この場合、移動体1は、停留所に立つ人、移動体1の走行路の道端に立つ人などを搭乗候補者として認識し続け、停止したままとなる可能性がある。このようにして、移動体1と、搭乗候補者との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。 When the mobile body 1 that carries passengers is equipped with a fully automatic driving function, the mobile body 1 recognizes a person standing at a bus stop, a person standing on the roadside of the moving body 1 as a boarding candidate, and the like, and is a boarding candidate. It is conceivable to stop so that people can board. However, such boarding candidates do not always board the mobile body 1. In this case, the moving body 1 may continue to recognize a person standing at the bus stop, a person standing on the roadside of the traveling path of the moving body 1 as a boarding candidate, and may remain stopped. In this way, a stalemate may occur between the moving body 1 and the boarding candidate, which may hinder smooth traffic.
一方、本実施形態においては、画像処理装置10cは、上述したようなこう着状態が発生し得る状況において、移動体1による第1の挙動後に、搭乗候補者に対してさらなるアクションを行うことで、搭乗候補者のリアクションを取得して、搭乗候補者の意図をより正確に検出する。すなわち、本実施形態においては、移動体1と搭乗候補者とがあたかも会話を行うにようにして、搭乗候補者の意図が検出される。こうすることで、こう着状態が発生する蓋然性が低減され、交通の円滑化が図られるので、移動体1による交通の利便性の向上を図ることができる。
On the other hand, in the present embodiment, the
図8は、画像処理装置10cの動作の一例を示すフローチャートであ、画像処理装置10cが実行する画像処理方法について説明するための図である。図8においては、移動体1がタクシーである場合を例として説明する。
FIG. 8 is a flowchart showing an example of the operation of the
ステップS51:プロセッサ13cは、移動体1の走行中、撮像部11が取得した周辺映像から、搭乗候補者の有無を判定する。ここで、プロセッサ13cは、例えば、移動体1の走行路の道端に立つ人を搭乗候補者として検出する。
Step S51: The
ステップS52:搭乗候補者がいないと判定した場合には(ステップS51:No)、プロセッサ13cは、移動体1をそのまま前進させる。すなわち、プロセッサ13cは、移動体1の走行を継続させる。
Step S52: When it is determined that there is no boarding candidate (step S51: No), the
ステップS53:搭乗候補者がいると判定した場合には(ステップS51:Yes)、プロセッサ13cは、撮像部11が取得した周辺映像から搭乗候補者のジェスチャ認識を行う。
Step S53: When it is determined that there is a boarding candidate (step S51: Yes), the
ステップS54:プロセッサ13cは、搭乗候補者のジェスチャ認識の結果から、搭乗候補者が、タクシーに乗車するための乗車行動を行ったか否かを判定する。タクシーに乗車するための乗車行動としては、例えば、搭乗候補者が、手を上げるといった行動、移動体1に視線を向けているといった行動などがある。ただし、搭乗候補者が、これらの行動を行ったとしても、必ずしも移動体1に乗車する意図があるとは限らない。
Step S54: The
ステップS55:搭乗候補者が乗車行動を行ったと判定した場合には(ステップS54:Yes)、プロセッサ13cは、移動体1の第1の挙動として、例えば、「減速」、「パッシング」、「クラクション鳴動」または「ウィンカ点滅」などを決定する。そして、プロセッサ13cは、決定した挙動を指示する情報を、通信インタフェース12を介して移動体1に出力する。
Step S55: When it is determined that the boarding candidate has performed the boarding action (step S54: Yes), the
ステップS56:プロセッサ13cは、ステップS55で決定した、移動体1による第1の挙動後に撮像部11が取得した周辺映像から、搭乗候補者が自車両、すなわち、移動体1に近づいてきたか否かを判定する。乗車行動を行った搭乗者候補が移動体1に近づいてくる場合には、搭乗者候補が移動体1に乗車する意図がある可能性が高い。したがって、第1の挙動後に、搭乗候補者が移動体1に近づいてきたか否かを判定することにより、乗車行動の有無だけにより判定する場合と比べて、より高精度に、搭乗候補者の移動体1への乗車の意図の有無を検出することができる。 Step S56: Whether or not the boarding candidate has approached the own vehicle, that is, the moving body 1 from the peripheral image acquired by the imaging unit 11 after the first behavior by the moving body 1 determined in step S55. To judge. When the passenger candidate who has performed the boarding action approaches the moving body 1, it is highly possible that the passenger candidate intends to board the moving body 1. Therefore, by determining whether or not the boarding candidate has approached the moving object 1 after the first behavior, the movement of the boarding candidate is more accurate than in the case of determining only by the presence or absence of the boarding action. It is possible to detect whether or not there is an intention to board the body 1.
搭乗候補者が移動体1に近づいてきていないと判定した場合には(ステップS56:No)、プロセッサ13cは、搭乗候補者が移動体1に乗車する意図は無いと判定し、ステップS52の処理に進んで、移動体1をそのまま前進させる。プロセッサ13cは、搭乗候補者が移動体1に近づいてきていないと判定した場合、ステップS55の処理に戻り、別の挙動を移動体1に行わせて、再び、搭乗候補者が移動体1に近づいてきたか否かを判定するようにしてもよい。この場合、プロセッサ13cは、移動体1の挙動と、搭乗候補者が移動体1に近づいてきたか否かの判定とを複数回繰り返しても依然として、搭乗候補者が移動体1に近づいてきていないと判定した場合、ステップS52の処理に進んでもよい。
When it is determined that the boarding candidate is not approaching the moving body 1 (step S56: No), the
移動体1の挙動と、搭乗候補者が移動体1に近づいてきたか否かの判定とを複数回繰り返す場合、プロセッサ13cは、「前進」、「後退」、「停止」、「減速」、「進路変更」、「照明点灯」、「パッシング」、「ウィンカ点滅」、「クラクション鳴動」、「外部表示」および「現状維持」などの複数の動作の中から、所定の優先順位に応じて、移動体1の挙動を決定してもよい。また、移動体1が音声出力機能を備える場合には、移動体1の挙動には、音声出力が含まれてもよい。また、移動体1が地面などへの投影機能を備える場合には、移動体1の挙動には、歩道などへのメッセージなどの所定の像の投影が含まれてもよい。
When the behavior of the moving body 1 and the determination of whether or not the boarding candidate has approached the moving body 1 are repeated a plurality of times, the
また、プロセッサ13cは、例えば、周辺環境などに基づく所定の優先順位に応じて、移動体1の挙動を決定してもよい。例えば、プロセッサ13cは、夜間は、「クラクション鳴動」といった騒音となり得る動作の優先順位を低くし、「照明点灯」、「パッシング」および「ウィンカ点滅」などの、騒音を生じさせない動作の優先順位を高く設定してもよい。また、プロセッサ13cは、搭乗候補者が気付く可能性などに応じたポイントを各動作に付与してもよい。この場合、プロセッサ13cは、例えば、1または複数回、単一の動作による挙動を搭乗候補者に提示しても有意な反応が得られなければ、単一の動作に付与されたポイントよりも、合計のポイントが高くなる複数の動作の組み合わせを、移動体1の挙動として決定してもよい。
Further, the
搭乗候補者が移動体1に近づいてきたと判定した場合には(ステップS56:Yes)、プロセッサ13cは、搭乗候補者が移動体1に乗車する意図があると判定する。
When it is determined that the boarding candidate is approaching the moving body 1 (step S56: Yes), the
ステップS57:プロセッサ13cは、搭乗候補者が移動体1に乗車する意図があると判定すると、搭乗候補者を乗車させるために、移動体1の挙動として、「停止」を決定する。そして、プロセッサ13cは、「停止」を指示する情報を、通信インタフェース12を介して移動体1に出力する。
Step S57: When the
このように、プロセッサ13cは、周辺映像から検出した搭乗候補者の状態、例えば、乗車行動を行っている状態に基づき、移動体1の第1の挙動として、「減速」、「パッシング」、「クラクション鳴動」および「ウィンカ点滅」などの挙動を決定する。プロセッサ13cは、決定した第1の挙動を指示する情報を、通信インタフェース12を介して移動体1に出力する。そして、プロセッサ13cは、移動体1による第1の挙動後に、撮像部11が取得した周辺映像から検出した搭乗候補者の状態、すなわち、搭乗候補者が移動体1に近づいてきたか否かにより、停止あるいは走行継続という、移動体1の第2の挙動を決定する。
As described above, the
ステップS58:プロセッサ13cは、移動体1の停止後、搭乗候補者が移動体1に乗車できるように、移動体1のドアを開放させる。
Step S58: After the moving body 1 is stopped, the
ステップS59:プロセッサ13cは、ドアの開放後、搭乗候補者の移動体1への乗車が完了したか否かを判定する。
Step S59: After opening the door, the
搭乗候補者の移動体1への乗車が完了していないと判定した場合には(ステップS59:No)、プロセッサ13cは、ステップS59の処理を繰り返す。
When it is determined that the boarding candidate has not completed boarding the moving body 1 (step S59: No), the
ステップS60:搭乗候補者の移動体1への乗車が完了したと判定した場合には(ステップS59:Yes)、プロセッサ13cは、移動体1のドアを閉止させる。
Step S60: When it is determined that the boarding candidate has completed boarding the mobile body 1 (step S59: Yes), the
ステップS61:プロセッサ13cは、移動体1のドアの閉止後、移動体1の発車を周囲に示すために、移動体1のウィンカを点滅させる。その後、プロセッサ13cは、ステップS52の処理に進み、移動体1を前進させる。
Step S61: After closing the door of the moving body 1, the
ステップS62:搭乗候補者が乗車行動を行っていないと判定した場合には(ステップS54:No)、プロセッサ13cは、周辺映像に基づき、搭乗候補者までの距離が所定距離以上であるか否かを判定する。ここで、所定距離とは、移動体1が安全に停止することができる距離である。
Step S62: When it is determined that the boarding candidate is not performing the boarding action (step S54: No), the
搭乗候補者までの距離が所定距離以上であると判定した場合には(ステップS62:Yes)、プロセッサ13cは、ステップS53の処理に戻る。ステップS54において、搭乗候補者がタクシーに乗車するための乗車行動を行っていないと判定された後に、搭乗候補者が、乗車行動を行うこともある。そこで、移動体1と搭乗候補者との距離が所定距離以上である場合は、ステップS53およびステップS54の処理を繰り返すことで、搭乗候補者の乗車の意図を繰り返し確認することができる。
If it is determined that the distance to the boarding candidate is equal to or greater than a predetermined distance (step S62: Yes), the
搭乗候補者までの距離が所定距離以上でないと判定した場合には(ステップS62:No)、プロセッサ13cは、ステップS52の処理に進む。
If it is determined that the distance to the boarding candidate is not greater than or equal to the predetermined distance (step S62: No), the
表4は、上述した動作をまとめたものである。 Table 4 summarizes the above-mentioned operations.
表4に示すように、プロセッサ13cは、移動体1の走行路の道端などにいる搭乗候補者の状態として、手を挙げている、視線が移動体1を向いているなどの状態を検出すると、移動体1の挙動として、「減速」、「パッシング」、「クラクション鳴動」あるいは「ウィンカ点滅」を決定する。そして、プロセッサ13cは、移動体1による決定した挙動後に、搭乗候補者の状態として、移動体1に近づいてきたことを検出すると、移動体1の挙動として、搭乗候補者を乗車させるために、「停止」、「ドア開放」を決定する。また、プロセッサ13cは、搭乗候補者の状態として、移動体1に近づいてこないことを検出すると、移動体1の挙動として、「前進」を決定する。また、プロセッサ13cは、第1の挙動後に、移動体1を停車させ、その後、搭乗候補者が自車両、すなわち、移動体1に近づいてきたか否かを判定するようにしてもよい。
As shown in Table 4, when the
図8においては、搭乗候補者が乗車行動を行ったと判定した場合、ステップS55において、移動体1の第1の挙動として、「減速」、「パッシング」、「クラクション鳴動」および「ウィンカ点滅」などを決定する例を用いて説明したが、これに限られるものではない。プロセッサ13cは、例えば、ステップS55において、移動体1の第1の挙動として、移動体1を停止させる「停止」を決定してもよい。この場合、プロセッサ13cは、ステップS56において、搭乗候補者が移動体1に近づいてきたと判定した場合、ステップS58以降の処理に進む。また、プロセッサ13cは、ステップS56において、搭乗候補者が自車両に近づいてきていないと判定した場合には、ドアの閉止、ウィンカ点滅の後、移動体1を前進させる。
In FIG. 8, when it is determined that the boarding candidate has performed the boarding action, in step S55, as the first behavior of the moving body 1, "deceleration", "passing", "honking", "winker blinking", etc. Although the explanation was given using an example of determining the above, the present invention is not limited to this. For example, in step S55, the
次に、移動体1がバスである場合の、プロセッサ13cの動作の一例について、表5を参照して説明する。
Next, an example of the operation of the
プロセッサ13cは、停留所の付近に存在する人を搭乗候補者として検出する。プロセッサ13cは、搭乗候補者の状態として、停留所付近に立ち止っている、停留所に向かって走っているなどの状態を検出すると、移動体1の挙動として、例えば、「ウィンカ点滅」を決定する。そして、プロセッサ13cは、移動体1によるウィンカ点滅後に撮像部11が取得した周辺映像から、搭乗候補者の状態として、移動体1に近づいてきた、視線を移動体1に向けている、移動体1に向かって手を挙げているなどの状態を検出すると、搭乗候補者が移動体1に乗車する意図があると判定する。そして、プロセッサ13cは、移動体1の挙動として、搭乗候補者を乗車させるために、「停止」、「ドア開放」を決定する。また、プロセッサ13cは、移動体1によるウィンカ点滅後に撮像部11が取得した周辺映像から、搭乗候補者の状態として、移動体1に近づいてこないことを検出すると、移動体1の挙動として、「前進」を決定する。
The
搭乗候補者の状態が、停留所付近に立ち止っている、あるいは、停留所に向かって走っている状態であっても、その搭乗候補者が移動体1に乗車するとは限らない。そこで、プロセッサ13cは、第1の挙動として、移動体1のウィンカを点滅させ、その第1の挙動に対して、搭乗候補者が、移動体1に近づいてきた、視線を移動体1に向けた、移動体1に対して手を挙げたなどの反応を示した場合、搭乗候補者が移動体1に乗車する意図があると判定する。
Even if the boarding candidate is standing near the bus stop or running toward the bus stop, the boarding candidate does not necessarily board the moving object 1. Therefore, the
これまでは、プロセッサ13cが搭乗候補者の状態を検出し、検出した搭乗候補者の状態に基づき、移動体1の挙動を決定する例を用いて説明したが、これに限られるものではない。プロセッサ13cは、撮像部11が取得した周辺画像から、移動体1から降車した乗客の状態を検出し、検出した状態に基づき、移動体1の挙動を決定してもよい。例えば、プロセッサ13cは、移動体1から乗客の降車が完了し、移動体1から十分に離れたことなどを検出した後に、移動体1を発車させるなどしてもよい。こうすることで、乗降の際の安全性の確保を図ることができる。
So far, the description has been made by using an example in which the
このように本実施形態においては、画像処理装置10cは、通信インタフェース12と、プロセッサ13cとを備える。プロセッサ13cは、旅客の運搬を行う移動体1の周辺を撮像した周辺映像から移動体1への搭乗候補者の像を検出し、検出した搭乗候補者の状態に基づき、移動体1の挙動を決定する。通信インタフェース12は、プロセッサ13cにより決定された移動体1の挙動を指示する情報を移動体1に出力する。プロセッサ13cは、周辺映像から検出した搭乗候補者の状態に基づき、移動体1の第1の挙動を決定し、決定した移動体1の第1の挙動を指示する情報を通信インタフェース12を介して移動体1に出力する。プロセッサ13cは、移動体1による第1の挙動後の周辺映像から検出した搭乗候補者の状態に基づき、移動体1の第2の挙動を決定する。
As described above, in the present embodiment, the
移動体1による第1の挙動後の搭乗候補者の状態に基づき、移動体1の第2の挙動を決定することで、搭乗候補者の移動体1への乗車の意図の有無をより正確に検出することができるようになる。その結果、移動体1と搭乗候補者との間でこう着状態が発生する蓋然性を低減し、交通の円滑化が図られるので、移動体1による交通の利便性の向上を図ることができる。 By determining the second behavior of the moving body 1 based on the state of the boarding candidate after the first behavior by the moving body 1, the presence or absence of the intention of the boarding candidate to board the moving body 1 is more accurate. You will be able to detect it. As a result, the probability that a stalemate will occur between the moving body 1 and the boarding candidate is reduced, and the traffic is facilitated, so that the convenience of the traffic by the moving body 1 can be improved.
本開示の一実施形態を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本開示の範囲に含まれることに留意されたい。 Although one embodiment of the present disclosure has been described with reference to the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and modifications based on the present disclosure. It should be noted, therefore, that these modifications and modifications are within the scope of this disclosure.
1 移動体
1A 撮像装置
2 横断歩道
3 歩行者
4 他の移動体
10a,10b,10c 画像処理装置
11 撮像部(入力部)
12 通信インタフェース(出力部)
13a,13b,13c プロセッサ
14 記憶部1 Mobile 1A Imaging device 2 Pedestrian crossing 3
12 Communication interface (output section)
13a, 13b,
Claims (21)
前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
前記プロセッサは、前記周辺映像から検出した対象物の状態に基づき、前記移動体の第1の挙動を決定し、該決定した第1の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第1の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第2の挙動を決定する、画像処理装置。A processor that detects an image of an object from a peripheral image of the periphery of a moving object and determines the behavior of the moving object based on the detected state of the object.
It is provided with an output unit that outputs information indicating the behavior of the moving body determined by the processor to the moving body.
The processor determines the first behavior of the moving body based on the state of the object detected from the peripheral image, and transmits information indicating the determined first behavior to the moving body via the output unit. An image processing unit that outputs to and determines the second behavior of the moving body based on the state of the object detected from the peripheral image after the first behavior by the moving body.
前記プロセッサは、前記移動体による前記第1の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記第1の挙動に対する前記対象物の有意な反応が得られない場合、前記第2の挙動を決定する、画像処理装置。In the image processing apparatus according to claim 1,
When the processor does not obtain a significant reaction of the object to the first behavior based on the state of the object detected from the peripheral image after the first behavior by the moving body, the second. An image processor that determines the behavior of an image processor.
前記対象物は人であり、
前記プロセッサは、前記人の動きの方向、前記人の顔または視線の方向、および、前記人の手または足の動きのうち、少なくとも1つに基づき、前記人の状態を検出する、画像処理装置。In the image processing apparatus according to claim 1,
The object is a person
The processor is an image processing device that detects the state of the person based on at least one of the direction of the person's movement, the direction of the person's face or line of sight, and the movement of the person's hand or foot. ..
前記プロセッサは、前記第1の挙動および前記第2の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の少なくとも1つを決定する、画像処理装置。In the image processing apparatus according to any one of claims 1 to 3,
The processor, as the first behavior and the second behavior, forward, backward, stop, decelerate, change course, turn on lights, passing, blinker blinking, horn ringing, external display, status quo, audio output and predetermined. An image processor that determines at least one of the projections of an image.
前記プロセッサは、前記第1の挙動および前記第2の挙動を、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の中から、所定の優先順位に応じて決定する、画像処理装置。In the image processing apparatus according to any one of claims 1 to 4.
The processor performs the first behavior and the second behavior in forward, backward, stop, deceleration, course change, lighting, passing, blinker blinking, horn ringing, external display, status quo, audio output and predetermined. An image processing unit that determines from the projection of an image according to a predetermined priority.
前記プロセッサは、前記第1の挙動および前記第2の挙動を、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の中から、周辺環境に基づく所定の優先順位に応じて決定する、画像処理装置。In the image processing apparatus according to claim 5,
The processor performs the first behavior and the second behavior in forward, backward, stop, deceleration, course change, lighting, passing, blinker blinking, horn ringing, external display, status quo, audio output and predetermined. An image processor that determines from the projection of an image according to a predetermined priority based on the surrounding environment.
前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
前記プロセッサは、前記挙動決定処理として、前記周辺映像から検出した他の移動体の第1の状態に基づき、前記移動体の第1の挙動を決定し、該決定した第1の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第1の挙動後の周辺映像から検出した前記他の移動体の第2の状態に基づき、前記第1の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第2の挙動を決定する、画像処理装置。A processor that detects an image of another moving body from a peripheral image of the periphery of the moving body and performs a behavior determination process that determines the behavior of the moving body based on the detected state of the other moving body.
It is provided with an output unit that outputs information indicating the behavior of the moving body determined by the processor to the moving body.
As the behavior determining process, the processor determines the first behavior of the moving body based on the first state of the other moving body detected from the peripheral image, and instructs the determined first behavior. Information is output to the moving body via the output unit, and with respect to the first behavior based on the second state of the other moving body detected from the peripheral image after the first behavior by the moving body. An image processing apparatus that determines a second behavior of the moving body when a significant reaction of the other moving body is not obtained.
前記第1の挙動および前記第2の挙動は、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の少なくとも1つであり、
前記プロセッサは、前記第1の状態および前記第2の状態として、前記他の移動体の前進、後退、停止、減速、操舵方向、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持の少なくとも1つを検出する、画像処理装置。In the image processing apparatus according to claim 7,
The first behavior and the second behavior are forward, backward, stop, deceleration, diversion, lighting, passing, blinker blinking, horn ringing, external display, status quo, audio output and projection of a predetermined image. At least one
In the first state and the second state, the processor advances, reverses, stops, decelerates, steers, changes course, lights up, passes, blinks blinkers, honks, and externally displays the other moving body. An image processor that detects at least one of the status quo.
前記プロセッサは、前記移動体の進路を予測するとともに、前記第1の状態に基づき前記他の移動体の進路を予測し、前記移動体と前記他の移動体との衝突が予測される場合、前記第2の状態が、前進または現状維持であれば、前記衝突の予測が解消されるまで、前記第2の挙動として、停止または減速を決定し、前記第2の状態が停止、減速および進路変更のいずれかであれば、前記第2の挙動として、前進またはパッシングを決定する、画像処理装置。In the image processing apparatus according to claim 7 or 8.
When the processor predicts the course of the moving body and predicts the course of the other moving body based on the first state, and a collision between the moving body and the other moving body is predicted. If the second state is forward or maintenance of the status quo, the second behavior is to determine stop or deceleration as the second behavior until the prediction of the collision is resolved, and the second state is stop, deceleration and course. An image processing apparatus that determines forward or passing as the second behavior, if any of the changes.
前記プロセッサは、前記移動体による交差点の右折時に、前記他の移動体の状態として、対向車線を走行する他の移動体の停止を検出した場合、前記挙動決定処理を行う、画像処理装置。In the image processing apparatus according to claim 7 or 8.
An image processing device that performs the behavior determination process when the processor detects a stop of another moving body traveling in an oncoming lane as a state of the other moving body when the moving body makes a right turn at an intersection.
前記プロセッサは、前記移動体による第1の車線から第2の車線への合流時に、前記他の移動体の状態として、前記移動体よりも後方であって、前記第2の車線を走行する前記他の移動体による、車速が所定値以上変化しない等速走行を検出した場合、前記挙動決定処理を行う、画像処理装置。In the image processing apparatus according to claim 7 or 8.
When the moving body merges from the first lane to the second lane, the processor travels in the second lane behind the moving body as the state of the other moving body. An image processing device that performs the behavior determination process when it detects constant-speed traveling by another moving body in which the vehicle speed does not change by a predetermined value or more.
前記プロセッサは、前記移動体による走行時に、前記他の移動体の状態として、前記移動体の走行路上において、前記移動体の進行方向に存在する前記他の移動体の停止を検出した場合、前記挙動決定処理を行う、画像処理装置。In the image processing apparatus according to claim 7 or 8.
When the processor detects the stop of the other moving body existing in the traveling direction of the moving body on the traveling path of the moving body as the state of the other moving body when traveling by the moving body, the processor An image processing device that performs behavior determination processing.
前記プロセッサにより決定された前記移動体の挙動を指示する情報を前記移動体に出力する出力部と、を備え、
前記プロセッサは、前記周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第1の挙動を決定し、該決定した移動体の第1の挙動を指示する情報を前記出力部を介して前記移動体に出力し、前記移動体による前記第1の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第2の挙動を決定する、画像処理装置。A processor that detects an image of a boarding candidate on the moving body from a peripheral image of the surroundings of the moving body carrying a passenger and determines the behavior of the moving body based on the detected state of the boarding candidate. ,
It is provided with an output unit that outputs information indicating the behavior of the moving body determined by the processor to the moving body.
The processor determines the first behavior of the moving body based on the state of the boarding candidate detected from the peripheral image, and outputs information indicating the first behavior of the determined moving body to the output unit. An image processing device that outputs to the moving body via the moving body and determines the second behavior of the moving body based on the state of the boarding candidate detected from the peripheral image after the first behavior by the moving body.
前記プロセッサは、前記搭乗候補者の動きの方向、前記搭乗候補者の顔または視線の方向、および、前記搭乗候補者の手または足の動きのうち、少なくとも1つに基づき、前記搭乗候補者の状態を検出する、画像処理装置。In the image processing apparatus according to claim 13,
The processor of the boarding candidate is based on at least one of the direction of movement of the boarding candidate, the direction of the face or line of sight of the boarding candidate, and the movement of the hand or foot of the boarding candidate. An image processor that detects the state.
前記プロセッサは、前記第1の挙動および前記第2の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の少なくとも1つを決定する、画像処理装置。In the image processing apparatus according to claim 13 or 14.
The processor, as the first behavior and the second behavior, forward, backward, stop, decelerate, change course, turn on lights, passing, blinker blinking, horn ringing, external display, status quo, audio output and predetermined. An image processor that determines at least one of the projections of an image.
前記プロセッサは、前記第1の挙動および前記第2の挙動を、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の中から、所定の優先順位に応じて決定する、画像処理装置。In the image processing apparatus according to any one of claims 13 to 15.
The processor performs the first behavior and the second behavior in forward, backward, stop, deceleration, course change, lighting, passing, blinker blinking, horn ringing, external display, status quo, audio output and predetermined. An image processing unit that determines from the projection of an image according to a predetermined priority.
前記周辺映像を取得する入力部と、を備える撮像装置。The image processing apparatus according to any one of claims 1 to 16.
An imaging device including an input unit for acquiring the peripheral image.
移動体の周辺を撮像した周辺映像から対象物の像を検出し、該検出した対象物の状態に基づき、前記移動体の第1の挙動を決定するステップと、
前記決定した第1の挙動を指示する情報を前記移動体に出力するステップと、
前記移動体による前記第1の挙動後の周辺映像から検出した前記対象物の状態に基づき、前記移動体の第2の挙動を決定するステップと、を含む画像処理方法。An image processing method executed by an image processing device.
A step of detecting an image of an object from a peripheral image of the periphery of the moving object and determining the first behavior of the moving object based on the detected state of the object.
A step of outputting information indicating the determined first behavior to the moving body, and
An image processing method including a step of determining a second behavior of the moving body based on a state of the object detected from a peripheral image after the first behavior of the moving body.
移動体の周辺を撮像した周辺映像から他の移動体の像を検出し、該検出した他の移動体の第1の状態に基づき、前記移動体の第1の挙動を決定するステップと、
前記決定した第1の挙動を指示する情報を前記移動体に出力するステップと、
前記移動体による前記第1の挙動後の周辺映像から検出した前記他の移動体の第2の状態に基づき、前記第1の挙動に対する前記他の移動体の有意な反応が得られない場合、前記移動体の第2の挙動を決定するステップと、を含む画像処理方法。An image processing method executed by an image processing device.
A step of detecting an image of another moving body from a peripheral image of the periphery of the moving body and determining a first behavior of the moving body based on the first state of the detected other moving body.
A step of outputting information indicating the determined first behavior to the moving body, and
When a significant reaction of the other moving body to the first behavior cannot be obtained based on the second state of the other moving body detected from the peripheral image after the first behavior of the moving body. An image processing method comprising a step of determining a second behavior of the moving body.
旅客の運搬を行う移動体の周辺を撮像した周辺映像から前記移動体への搭乗候補者の像を検出し、該検出した搭乗候補者の状態に基づき、前記移動体の第1の挙動を決定するステップと、
前記決定した第1の挙動を指示する情報を前記移動体に出力するステップと、
前記移動体による前記第1の挙動後の周辺映像から検出した前記搭乗候補者の状態に基づき、前記移動体の第2の挙動を決定するステップと、を含む画像処理方法。An image processing method executed by an image processing device.
The image of the boarding candidate on the moving body is detected from the peripheral image of the periphery of the moving body carrying the passenger, and the first behavior of the moving body is determined based on the detected state of the boarding candidate. Steps to do and
A step of outputting information indicating the determined first behavior to the moving body, and
An image processing method including a step of determining a second behavior of the moving body based on a state of the boarding candidate detected from a peripheral image after the first behavior of the moving body.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022007449A JP2022064929A (en) | 2018-01-29 | 2022-01-20 | Image processing apparatus and movable body |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018012872 | 2018-01-29 | ||
JP2018012877 | 2018-01-29 | ||
JP2018012902 | 2018-01-29 | ||
JP2018012872 | 2018-01-29 | ||
JP2018012902 | 2018-01-29 | ||
JP2018012877 | 2018-01-29 | ||
PCT/JP2019/000076 WO2019146385A1 (en) | 2018-01-29 | 2019-01-07 | Image processing device, imaging device, moving body, and image processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022007449A Division JP2022064929A (en) | 2018-01-29 | 2022-01-20 | Image processing apparatus and movable body |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019146385A1 true JPWO2019146385A1 (en) | 2021-01-28 |
JP7014822B2 JP7014822B2 (en) | 2022-02-01 |
Family
ID=67395920
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019567951A Active JP7014822B2 (en) | 2018-01-29 | 2019-01-07 | Image processing equipment, image pickup equipment, moving objects and image processing methods |
JP2022007449A Pending JP2022064929A (en) | 2018-01-29 | 2022-01-20 | Image processing apparatus and movable body |
JP2023060389A Active JP7489517B2 (en) | 2018-01-29 | 2023-04-03 | IMAGE PROCESSING APPARATUS, MOBILE OBJECT, PROGRAM, AND IMAGE PROCESSING METHOD |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022007449A Pending JP2022064929A (en) | 2018-01-29 | 2022-01-20 | Image processing apparatus and movable body |
JP2023060389A Active JP7489517B2 (en) | 2018-01-29 | 2023-04-03 | IMAGE PROCESSING APPARATUS, MOBILE OBJECT, PROGRAM, AND IMAGE PROCESSING METHOD |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200342757A1 (en) |
EP (1) | EP3748605A4 (en) |
JP (3) | JP7014822B2 (en) |
CN (2) | CN116342641A (en) |
WO (1) | WO2019146385A1 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7326041B2 (en) * | 2019-06-25 | 2023-08-15 | 京セラ株式会社 | Image processing device, imaging device, moving body, and image processing method |
JP7345123B2 (en) * | 2019-08-26 | 2023-09-15 | パナソニックIpマネジメント株式会社 | Information processing device, information processing method, and computer program |
JP7313465B2 (en) * | 2019-10-29 | 2023-07-24 | 三菱電機株式会社 | Driving support device and driving support method |
JP7145178B2 (en) * | 2020-02-21 | 2022-09-30 | 本田技研工業株式会社 | Travel control device, travel control method and program |
US11290856B2 (en) | 2020-03-31 | 2022-03-29 | Toyota Motor North America, Inc. | Establishing connections in transports |
CN115384545A (en) * | 2021-05-25 | 2022-11-25 | 华为技术有限公司 | Control method and device |
EP4201744A1 (en) | 2021-12-22 | 2023-06-28 | Volkswagen Aktiengesellschaft | Method and system for controlling light emission of a vehicle lamp |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57106099U (en) * | 1980-05-15 | 1982-06-30 | ||
JPS57174800A (en) * | 1981-04-22 | 1982-10-27 | Takeshi Irisawa | Getting-on signal |
JP2005332297A (en) * | 2004-05-21 | 2005-12-02 | Fujitsu Ten Ltd | Driver's intention reporting device |
WO2006070865A1 (en) * | 2004-12-28 | 2006-07-06 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Vehicle motion control device |
JP3132300U (en) * | 2007-03-08 | 2007-06-07 | 株式会社イー・エス・ピー | Alarm generator and sound generator |
JP2010003163A (en) * | 2008-06-20 | 2010-01-07 | Toyota Motor Corp | System for creating road environment database , moving object constituting the same, and method of creating road environment database |
JP2010072836A (en) * | 2008-09-17 | 2010-04-02 | Toyota Motor Corp | Peripheral monitoring device |
JP2016031660A (en) * | 2014-07-29 | 2016-03-07 | クラリオン株式会社 | Vehicle control device |
WO2017134876A1 (en) * | 2016-02-05 | 2017-08-10 | 日立マクセル株式会社 | Head-up display device and display control method therefor |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008243065A (en) | 2007-03-28 | 2008-10-09 | Fujitsu Ten Ltd | Driving support device and method |
EP2119617A1 (en) * | 2008-05-12 | 2009-11-18 | IVECO S.p.A. | Vehicle driving aid system for lane changing assistance |
JP2010066810A (en) | 2008-09-08 | 2010-03-25 | Mazda Motor Corp | Pedestrian detecting apparatus for vehicle |
US8509982B2 (en) * | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
CN101992782A (en) * | 2010-12-02 | 2011-03-30 | 张婧 | Urban unmanned electronic railcar taxi traffic system |
US20130325563A1 (en) * | 2012-06-01 | 2013-12-05 | Tai Cheung Poon | Systems and methods for maximizing profits and opportunities for taxi drivers |
JP2014106854A (en) * | 2012-11-29 | 2014-06-09 | Toyota Infotechnology Center Co Ltd | Automatic driving vehicle control apparatus and method |
US9475422B2 (en) * | 2014-05-22 | 2016-10-25 | Applied Invention, Llc | Communication between autonomous vehicle and external observers |
DE102014111023A1 (en) * | 2014-08-04 | 2016-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and device for controlling an automated vehicle |
KR102036050B1 (en) * | 2014-12-30 | 2019-10-24 | 주식회사 만도 | Apparatuses and Methods for line changing |
JP6361618B2 (en) * | 2015-09-15 | 2018-07-25 | トヨタ自動車株式会社 | Driving assistance device |
CN105629785A (en) * | 2015-12-30 | 2016-06-01 | 小米科技有限责任公司 | Intelligent automobile driving control method and apparatus |
US10479373B2 (en) * | 2016-01-06 | 2019-11-19 | GM Global Technology Operations LLC | Determining driver intention at traffic intersections for automotive crash avoidance |
US9902311B2 (en) * | 2016-02-22 | 2018-02-27 | Uber Technologies, Inc. | Lighting device for a vehicle |
US10077052B2 (en) * | 2016-03-31 | 2018-09-18 | Faraday&Future Inc. | State-based operation for autonomous vehicles |
-
2019
- 2019-01-07 WO PCT/JP2019/000076 patent/WO2019146385A1/en unknown
- 2019-01-07 JP JP2019567951A patent/JP7014822B2/en active Active
- 2019-01-07 CN CN202310309175.XA patent/CN116342641A/en active Pending
- 2019-01-07 US US16/958,774 patent/US20200342757A1/en not_active Abandoned
- 2019-01-07 CN CN201980007021.7A patent/CN111527533A/en active Pending
- 2019-01-07 EP EP19743462.4A patent/EP3748605A4/en active Pending
-
2022
- 2022-01-20 JP JP2022007449A patent/JP2022064929A/en active Pending
-
2023
- 2023-04-03 JP JP2023060389A patent/JP7489517B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57106099U (en) * | 1980-05-15 | 1982-06-30 | ||
JPS57174800A (en) * | 1981-04-22 | 1982-10-27 | Takeshi Irisawa | Getting-on signal |
JP2005332297A (en) * | 2004-05-21 | 2005-12-02 | Fujitsu Ten Ltd | Driver's intention reporting device |
WO2006070865A1 (en) * | 2004-12-28 | 2006-07-06 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Vehicle motion control device |
JP3132300U (en) * | 2007-03-08 | 2007-06-07 | 株式会社イー・エス・ピー | Alarm generator and sound generator |
JP2010003163A (en) * | 2008-06-20 | 2010-01-07 | Toyota Motor Corp | System for creating road environment database , moving object constituting the same, and method of creating road environment database |
JP2010072836A (en) * | 2008-09-17 | 2010-04-02 | Toyota Motor Corp | Peripheral monitoring device |
JP2016031660A (en) * | 2014-07-29 | 2016-03-07 | クラリオン株式会社 | Vehicle control device |
WO2017134876A1 (en) * | 2016-02-05 | 2017-08-10 | 日立マクセル株式会社 | Head-up display device and display control method therefor |
Also Published As
Publication number | Publication date |
---|---|
EP3748605A4 (en) | 2021-10-20 |
US20200342757A1 (en) | 2020-10-29 |
CN116342641A (en) | 2023-06-27 |
JP2022064929A (en) | 2022-04-26 |
EP3748605A1 (en) | 2020-12-09 |
CN111527533A (en) | 2020-08-11 |
JP7489517B2 (en) | 2024-05-23 |
JP2023082158A (en) | 2023-06-13 |
WO2019146385A1 (en) | 2019-08-01 |
JP7014822B2 (en) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7014822B2 (en) | Image processing equipment, image pickup equipment, moving objects and image processing methods | |
US11250708B2 (en) | Moving object control apparatus, moving object control method, and moving object | |
CN110281930B (en) | Vehicle control device, vehicle control method, and storage medium | |
US11142192B2 (en) | Imaging device, signal processing device, and vehicle control system | |
US9493163B2 (en) | Driving support apparatus for vehicle | |
JP2023052552A (en) | Automated driving control device and vehicle | |
US11180164B2 (en) | Vehicle control apparatus, vehicle, and control method | |
JP6651031B2 (en) | Vehicle door collision prevention device and vehicle door collision prevention method | |
CN109564734B (en) | Driving assistance device, driving assistance method, mobile body, and program | |
CN113246993B (en) | driving support system | |
CN111587206B (en) | Vehicle control device, vehicle having the same, and control method | |
JP2016218873A (en) | Vehicle-purposed pedestrian image acquisition device | |
JP2020194209A (en) | Control device, boarding/alighting facility, control method, and program | |
CN112849129A (en) | Method for parking an automatically driven vehicle | |
JP7474136B2 (en) | Control device, control method, and program | |
JP6913602B2 (en) | Information processing equipment and programs | |
CN111469845B (en) | Vehicle control system, vehicle control method, and medium | |
CN110281925B (en) | Travel control device, vehicle, and travel control method | |
JP7123840B2 (en) | VEHICLE CONTROL DEVICE, MONITORING SYSTEM, VEHICLE CONTROL METHOD, AND PROGRAM | |
CN115179863A (en) | Control device and control method for moving body, storage medium, and vehicle | |
JP7511727B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, MOBILE BODY, AND IM | |
CN114194186A (en) | Vehicle travel control device | |
JP7139632B2 (en) | AUTOMATIC DRIVING CONTROL ECU FOR VEHICLE AND AUTOMATIC DRIVING CONTROL METHOD | |
JP6888851B1 (en) | Self-driving car | |
CN116872977A (en) | Method and system for information interaction with a disadvantaged road user |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220120 |