WO2025220153A1 - 情報処理方法及び情報処理装置 - Google Patents
情報処理方法及び情報処理装置Info
- Publication number
- WO2025220153A1 WO2025220153A1 PCT/JP2024/015287 JP2024015287W WO2025220153A1 WO 2025220153 A1 WO2025220153 A1 WO 2025220153A1 JP 2024015287 W JP2024015287 W JP 2024015287W WO 2025220153 A1 WO2025220153 A1 WO 2025220153A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- user
- information processing
- specific object
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
Definitions
- the present invention relates to an information processing method and information processing device that executes control to automatically drive a vehicle along a route to a destination.
- JP2018-045397A proposes technology that recognizes movement instruction information from a guide instructing the vehicle on how to move from images captured by an onboard camera, creates a driving plan based on that movement instruction information, and automatically drives the vehicle in accordance with that driving plan.
- the above-mentioned conventional technology makes it possible to create a driving plan based on gesture instructions from a guide, and to automatically drive a vehicle in accordance with that driving plan.
- a user of a vehicle calls for the vehicle, it is conceivable that the vehicle will automatically drive to the user's location.
- the location where the vehicle stops may be inconvenient for the user.
- the door of the vehicle loading the luggage may not be in line with the user's position. In this case, the user would need to walk to the door where the luggage is loaded and open it, which could be cumbersome.
- the purpose of this invention is to stop a vehicle in an appropriate location depending on the user summoning the vehicle or the surrounding conditions.
- One aspect of the present invention is an information processing method that controls a vehicle to automatically travel along a route to a set destination.
- This information processing method includes a reception process that receives a movement instruction from a user located outside the vehicle, a detection process that detects a specific object within the user and at least a portion of the user's surroundings, and a setting process that sets the user's location as a destination and sets a stopping position at the destination based on the detection result of the specific object.
- FIG. 1 is a simplified diagram showing the positional relationship between a vehicle and a user.
- FIG. 2 is a simplified diagram showing the positional relationship between the vehicle and the user.
- FIG. 3 is a simplified diagram showing the user and his/her surroundings.
- FIG. 4 is a simplified diagram showing an example of a display screen.
- FIG. 5 is a block diagram showing an example of the system configuration of the information processing system.
- FIG. 6 is a diagram showing an example of the configuration of the stop position setting information DB.
- FIG. 7 is a diagram illustrating an example of the configuration of the determination result DB.
- FIG. 8 is a diagram showing the relationship between the stopping position of the vehicle and the position of the user.
- FIG. 9 is a diagram showing the relationship between the stopping position of the vehicle and the position of the user.
- FIG. 1 is a simplified diagram showing the positional relationship between a vehicle and a user.
- FIG. 2 is a simplified diagram showing the positional relationship between the vehicle and the user.
- FIG. 10 is a diagram showing the relationship between the stopping position of the vehicle and the position of the user.
- FIG. 11 is a diagram showing the relationship between the stopping position of the vehicle and the position of the user.
- FIG. 12 is a flowchart illustrating an example of a vehicle movement process.
- FIGS. 1 and 2 are simplified diagrams showing the positional relationship between a vehicle C1 and a user U1 who owns the vehicle C1.
- FIGS. 1 and 2 an example is shown in which the user U1 issues a movement instruction to automatically drive the vehicle C1 to the user U1's location. That is, an example is shown in which the user U1 calls the vehicle C1 to his or her own location.
- Figure 1 shows an example of a case where user U1 issues a movement instruction to vehicle C1 parked in parking space PS1 in parking lot P1.
- each parking space in parking lot P1 (including parking space PS1) is simplified and shown with thick lines.
- a temporary parking space for loading luggage is shown as luggage loading area LL1.
- Parking lot P1 may be, for example, a commercial facility such as a shopping center, or various public facilities.
- Figure 1 shows an example of an environment where there is an obstacle such as another vehicle between vehicle C1 and user U1, user U1 is in a position that is not visible from vehicle C1, and user U1's voice cannot reach vehicle C1. In this case, it is possible to issue a movement instruction to vehicle C1 using, for example, electronic device MC1.
- Figure 2 shows an example of a case where user U1 issues a movement instruction to vehicle C1 parked in a wide, open space M1.
- Figure 2 shows an example of an environment where there are no obstacles between vehicle C1 and user U1, user U1 is located in a position visible from vehicle C1, and user U1's voice can reach vehicle C1.
- a wide, open space M1 could be, for example, a large home garden or a vacant lot.
- user U1 issues a movement instruction to vehicle C1 in order to use it.
- user U1 may issue a movement instruction to vehicle C1, causing vehicle C1 to automatically travel to user U1's location.
- user U1 cannot call vehicle C1 by gesture or voice, so it is conceivable that user U1 would issue a movement instruction using electronic device MC1.
- user U1 in addition to issuing a movement instruction using electronic device MC1, user U1 may also issue a movement instruction to vehicle C1 by gesture or voice S1. In these cases, even if vehicle C1 is parked in front of user U1, it is conceivable that the parked location will be inconvenient for user U1.
- vehicle C1 is parked in an appropriate location depending on the situation of user U1 who issued the movement instruction to vehicle C1 or the surrounding situation.
- FIG. 3 is a simplified diagram showing a typical example of the user U1 calling the vehicle C1 and the situation around the user U1.
- Figures 3(A) and 3(D) show an example in which user U1 is carrying large luggage BG2 and BG3.
- Figure 3(B) shows an example in which other users U2 and U3 are riding in vehicle C1 with user U1.
- Figure 3(C) shows an example in which user U1 is holding baby U4.
- Figure 3(E) shows an example in which child users U5 and U6 are riding in vehicle C1 with user U1.
- Figure 3(F) shows an example in which user U1 is not carrying any luggage or other items and no other users are present.
- a movement instruction method for instructing a vehicle C1 to move automatically to a location where a user U1 is present will be described.
- the user U1 can issue a movement instruction using an electronic device MC1.
- This movement instruction method will be described in detail with reference to FIGS. 4 and 5.
- the electronic device MC1 is an electronic device such as a smartphone, a tablet terminal, or a key for the vehicle C1.
- a function for calling the vehicle C1 can be realized by downloading a specific application to the smartphone.
- An example configuration of the electronic device MC1 will be described in detail with reference to FIG. 5.
- user U1 can instruct vehicle C1 to move by making a specific gesture. For example, if user U1 is present in a position where user U1 is included in the imaging range of the vehicle C1's exterior image acquisition unit (sensors 210 (see Figure 5)), the movement of user U1 can be detected based on the captured image generated by the vehicle image acquisition unit. Therefore, it is possible to determine whether user U1 has made a specific gesture based on whether the movement of user U1 detected based on the captured image is a specific movement. If it is determined that a specific gesture has been made, it is determined that user U1 has instructed vehicle C1 to move.
- a specific gesture based on whether the movement of user U1 detected based on the captured image is a specific movement. If it is determined that a specific gesture has been made, it is determined that user U1 has instructed vehicle C1 to move.
- a specific gesture can be defined as an action in which one arm is raised and the hand is moved from front to back repeatedly, as shown in Figures 3(A) to 3(F).
- a specific gesture can be determined using publicly known image recognition technology. Note that if user U1 himself or herself can be identified, personal identification of the user who performed the specific gesture can be performed, and the movement instruction from user U1 can be determined on the condition that it is recognized that the user is user U1. It should be noted that user U1 can be personally identified using known personal identification technology, facial identification technology, etc.
- user U1 can instruct vehicle C1 to move by uttering a specific voice.
- a specific voice For example, if user U1 is located in a position where the user's voice can be detected by the vehicle C1's sound acquisition unit (sensors 210 (see FIG. 5)), the voice uttered by user U1 can be detected based on the voice information acquired by the sound acquisition unit. It can then be determined that user U1 has uttered a specific instruction message based on whether the voice uttered by user U1 detected based on the voice information is a specific voice (e.g., "Come pick me up here"). If it is determined that a specific instruction message has been uttered, it is determined that user U1 has instructed vehicle C1 to move.
- a specific instruction message e.g., "Come pick me up here”
- the specific instruction message can be determined using publicly known voice recognition technology. Furthermore, if user U1's voice can be identified, the movement instruction issued by user U1 may be determined on the conditions that the user's voice is identified, it is recognized as user U1, and user U1 has uttered a specific instruction message. Note that publicly known voice recognition technology, etc., can be used to identify the individual voice of user U1.
- movement instruction methods are merely examples, and other movement instruction methods may also be used.
- a specific gesture may be combined with a predetermined instruction message, or a specific gesture or predetermined instruction message may be issued after a movement instruction operation is performed using the electronic device MC1.
- Example of calling a vehicle using an electronic device 4 is a simplified diagram showing an example of a display screen 410 displayed on the display unit 407 of the electronic device MC1 when issuing a movement instruction for the vehicle C1 using the electronic device MC1.
- the movement instruction operation using the display screen 410 will be described in detail with reference to FIG.
- FIG. 5 is a block diagram showing an example of the system configuration of the information processing system 1 installed in the vehicle C1.
- the information processing system 1 includes an information processing device 100, sensors 210, and an actuator 220.
- the information processing device 100 is an example of a device capable of executing control to cause a vehicle C1 to automatically travel along a route to a set destination.
- the information processing device 100 and the electronic device MC1 are connected via a communication method using wireless communication.
- the information processing device 100 and the electronic device MC1 are connected to a network 20 via a communication method using wireless communication, and data is exchanged between the information processing device 100 and the electronic device MC1.
- the network 20 is a network such as a public line network or the Internet.
- the information processing device 100 and the electronic device MC1 may be directly connected using wireless communication (for example, Wi-Fi (Wireless Fidelity), Bluetooth (registered trademark)) without going through the network 20, and data may be exchanged between the information processing device 100 and the electronic device MC1.
- wireless communication for example, Wi-Fi (Wireless Fidelity), Bluetooth (registered trademark)
- the sensors 210 are various sensors installed in the vehicle C1, and output the detection information acquired by each sensor to the information processing device 100.
- the sensors acquire information, for example, from a vehicle operation unit (e.g., a steering wheel, accelerator pedal, brake pedal) and a vehicle signal acquisition unit (e.g., an acquisition unit that acquires each sensor value).
- vehicle operation unit e.g., a steering wheel, accelerator pedal, brake pedal
- vehicle signal acquisition unit e.g., an acquisition unit that acquires each sensor value.
- These sensors include, for example, LiDAR (Light Detection And Ranging), RADAR (Radio Detection And Ranging), Sonar, a sound acquisition unit, an interior image acquisition unit, an exterior image acquisition unit, a position information acquisition unit, a vehicle speed sensor, an acceleration sensor, a yaw rate sensor, a steering sensor, an accelerator position sensor, a brake pedal, a seating sensor, a seat belt sensor, etc.
- LiDAR, RADAR, Sonar, etc. are examples of sensors that detect the situation around the vehicle C1. Additionally, the vehicle speed sensor, acceleration sensor, yaw rate sensor, steering sensor, accelerator position sensor, brake pedal sensor, etc. are examples of sensors that detect information corresponding to the driving state of the vehicle C1. Note that these are only examples, and other sensors may be used. Also, only some of these sensors may be used.
- the location information acquisition unit acquires location information relating to the location where vehicle C1 is located. For example, it can be realized by a GNSS receiver that acquires location information using the GNSS (Global Navigation Satellite System).
- the location information includes data relating to the position, such as latitude, longitude, and altitude, at the time the GNSS signal is received.
- Location information may also be acquired using other methods of acquiring location information. For example, location information may be derived using information from nearby access points or base stations. Location information may also be acquired using beacons.
- the sound acquisition unit is provided inside and outside the vehicle C1, acquires sounds inside and outside the vehicle C1, and outputs sound information related to the acquired sounds to the information processing device 100.
- one or more microphones or sound acquisition sensors can be used as the sound acquisition unit.
- the interior image acquisition unit captures images of subjects inside the vehicle C1 to generate images (image data), and outputs image information related to the generated images (interior image) to the information processing device 100.
- the interior image acquisition unit is provided at least inside the vehicle C1 (e.g., the ceiling) and captures images of each part inside the vehicle C1 (including each seat, occupants, and luggage) to generate an interior image.
- the interior image acquisition unit is composed of, for example, one or more camera devices or image sensors capable of capturing images of the interior of the vehicle C1.
- one interior image acquisition unit may be provided at the front inside the vehicle C1 (e.g., the ceiling) and capture images of the interior of the vehicle C1 from the front to generate an interior image.
- another interior image acquisition unit may be provided at the rear inside the vehicle C1 and capture images of the interior of the vehicle C1 from the rear to generate an interior image.
- the outside-vehicle image acquisition unit captures images of subjects outside the vehicle C1 to generate images (image data), and outputs image information relating to the generated images (outside-vehicle images) to the information processing device 100.
- Two or more outside-vehicle image acquisition units may be provided, and all or some of the images from these outside-vehicle image acquisition units may be used.
- one outside-vehicle image acquisition unit may be provided in front of the vehicle C1 to capture images of subjects from in front of the vehicle C1 to generate outside-vehicle images
- another outside-vehicle image acquisition unit 104 may be provided behind the vehicle C1 to capture images of subjects behind the vehicle C1 to generate outside-vehicle images.
- the in-vehicle image acquisition unit and the outside-vehicle image acquisition unit are composed of, for example, an image sensor that receives light from a subject collected by a lens, and an image processing unit that performs predetermined image processing on the image data generated by the image sensor.
- an image sensor that receives light from a subject collected by a lens
- an image processing unit that performs predetermined image processing on the image data generated by the image sensor.
- a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) type image sensor can be used as the image sensor.
- one or more devices capable of acquiring subjects in all directions from the vehicle C1 and subjects inside the vehicle C1 such as a 360-degree camera, may be used as the in-vehicle image acquisition unit and the outside-vehicle image acquisition unit.
- the information processing device 100 comprises a signal input unit 110, a control unit 120, an output unit 130, a storage unit 140, and a communication unit 150.
- the communication unit 150 exchanges various types of information with other devices using wired or wireless communication under the control of the control unit 120. For example, when the communication unit 150 receives movement instruction information from the electronic device MC1 instructing the vehicle C1 to travel automatically, it outputs the movement instruction information to the control unit 120.
- the signal input unit 110 acquires the information (output values of each sensor) output from each of the sensors 210 and outputs this information to the control unit 120.
- the control unit 120 is a controller that controls each unit based on various programs stored in the memory unit 140.
- the control unit 120 is realized by a processing device such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
- the vehicle ECU (Electronic Control Unit) of the vehicle C1 may also be used as the control unit 120, or a processing device different from the vehicle ECU may be provided as the control unit 120.
- the control unit 120 performs various controls based on the information output from the sensors 210, communication unit 150, etc., and the information acquired from the memory unit 140. For example, the control unit 120 sets a destination for the vehicle C1 in response to a travel instruction from the user U1, and performs control processing to cause the vehicle C1 to automatically travel along a route to the destination.
- the control unit 120 includes a reception unit 121, a detection unit 122, a setting unit 123, a travel route generation unit 124, an operation control unit 125, and a determination unit 126.
- the reception unit 121 receives information output from the sensors 210, memory unit 140, communication unit 150, etc., and supplies the received information to each unit.
- the signal input unit 110 functions as a reception unit that receives input (e.g., instructions to move the vehicle C1) from a user U1 located outside the vehicle C1.
- the detection unit 122 detects objects inside and outside the vehicle C1, road surface conditions around the vehicle C1, etc. based on the information output from the reception unit 121, and outputs the detection results to the setting unit 123, driving path generation unit 124, operation control unit 125, and determination unit 126.
- the detection unit 122 executes a detection process to detect specific objects in at least part of the area around the user U1 who instructed the vehicle C1 to move, and the user U1, based on the exterior image acquired by the exterior image acquisition unit.
- This detection process can use, for example, known image recognition technology such as pattern matching, which compares the exterior image with a preset pattern image.
- the detection unit 122 performs a detection process to detect the user U1 who issued the instruction to move the vehicle C1 and a specific object in at least part of the area around the user U1, based on the movement instruction information transmitted from the electronic device MC1 acquired by the communication unit 150. This detection method will be described later.
- a specific object refers to a predetermined specific object among the objects (e.g., people, objects) that exist in user U1 and at least a portion of the area around user U1.
- Specific objects are, for example, luggage that user U1 is carrying, a baby that user U1 is holding, or other users (e.g., passengers) that exist around user U1.
- the detection unit 122 detects an object that exists in user U1 and at least a portion of the area around user U1, and if the object is luggage that is larger than a predetermined size, a person with a predetermined attribute (e.g., passenger, baby, child), etc., detects the object as a specific object.
- the detection unit 122 can detect other objects (e.g., obstacles) present around the vehicle C1 and the road surface conditions around the vehicle C1 (e.g., the position, size, shape, etc. of vacant parking spaces in parking lot P1) based on the location information acquired by the location information acquisition unit and the map information DB in the memory unit 140. Further, for example, the detection unit 122 can detect other objects (e.g., other vehicles, humans, animals such as dogs) present around the vehicle C1 based on sounds outside the vehicle acquired by the sound acquisition unit.
- objects e.g., obstacles
- the detection unit 122 can detect other objects (e.g., other vehicles, humans, animals such as dogs) present around the vehicle C1 based on sounds outside the vehicle acquired by the sound acquisition unit.
- the setting unit 123 sets the stopping position of the vehicle C1 instructed to move and the orientation of the vehicle C1 at that stopping position based on the specific object detected by the detection unit 122 and the stopping position setting information DB 160 in the memory unit 140. For example, if the detection unit 122 does not detect a specific object, the setting unit 123 sets the position where the front door is in front of the user U1 as the stopping position. On the other hand, for example, if the detection unit 122 detects a specific object, the setting unit 123 sets the stopping position and the door to be automatically opened based on the contents of the target position 162 and target door 163 (see Figure 6) corresponding to the detected specific object.
- the setting unit 123 may set the stopping position of the vehicle C1 instructed to move and the orientation of the vehicle C1 at that stopping position based on the specific object detected by the detection unit 122 and the determination result DB 170 in the memory unit 140. This example will be explained in detail with reference to Figure 12 etc.
- the orientation of the vehicle C1 at the stopping position is set appropriately depending on the location of the user U1. For example, as shown in FIG. 1, if the location where the vehicle C1 will stop (luggage loading area LL1) has been determined, the orientation of the vehicle C1 is set depending on that location. In the example shown in FIG. 1, the orientation of the vehicle C1 is set so that the passenger seat side faces the user U1. Also, for example, as shown in FIG. 2, if the location where the vehicle C1 will stop has not been determined, the orientation of the vehicle C1 is set based on a specific object detected by the detection unit 122. In the example shown in FIG. 2, the orientation of the vehicle C1 is set so that the back door side faces the user U1. Note that these setting methods are merely examples, and other settings may be used.
- the driving route generation unit 124 creates a driving plan for vehicle C1 to its destination based on the various information output from the reception unit 121, the detection results from the detection unit 122, and the map information DB. For example, the driving route generation unit 124 calculates a driving route from the current location of vehicle C1 to the destination based on the current location of vehicle C1 acquired by the position information acquisition unit, the destination set in response to a travel instruction from user U1, and the map information DB. Furthermore, for example, while driving, the driving route generation unit 124 can appropriately modify the driving route from the current location of vehicle C1 to the destination based on the stopping position of vehicle C1 set by the setting unit 123, the orientation of vehicle C1 at that stopping position, and the map information DB. Furthermore, the driving route generation unit 124 generates a driving route that includes the driving route driving speed, target driving acceleration, etc. as necessary.
- a map information DB For example, possible routes within a specified area such as parking lot P1 (see Figure 1) are stored in a map information DB. For example, various information such as the entrance and exit of parking lot P1, loading area LL1, and each parking space is stored in the map information DB. Therefore, the driving route generation unit 124 can generate a driving route from the current location of vehicle C1 in parking lot P1 to the destination (e.g., loading area LL1) using the various information stored in the map information DB. In this case, if the detection unit 122 detects white lines or lanes indicating parking spaces within parking lot P1, or arrows indicating the vehicle's direction of travel within parking lot P1, the driving route generation unit 124 can also use the detection results to modify the driving route. Various information regarding parking lot P1 may be obtained from the parking lot itself via the communication unit 150.
- the operation control unit 125 outputs a control signal to the actuator 220 to cause the vehicle C1 to drive. For example, when the vehicle C1 is to be driven automatically, the operation control unit 125 outputs a control signal to the actuator 220 to cause the vehicle C1 to drive automatically, based on the driving route generated by the driving route generation unit 124. Also, when the user U1 is to drive the vehicle manually, for example, the operation control unit 125 outputs a control signal to the actuator 220 to cause the vehicle C1 to be driven manually, based on information detected by the sensors 210 (e.g., accelerator pedal sensor, brake pedal sensor, etc.).
- the sensors 210 e.g., accelerator pedal sensor, brake pedal sensor, etc.
- the detection unit 122 sequentially detects obstacles, signs, etc. that exist around vehicle C1 based on the situation around vehicle C1 while it is traveling. If the detection unit 122 detects an obstacle, etc. in the direction of travel of vehicle C1, the operation control unit 125 controls the actuator 220 to avoid contact with the obstacle, etc. For example, it is possible to output a drive stop signal to the actuator 220 and forcibly stop vehicle C1.
- operation control unit 125 controls actuator 220 to stop vehicle C1 at that stopping position. Furthermore, if the orientation of vehicle C1 at the stopping position has been set by setting unit 123, operation control unit 125 controls actuator 220 to stop vehicle C1 in that orientation.
- the determination unit 126 determines whether the vehicle C1's stopping position, etc., is a position that is consistent with the user U1's intention, based on the relationship between the vehicle C1's stopping position set by the setting unit 123, the door set to open automatically, and the door into which the specific object detected by the detection unit 122 has been placed inside the vehicle C1.
- the determination unit 126 then stores the determination result in the determination result DB 170 of the storage unit 140.
- the determination process by the determination unit 126 will be described in detail with reference to Figures 7, 12, etc.
- Actuator 220 performs driving operations, including basic operations of vehicle C1, such as moving, turning, and stopping, based on control signals from control unit 120.
- actuator 220 includes a drive actuator that generates driving force, a braking actuator that generates braking force, and a steering actuator that generates steering force.
- the drive actuator is composed of, for example, a throttle actuator that controls the throttle opening.
- vehicle C1 is an electric vehicle or a hybrid vehicle
- the drive actuator is composed of, for example, a driving motor.
- the braking actuator is composed of, for example, hydraulic equipment that supplies hydraulic pressure to a brake disc.
- the steering actuator is composed of, for example, a steering motor that controls the steering torque of an electric power steering system. In this way, actuator 220 functions as an automatic driving unit that enables automatic driving of vehicle C1.
- the actuator 220 is capable of realizing the operation (e.g., opening and closing operation) of a component (e.g., a door) of the vehicle C1 based on a control signal from the control unit 120.
- the actuator 220 functions as a vehicle component moving unit for controlling the operation of the component of the vehicle C1.
- known control technology can be used to control the operation of the component (e.g., a door) of the vehicle C1.
- the memory unit 140 is a storage medium that stores various types of information.
- the memory unit 140 stores various types of information (e.g., control programs, parking position setting information DB 160, judgment result DB 170, map information DB) required by the control unit 120 to perform various processes.
- the memory unit 140 also stores various types of information acquired via the communication unit 150.
- the memory unit 140 can be, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), an SRAM (Static Random Access Memory), an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a combination of these.
- the stopping position setting information DB160 stores various information related to specific objects detected by the detection unit 122, the stopping position of the vehicle C1, the doors that open automatically after the vehicle C1 stops, and priority.
- the stopping position setting information DB160 will be described in detail with reference to Figure 6.
- the determination result DB170 stores various information (e.g., the determination results by the determination unit 126) when the vehicle C1 is moved by automatic driving based on a movement instruction from the user U1.
- the determination result DB170 will be described in detail with reference to Figure 7.
- the map information DB stores map information such as road information related to roads required for the automated driving of vehicle C1.
- This map information includes road information such as the location and shape of the road (for example, road gradient, road intersections, number of lanes, road width information, road undulation information, rough road conditions, speed limits, one-way streets, crosswalks, dividing lines, and road structures (for example, traffic lights and telephone poles)).
- the map information also includes information such as the location of various facilities and the shape of drivable areas within the facilities (for example, the location and shape of parking lot P1 (see Figure 1)). Note that instead of storing the map information DB in memory unit 140, necessary information from the map information DB may be obtained from outside vehicle C1 via communication unit 150 and used.
- the electronic device MC1 includes a communication unit 401, a control unit 402, a storage unit 403, an operation unit 404, a sound acquisition unit 405, a sound output unit 406, a display unit 407, and a location information acquisition unit 408.
- the electronic device MC1 may be an information processing device such as a smartphone or a tablet terminal, or may be a device related to the vehicle C1, such as a key for the vehicle C1 (capable of communicating with the vehicle C1 using a vehicle signal).
- the communication unit 401 exchanges various types of information with other devices using wired or wireless communication based on the control of the control unit 402.
- the control unit 402 controls each unit based on various programs stored in the storage unit 403.
- the control unit 402 is realized, for example, by a processing device such as a CPU.
- the storage unit 403 is a storage medium that stores various types of information.
- the storage unit 403 stores various types of information (e.g., control programs, movement instruction applications) required for the control unit 402 to perform various processes.
- the storage unit 403 also stores various types of information acquired via the communication unit 401.
- the storage unit 403 can be, for example, a ROM, RAM, SRAM, HDD, SSD, or a combination of these.
- the operation unit 404 accepts various operations from user U1 and outputs operation information relating to the accepted operations to the control unit 402.
- the sound acquisition unit 405 acquires sounds around the electronic device MC1 and outputs sound information related to the acquired sounds to the control unit 402.
- the sound acquisition unit can be, for example, one or more microphones or sound acquisition sensors.
- the sound output unit 406 outputs various types of audio information based on the control of the control unit 402. Note that the sound output unit 406 may be, for example, one or more speakers.
- the display unit 407 displays various images based on the control of the control unit 402.
- the display unit 407 may be, for example, a display panel such as an organic EL (Electro Luminescence) panel or an LCD (Liquid Crystal Display) panel.
- the operation unit 404 and display unit 407 may be configured as a touch panel that allows the user to input operations by touching or bringing their finger close to the display surface, or may be configured as a separate user interface.
- the separate user interface (operation unit 404) may be, for example, a physical operation member (for example, an operation button or an operation lever).
- the location information acquisition unit 408 acquires location information relating to the location where the electronic device MC1 is located, and outputs the acquired location information to the control unit 402.
- the location information acquisition unit 408 can be implemented by a GNSS receiver that acquires location information using GNSS.
- user U1 can display display screen 410 on display unit 407 and issue a movement instruction to vehicle C1 by selecting the vehicle call button 411 on display screen 410.
- user U1 can select the luggage selection area 412, baby selection area 413, or multiple passengers selection area 414 depending on the situation while waiting for vehicle C1, and then perform the selection operation of selecting the vehicle call button 411.
- the luggage selection area 412 is selected.
- the luggage selection area 412 is selected.
- Figures 3(B) and 3(E) if user U1 is waiting with other users U2, U3, U5, and U6, the multiple passengers selection area 414 is selected.
- the control unit 402 transmits to the vehicle C1 the location information of the electronic device MC1 acquired by the location information acquisition unit 408, and movement instruction information for automatically driving the vehicle C1 to the location corresponding to this location information. Note that when at least one of the luggage selection area 412, baby selection area 413, and multiple passengers selection area 414 is selected, the control unit 402 includes the user situation information corresponding to the selected area in the movement instruction information and transmits it to the vehicle C1.
- the driving route generation unit 124 of the information processing device 100 detects the position of user U1 based on the position information of electronic device MC1 included in the movement instruction information. The driving route generation unit 124 then generates a driving route from the position of vehicle C1 to the position of user U1. This driving route can be generated using a known route generation method.
- user U1 when calling vehicle C1 to his/her location, user U1 only needs to inform vehicle C1 of his/her situation, and does not need to inform vehicle C1 of the location where vehicle C1 will be parked.
- vehicle C1 may park with either the left or right side facing user U1. Therefore, user U1 may be able to select on the display screen 410 of electronic device MC1 whether vehicle C1 will park with either the left or right side facing user U1. For example, user U1 may be able to select whether to park vehicle C1 on the driver's seat side or the passenger seat side near user U1.
- the user U1 may also give a movement instruction to the electronic device MC1 by voice.
- the user U1 can give a movement instruction by uttering a specific voice to the electronic device MC1.
- the control unit 402 acquires the specific voice uttered by the user U1 from the sound acquisition unit 405 and can detect that the user U1 has issued a movement instruction based on the specific voice.
- control unit 402 detects a movement instruction from the user U1 based on the specific voice, it transmits to the vehicle C1 the location information of the electronic device MC1 acquired by the location information acquisition unit 408 and movement instruction information for automatically driving the vehicle C1 to the location corresponding to the location information.
- the control unit 402 detects a movement instruction from the user U1 based on the specific voice, it transmits to the vehicle C1 the location information of the electronic device MC1 acquired by the location information acquisition unit 408 and movement instruction information for automatically driving the vehicle C1 to the location corresponding to the location information.
- another specific voice e.g., "There is luggage,” “There is a baby,” “There are multiple passengers
- the driving route generation unit 124 can use a known route generation method to generate a driving route that avoids the obstacle between vehicle C1 and user U1.
- the driving route generation unit 124 can also appropriately modify the driving route based on outside-vehicle images (images of the surroundings of vehicle C1) acquired by vehicle C1's outside-vehicle image acquisition unit (sensors 210).
- FIG. 6 is a simplified diagram showing an example of the configuration of the stop position setting information DB 160 stored in the storage unit 140.
- the stopping position setting information DB160 is a database that stores the relationship between the specific object detected by the detection unit 122, the stopping position of the vehicle C1, and the door that opens automatically after the vehicle C1 stops. Specifically, the specific object 161, target position 162, target door 163, and priority 164 are associated and stored in the stopping position setting information DB160.
- Specific object 161 is information indicating a specific object to be detected by the detection unit 122 when user U1 issues an instruction to move vehicle C1. For example, a baby held by user U1, one or more users (passengers) waiting with user U1, and various types of luggage (e.g., small luggage, medium-sized luggage, large luggage) are detected as specific objects.
- a baby held by user U1 one or more users (passengers) waiting with user U1
- various types of luggage e.g., small luggage, medium-sized luggage, large luggage
- the target position 162 is information indicating the stopping position at which the vehicle C1 will be stopped when the detection unit 122 detects the specific object stored in the specific object 161. For example, if the detection unit 122 detects a baby, the stopping position of the vehicle C1 is set so that the seat where the baby seat is installed (e.g., the rear seat) is located directly in front of the user U1. The seat where the baby seat is installed can be determined based on an interior image acquired by the interior image acquisition unit (sensors 210 (see Figure 5)). Similarly, the status of each seat and trunk of the vehicle C1 (e.g., whether there is luggage) can be determined based on an interior image acquired by the interior image acquisition unit. For example, if luggage or the like is placed in any of the seats or trunk of the vehicle C1, the seats and trunk other than the position where the luggage or the like is placed can be set as the target position.
- the detection unit 122 detects a baby
- the stopping position of the vehicle C1 is set so that the seat where the baby seat is installed
- the target door 163 is information indicating the door that will automatically open after the vehicle C1 stops if the detection unit 122 detects a specific object stored in the specific object 161. For example, if the detection unit 122 detects a baby, the door near the seat where the baby seat is installed (e.g., the rear seat) is set as the door that will automatically open.
- Priority 164 is information indicating the priority used to set a specific object that should be prioritized when multiple specific objects are detected by detection unit 122. For example, if detection unit 122 detects a baby and a large piece of luggage, target position 162 and target door 163 are set based on the position of the baby, which has a higher priority.
- the priority 164 may be set manually by user U1, or the pre-set content may be modified as appropriate based on user U1's behavioral history.
- FIG. 7 is a simplified diagram showing an example of the configuration of the determination result DB 170 stored in the storage unit 140. As shown in FIG.
- the determination result DB170 is a database that stores various information when the vehicle C1 is moved by autonomous driving based on a movement instruction from the user U1. Specifically, the date and time 171, location information 172, specific object information 173, specific object identification information 174, boarding information 175, and user intention matching information 176 are associated and stored in the determination result DB170.
- Date and time 171 is information indicating the date and time when vehicle C1 was moved by automatic driving based on a movement instruction from user U1.
- date and time 171 stores information about the time when vehicle C1 stopped after being moved by automatic driving based on a movement instruction from user U1.
- Location information 172 is information relating to the location to which vehicle C1 has been moved by automatic driving based on a movement instruction from user U1. For example, location information relating to facilities, places, etc. identified based on the location information of vehicle C1 acquired by the location information acquisition unit (sensors 210 (see Figure 5)) and the map information DB stored in the memory unit 140 is stored in location information 172.
- Specific object information 173 is information indicating a specific object detected by detection unit 122 when a movement instruction is given by user U1. For example, specific information for identifying a specific object detected by detection unit 122 (see Figure 5) is stored in specific object information 173. Note that, for ease of explanation, Figure 7 shows an example in which the name of the specific object is stored in specific object information 173.
- Specific object identification information 174 is identification information for identifying a specific object whose specific object information is stored in specific object information 173. For example, when detection unit 122 detects a specific object using image recognition processing, image determination information used in that image recognition processing (e.g., pattern image, trained model) is stored in specific object identification information 174. Note that in Figure 7, for ease of explanation, a simplified shape of the specific object is shown schematically in specific object identification information 174.
- Entry information 175 is information indicating the door through which a specific object detected when a movement instruction is given from user U1 is put into vehicle C1 after vehicle C1 moves and stops in autonomous driving mode based on the movement instruction. For example, when a movement instruction is given for vehicle C1 at "ABC Shopping Center,” if a "bag” is detected by detection unit 122 and the bag is put into the passenger door, "the front door on the passenger side” is stored in entry information 175.
- the user intention matching information 176 is estimated information indicating whether the stopping position of the vehicle C1 after the vehicle C1 has automatically traveled and the orientation of the vehicle C1 at that stopping position match the intention of the user U1 when a movement instruction is given by the user U1.
- the result of the determination by the determination unit 126 is stored in the user intention matching information 176. The determination process by the determination unit 126 will be described in detail with reference to FIG. 12 etc.
- FIGS. 8 to 11 are simplified diagrams showing the relationship between the stopping position of the vehicle C1 after automatic driving in response to a movement instruction and the position of the user U1.
- Figure 8 shows an example in which vehicle C1 stops at a position where user U1 can load large luggage BG3 into the trunk of vehicle C1, and the back door BD1 opens automatically. That is, Figure 8 shows an example in which the detection unit 122 detects large luggage BG3 as a specific object, the setting unit 123 sets the stopping position so that the back door BD1 of vehicle C1 is positioned directly in front of user U1, and the back door BD1 is set to open automatically.
- vehicle C1 stops so that the back door BD1 of vehicle C1 is positioned in front of user U1, and the back door BD1 opens automatically, allowing user U1 to immediately load the large baggage BG3 they are carrying into the trunk without having to move.
- Figure 9 shows an example in which vehicle C1 is parked in a position where users U2 and U3 can sit in the rear seats of vehicle C1, and rear door RD1 is automatically opened. That is, Figure 9 shows an example in which users U2 and U3 are detected as specific objects by the detection unit 122, the setting unit 123 sets the parking position so that rear door RD1 of vehicle C1 is positioned directly in front of users U2 and U3, and the rear door RD1 is set to open automatically.
- vehicle C1 stops so that rear door RD1 of vehicle C1 is positioned in front of users U2 and U3, and rear door RD1 opens automatically, allowing users U2 and U3 to immediately get into the back seat without having to move.
- FIG. 10 shows an example in which vehicle C1 is parked in a position where baby U4 can sit in the rear seat of vehicle C1, and rear door RD1 opens automatically. That is, FIG. 10 shows an example in which detection unit 122 detects baby U4 as a specific object, setting unit 123 sets the parking position so that rear door RD1 of vehicle C1 is positioned directly in front of baby U4, and setting rear door RD1 to open automatically.
- detection unit 122 can detect the seating status of each seat and the installation status of a child seat in each seat based on interior vehicle images acquired by the interior vehicle image acquisition unit (sensors 210 (see FIG. 5)). Therefore, when detection unit 122 detects baby U4 as a specific object, setting unit 123 sets the position corresponding to the seat where the child seat is detected by detection unit 122 as the parking position, and sets the door corresponding to that position as the door to open.
- vehicle C1 stops so that rear door RD1 is positioned directly in front of user U1, and rear door RD1 opens automatically, allowing user U1 to immediately place baby U4 in the child seat in the back seat without having to move.
- Figure 11 shows an example in which vehicle C1 is parked in a position where user U1 can sit in the driver's seat of vehicle C1, and the front door FD1 is automatically opened. That is, Figure 11 shows an example in which, because the detection unit 122 did not detect a specific object, the setting unit 123 sets the parking position so that the front door FD1 of vehicle C1 is positioned directly in front of user U1, and the front door FD1 is set to open automatically.
- vehicle C1 stops so that the front door FD1 of vehicle C1 is positioned in front of user U1, and the front door FD1 opens automatically, allowing user U1 to immediately enter the driver's seat without having to move.
- Example of operation of information processing system 12 is a flowchart showing an example of a vehicle movement process in the information processing device 100.
- This vehicle movement process is executed by the control unit 120 (see FIG. 5) based on a program stored in the storage unit 140 (see FIG. 5).
- This vehicle movement process is executed for each control cycle. This vehicle movement process will be described with appropriate reference to FIGS. 1 to 11.
- step S501 the driving route generation unit 124 determines whether or not a movement instruction for vehicle C1 has been received. For example, if the detection unit 122 detects a specific gesture by user U1, if the detection unit 122 detects a specific calling voice by user U1, or if movement instruction information is received from electronic device MC1, it is determined that a movement instruction for vehicle C1 has been received. If a movement instruction for vehicle C1 has been received, the process proceeds to step S502. On the other hand, if a movement instruction for vehicle C1 has not been received, monitoring continues.
- the driving route generation unit 124 acquires the position of user U1, who issued the movement instruction for vehicle C1 received in step S501. For example, if the detection unit 122 detects a specific gesture by user U1, it is possible to acquire the position of user U1 based on an outside-vehicle image that includes user U1 from among the outside-vehicle images of the area around vehicle C1 acquired by the outside-vehicle image acquisition unit (sensors 210 (see Figure 5)). In this case, for example, it is possible to acquire the direction of user U1 relative to vehicle C1 based on the outside-vehicle image that includes user U1. Furthermore, for example, it is possible to acquire the distance from vehicle C1 to user U1 based on the size of user U1 in the outside-vehicle image. From these, it is possible to acquire the position of user U1.
- the detection unit 122 detects a specific calling voice from user U1, it is possible to acquire the position of user U1 based on the calling voice uttered by user U1 from the sounds around vehicle C1 acquired by the sound acquisition unit (sensors 210 (see Figure 5)). In this case, for example, it is possible to acquire the direction of user U1 relative to vehicle C1 based on the calling voice uttered by user U1. Also, for example, it is possible to acquire the distance from vehicle C1 to user U1 based on the volume of the calling voice uttered by user U1. In this way, it is possible to acquire the position of user U1. Note that the position of user U1 acquired based on a specific gesture or calling voice can be appropriately corrected based on images outside the vehicle acquired while vehicle C1 is automatically traveling along the driving route generated by driving route generation unit 124.
- movement instruction information when movement instruction information is received from electronic device MC1, it is possible to obtain the location of user U1 based on the location information of electronic device MC1 included in the movement instruction information.
- the driving route generation unit 124 generates a driving route to the position of user U1 acquired in step S502.
- the driving route generation unit 124 can generate a driving route from the current location of vehicle C1 to the position of user U1 based on the current location of vehicle C1 acquired by the position information acquisition unit, the position of user U1, and the map information DB. Furthermore, for example, if a road surface on which vehicle C1 can travel exists on the straight-line route connecting vehicle C1 and user U1 and no obstacles exist, the driving route generation unit 124 can generate this straight-line route as a driving route.
- the driving route generation unit 124 can select a route on which vehicle C1 can automatically travel from one or more routes to the position of user U1 that can be extracted based on the map information DB, and generate a driving route.
- These driving routes can be generated using known driving route generation technologies.
- step S504 the operation control unit 125 confirms that the driving route generated in step S503 is suitable for automatic driving, and then begins control to cause the vehicle C1 to drive automatically.
- the driving route generation unit 124 checks the objects present around the vehicle C1 detected by the detection unit 122 to determine whether or not there is an obstacle on the driving route of the vehicle C1. For example, as shown in FIG. 1, when the vehicle C1 is driven automatically in parking lot P1, there is a possibility that another vehicle will be detected as an obstacle. In this case, the driving route generation unit 124 generates a new driving route that bypasses the detected obstacle.
- the driving route generation unit 124 continues to sequentially check whether or not there is an obstacle on the driving route of the vehicle C1, and if an obstacle is detected, it sequentially generates a new driving route that bypasses the detected obstacle.
- the detection unit 122 executes a detection process to detect user U1, specific objects, etc. based on the exterior image acquired by the exterior image acquisition unit (sensors 210).
- This detection process detects the number of users, user attributes (e.g., gender, age, generation, appearance), and specific objects associated with the users (e.g., luggage). For example, if there are multiple users, the detection unit 122 can use personal identification technology to detect which of them is the driver. For example, if user U1 is the driver, the detection unit 122 can identify user U1 from among the multiple users and, based on this identification result, identify user U1 as the driver of vehicle C1.
- FIG. 12 shows an example in which the detection process for detecting user U1, specific objects, etc. is executed after vehicle C1 starts autonomous driving, this is not limiting. For example, if it is possible to execute the detection process for detecting user U1, specific objects, etc. immediately after receiving a movement instruction from user U1 in step S501, the detection process may be executed at that timing.
- step S506 the setting unit 123 determines whether or not a specific object was detected in step S505. If a specific object was detected, the process proceeds to step S507. On the other hand, if a specific object was not detected, the process proceeds to step S508.
- step S507 the setting unit 123 sets the stopping position of vehicle C1, the orientation of vehicle C1 at that stopping position, and the door that will open automatically, based on the specific object detected in step S505.
- the setting unit 123 uses the stopping position setting information DB 160 (see FIG. 6) to extract information on the target position 162 and target door 163 corresponding to the specific object 161 detected in step S505.
- the setting unit 123 sets the stopping position of vehicle C1 based on the position of the extracted target position 162, and sets the door of the extracted target door 163 as the door that will open automatically.
- the orientation of vehicle C1 if the stopping position of vehicle C1 has been determined, as shown in FIG. 1, the orientation of vehicle C1 is set according to the stopping position.
- the orientation of vehicle C1 is set appropriately according to the travel route from the departure point of vehicle C1 to the stopping position. For example, it is preferable to set a position and orientation that makes it easy for the vehicle C1 to depart after stopping. For example, it is possible to set the orientation so that the forward direction of the vehicle C1 is the expected direction of travel of the user U1 in the vehicle C1. Furthermore, the orientation of the vehicle C1 may be set based on the user U1's past history information.
- the stopping position of the vehicle C1 and the orientation of the vehicle C1 at that stopping position can be set so that the driver's seat door is located directly in front of the user U1.
- these are merely examples, and other setting methods may also be used.
- the relationship between the stopping position of the vehicle C1, the orientation of the vehicle C1 at that stopping position, and the specific object can be appropriately set based on experiments, simulations, or the like.
- the stopping position of vehicle C1, the orientation of vehicle C1 at that stopping position, and the door that will open automatically can be set using the priority 164 (see Figure 6) set for each specific object.
- the setting unit 123 can set the target position 162 corresponding to the specific object with the highest priority 164 as the stopping position of vehicle C1, and the target door 163 corresponding to the specific object with the highest priority 164 as the door that will open automatically.
- the position and orientation that make it easy for the specific object with the highest priority 164 to be placed in the automatically opening door can be set as the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position.
- the door near the seat where a baby seat is installed can be set as the door that will open automatically.
- the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position can be set to a position and orientation that makes it easy for a person holding a baby to place the baby from the door near the seat where the baby seat is installed.
- the orientation of vehicle C1 at the stopping position can be set appropriately based on the stopping location of vehicle C1, etc., just as when one specific object is detected.
- the relationship between the stopping position of vehicle C1, the orientation of vehicle C1 at that stopping position, and the specific object with the highest priority can be set appropriately based on experiments, simulations, etc.
- step S508 the setting unit 123 sets the stopping position of vehicle C1 so that the position of the driver's seat or passenger seat of vehicle C1 is the user's position.
- the stopping position of vehicle C1 is set so that the position of the driver's seat or passenger seat of vehicle C1 is the user's position.
- the door of either seat (driver's seat or passenger seat of vehicle C1) that is the user's position at the set stopping position of vehicle C1 is set as a door that can be opened automatically.
- the stopping position of vehicle C1 is set so that the position of the driver's seat or passenger seat of vehicle C1 is the user's position, with vehicle C1 facing in a direction that corresponds to the stopping location.
- the stopping location of vehicle C1 is set so that the position of the driver's seat of vehicle C1 is the user's position.
- step S509 the operation control unit 125 determines whether vehicle C1, whose autonomous driving was started in step S504, has arrived at the stop position set in step S507 or S508. Specifically, the operation control unit 125 determines whether vehicle C1 has arrived at the stop position based on the position information of vehicle C1 acquired by the position information acquisition unit and the position information of the stop position set by the setting unit 123. For example, if the position information of vehicle C1 acquired by the position information acquisition unit matches the position information of the stop position set by the setting unit 123, the operation control unit 125 can determine that vehicle C1 has arrived at the stop position.
- step S510 the operation control unit 125 stops the vehicle C1 that has arrived at the stopping position set in step S507 or S508, and after this stopping, executes control to open the door set in step S507 or S508. For example, as shown in FIG. 10, if user U1 is holding a baby, vehicle C1 stops so that the rear door RD1 of the rear seat where the baby seat is installed is positioned at user U1's position, and after vehicle C1 has stopped, rear door RD1 is opened.
- step S511 the determination unit 126 determines whether the intention of user U1, who issued the instruction to move vehicle C1 received in step S501, was correctly recognized. For example, it can determine whether the intention of user U1 was correctly recognized based on the relationship between the door that was automatically opened in step S510 and the door through which the specific object detected in step S505 entered vehicle C1.
- the detection unit 122 can detect the movement of user U1 and the specific object after vehicle C1 has stopped based on the vehicle exterior image and vehicle interior image acquired by the vehicle exterior image acquisition unit and vehicle interior image acquisition unit (sensors 210 (see FIG. 5)), respectively. This movement of user U1 and the specific object can be detected using known moving object detection technology.
- the determination unit 126 determines whether the specific object detected in step S505 entered through the door that was automatically opened in step S510 based on the movement of user U1 and the specific object after vehicle C1 has stopped, detected by the detection unit 122.
- the determination unit 126 can determine that the intention of user U1, who issued an instruction to move vehicle C1, was correctly recognized.
- the determination unit 126 can determine that the intention of user U1, who issued an instruction to move vehicle C1, was correctly recognized.
- the process proceeds to step S512.
- the process proceeds to step S513.
- whether user U1's intention was correctly recognized may be determined based on the distance user U1 walked after vehicle C1 stopped and before getting into vehicle C1. For example, if the distance user U1 walked after vehicle C1 stopped and before getting into vehicle C1 is equal to or greater than a threshold (e.g., several meters), it is assumed that vehicle C1 stopped in a location contrary to user U1's intention, or that a door opened contrary to user U1's intention. In this case, it can be determined that user U1's intention was not correctly recognized.
- a threshold e.g., several meters
- user U1's intention has been correctly recognized based on the actions (e.g., voice, facial expression, reaction) of user U1 or surrounding users after vehicle C1 has stopped. For example, if user U1 utters a specific keyword (e.g., a negative word such as "That's not right"), makes a specific facial expression (e.g., an angry expression), or has a specific reaction (e.g., an angry reaction) after vehicle C1 has stopped, it is assumed that vehicle C1 has stopped in a location contrary to user U1's intention, or that a door has opened contrary to user U1's intention. Therefore, in this case, it can be determined that user U1's intention has not been correctly recognized.
- a specific keyword e.g., a negative word such as "That's not right”
- a specific facial expression e.g., an angry expression
- reaction e.g., an angry reaction
- a specific keyword for example, a positive word such as "thank you”
- a specific facial expression for example, a smiling expression
- a specific reaction for example, a nodding reaction
- step S512 the determination unit 126 stores the status and stopping position of user U1 who issued the movement instruction for vehicle C1 received in step S501 in the determination result DB 170 of the storage unit 140.
- the determination unit 126 estimates the reason why the intention of user U1, who issued an instruction to move vehicle C1, could not be correctly recognized. For example, consider a case where user U1 issues an instruction to move vehicle C1 while carrying medium-sized luggage.
- the setting unit 123 sets the position of the rear seat directly in front of user U1 as the stopping position based on the stopping position setting information DB 160, and sets the rear door of the rear seat as the door that will open automatically. If user U1 places a medium-sized luggage through the front door on the passenger side after vehicle C1 has stopped according to this setting, it is possible to estimate that the reason why user U1's intention could not be correctly recognized is because the luggage size was incorrectly detected, the door was incorrectly set to open automatically, etc. Note that these estimation results are just examples, and other estimation methods may be used. Furthermore, for example, artificial intelligence (AI) may be used to estimate the cause.
- AI artificial intelligence
- step S514 the determination unit 126 stores the cause estimated in step S513, as well as the situation and stopping position of user U1 who issued the movement instruction for vehicle C1 received in step S501, in the determination result DB 170 of the storage unit 140. Note that the estimated cause can be stored in the determination result DB 170 in association with the situation and stopping position of user U1.
- the determination results stored in the determination result DB170 can be used when a movement instruction is subsequently given by user U1.
- the setting unit 123 sets the position of the rear seat directly in front of user U1 as the stopping position based on the stopping position setting information DB160, and sets the rear door of the rear seat as the door that opens automatically.
- the determination result DB170 has recorded that when a movement instruction is given while carrying medium-sized luggage, the luggage will be placed through the front door on the passenger side.
- the determination result DB170 is used preferentially. That is, in this case, the setting unit 123 sets the position where the passenger seat is directly in front of the user U1 as the parking position, and sets the passenger seat front door as the door that will open automatically, based on the determination result DB 170. Note that if different determination results for the same specific object are stored in the determination result DB 170, the result that takes these into consideration (the most common result) or the most recent result may be used.
- the above describes an example of executing a setting process, etc., that sets the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position based on the presence or absence of a specific object detected by the detection unit 122.
- the setting process, etc. may also be executed using other methods.
- AI artificial intelligence
- the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position are set based on the presence or absence of a specific object associated with user U1 and the attributes of that specific object (e.g., baby, size of luggage).
- the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position may also be set based on the type of input (movement instruction) by user U1 (e.g., gesture, voice, electronic device MC1). For example, if a movement instruction is given by user U1 operating electronic device MC1, it is assumed that the accuracy of the position of user U1 and the attributes of the specific object detected based on the movement instruction information is high.
- the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position using only the position of user U1 and the attributes of the specific object detected based on the movement instruction information. Furthermore, for example, if a movement instruction is given by user U1 using a specific gesture, a specific ringtone, etc., it is assumed that the accuracy of the position of user U1 and the attributes of the specific object detected based on the movement instruction is relatively low. Therefore, the position of user U1, attributes of specific objects, etc. can be sequentially detected using images outside the vehicle acquired while the vehicle C1 is traveling, and the most recent detected position of user U1 and the most recent attributes of the specific object can be used to appropriately correct the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position.
- the vehicle C1 when the user U1 issues a movement instruction for the vehicle C1 from outside the vehicle C1 using a gesture, a call, the electronic device MC1, or the like, the vehicle C1 can be automatically driven to the location of the user U1.
- the belongings of the user U1 who issued the movement instruction and the surrounding conditions of the user U1 are detected, and based on the detection results, the vehicle C1 can be moved close to the user U1, stopped at a location intended by the user U1, and the doors can be automatically opened.
- vehicle C1 is stopped in a position near the front door directly in front of user U1.
- user U1 may walk to back door BD1 to place the large luggage on back door BD1, then open back door BD1 by hand and place the large luggage on back door BD1.
- each of these processes may be executed by other devices.
- an information processing system is configured by the devices that execute part of each of these processes.
- at least part of each process may be executed by various information processing devices and various electronic devices, such as in-vehicle devices, devices available to the user (e.g., smartphones, tablet terminals, personal computers, car navigation devices, and IVIs (In-Vehicle Infotainment)), and servers connectable via a predetermined network such as the Internet.
- part (or all) of the information processing system capable of executing the functions of the information processing device 100 may be provided by an application that can be provided via a predetermined network such as the Internet.
- This application is, for example, SaaS (Software as a Service).
- the information processing method is an information processing method for controlling a vehicle to automatically travel along a travel route to a set destination.
- This information processing method includes a reception process (step S501) for receiving a movement instruction from a user U1 located outside the vehicle C1, a detection process (step S505) for detecting a specific object in the user U1 and at least a portion of the user U1's surroundings, and a setting process (steps S506 to S508) for setting the user U1's position as a destination and setting a stopping position at the destination based on the detection result of the specific object.
- the program according to this embodiment is a program for causing a computer to execute each of these processes.
- the program according to this embodiment is a program for causing a computer to realize each function executable by the information processing device 100.
- the stopping position is set based on the attributes of the specific object. For example, it is possible to extract from target position 162 a position corresponding to the attributes of the detected specific object and set it.
- a predetermined stopping position is set based on the destination. For example, it is possible to set the stopping position of vehicle C1 based on the destination so that the driver's seat or passenger seat is located at the position of user U1.
- This configuration makes it possible to stop vehicle C1 at an appropriate position according to the attributes of the detected specific object.
- the information processing method further includes an acquisition process (step S505) for acquiring an image of the exterior of the vehicle C1, and a detection process (step S505) for detecting a specific object based on an image of the user U1 and an image of the user U1's surroundings included in the acquired image.
- This configuration makes it possible to detect specific objects based on images of the exterior of the vehicle C1, thereby improving the accuracy of detecting specific objects.
- the reception process receives a movement instruction based on at least one of a specific movement by user U1, a specific voice uttered by user U1, and movement instruction information transmitted from electronic device MC1 carried by user U1.
- movement instruction information can be transmitted by performing a selection operation to select vehicle call button 411 on display screen 410 (see FIG. 4).
- user U1 can give appropriate movement instructions according to the situation at the waiting location, making it easy to execute movement instructions.
- electronic device MC1 when object information relating to a specific object is selected by user U1's operation input, electronic device MC1 transmits movement instruction information including that object information.
- movement instruction information including object information can be transmitted by performing a selection operation to select the luggage selection area 412, the baby selection area 413, or the multiple passengers selection area 414 on display screen 410 (see FIG. 4).
- the detection process step S505
- the specific object is detected based on the object information included in the movement instruction information.
- This configuration makes it possible to detect a specific object based on object information selected by user U1's operation input, thereby improving the accuracy of detecting the specific object.
- the detection process detects objects present in the user U1 and at least a portion of the area around the user U1, and if the object is at least one of a piece of luggage larger than a predetermined size and a person with predetermined attributes, the object is detected as a specific object.
- the specific object 161 see FIG. 6
- the stop position setting information DB 160 can be detected as a specific object.
- the setting process sets the stopping position of vehicle C1 and the orientation of vehicle C1 at that stopping position based on the detection results of the specific object. For example, as shown in FIG. 1, if the stopping location of vehicle C1 has been determined, the orientation of vehicle C1 according to that stopping location (e.g., the orientation with the passenger seat side facing user U1) is set. On the other hand, as shown in FIG. 2, if the stopping location of vehicle C1 has not been determined, the orientation of vehicle C1 is set appropriately according to the travel route from the departure point of vehicle C1 to the stopping position.
- This configuration makes it possible to set the orientation of vehicle C1 at an appropriate stopping position according to the detected specific object.
- vehicle C1 is equipped with actuators 220 for automatically opening and closing each door.
- the doors that will open automatically after vehicle C1 is stopped at the parking position are set based on the detection results of the specific object.
- a priority is assigned to each of those specific objects. For example, a priority is assigned according to the priority 164 (see FIG. 6) in the stopping position setting information DB 160.
- the setting process steps S506 to S508
- the stopping position of vehicle C1 is set based on the position of the specific object with the highest priority among the multiple specific objects.
- vehicle C1 is equipped with actuators 220 for automatically opening and closing each door.
- the door that will automatically open after vehicle C1 is stopped at the parking position is set based on the specific object with the highest priority.
- specific objects include users other than user U1.
- the stopping position of vehicle C1 can be set taking into consideration the other users waiting together. This makes it possible to stop vehicle C1 in an appropriate position according to the intentions of user U1, based on the situation around user U1 who issued the movement instruction.
- the information processing method further includes a determination process (step S511) that determines whether the parking position is a position that matches the user U1's intention based on the relationship between the door that is set to open automatically and the door into which the specific object detected in the detection process (step S505) is placed within the vehicle C1, and a storage process (steps S512, S514) that stores the determination results of the determination process in the storage unit 140.
- a determination process step S511 that determines whether the parking position is a position that matches the user U1's intention based on the relationship between the door that is set to open automatically and the door into which the specific object detected in the detection process (step S505) is placed within the vehicle C1, and a storage process (steps S512, S514) that stores the determination results of the determination process in the storage unit 140.
- the setting process steps S506 to S508
- the parking position of the vehicle C1 is set based on the determination results of the previous determination process (step S511) regarding the specific object.
- the stopping position of vehicle C1 can be set taking into account the past behavioral history of user U1. This makes it possible to stop vehicle C1 in an appropriate location according to the intentions of user U1, who issued the movement instruction.
- Information processing device 100 is an information processing device that executes control to automatically drive vehicle C1 along a driving route to a set destination.
- Information processing device 100 includes a reception unit 121 that receives movement instructions from user U1 located outside vehicle C1, a detection unit 122 that detects specific objects within user U1 and at least a portion of the user U1's surroundings, and a setting unit 123 that sets user U1's position as a destination and sets a stopping position at the destination based on the detection results of the specific object.
- information processing device 100 may be replaced by an information processing system configured from multiple devices that can execute each of the processes realized by information processing device 100.
- processing steps shown in this embodiment are merely examples for realizing this embodiment, and the order of some of the processing steps may be changed, some of the processing steps may be omitted, or other processing steps may be added, to the extent that this embodiment can be realized.
- each process in this embodiment is executed based on a program that causes a computer to execute various processing procedures.
- This embodiment can also be understood as an embodiment of a program that realizes the function of executing each process, and a recording medium that stores that program.
- an update process for adding a new function to an information processing device can store the program in the storage device of the information processing device. This makes it possible to cause the updated information processing device to perform each process shown in this embodiment.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Navigation (AREA)
Abstract
設定された目的地までの走行経路に沿って車両を自動走行させる制御を実行する情報処理方法であって、車両の外部に位置するユーザからの移動指示を受け付ける受付処理と、ユーザ及びユーザの周囲のうちの少なくとも一部において特定オブジェクトを検出する検出処理と、ユーザの位置を前記目的地として設定し、特定オブジェクトの検出結果に基づいて当該目的地での停車位置を設定する設定処理とを含む。
Description
本発明は、目的地までの走行経路に沿って車両を自動走行させる制御を実行する情報処理方法及び情報処理装置に関する。
従来、目的地までの走行経路に沿って車両を自動走行させる技術が提案されている。例えば、JP2018-045397Aには、自車に対する移動を指示する誘導員の移動指示情報を車載カメラの画像から認識し、その移動指示情報に基づいて走行計画を作成し、その走行計画に従い車両を自動走行させる技術が提案されている。
上述した従来技術では、誘導員のジェスチャーによる指示内容に応じて走行計画を作成し、その走行計画に従い車両を自動走行させることが可能である。ここで、車両を利用するユーザが車両を呼び寄せた場合に、そのユーザの位置まで車両を自動走行させることが考えられる。この場合に、ユーザの状況によっては、車両が停車した位置がユーザに不便な位置となることも想定される。例えば、大量の荷物を持っているユーザの指示に応じてユーザの位置まで車両を自動走行させた場合に、その荷物を積む車両のドアとユーザの位置とがずれることも想定される。この場合には、その荷物を積むドアまでユーザが歩いて移動し、そのドアを開ける必要があるため、その移動等が煩雑となるおそれがある。
本発明は、車両を呼び寄せるユーザ自身又は周囲の状況に応じて車両を適切な位置に停車させることを目的とする。
本発明の一態様は、設定された目的地までの走行経路に沿って車両を自動走行させる制御を実行する情報処理方法である。この情報処理方法は、車両の外部に位置するユーザからの移動指示を受け付ける受付処理と、ユーザ及びユーザの周囲のうちの少なくとも一部において特定オブジェクトを検出する検出処理と、ユーザの位置を目的地として設定し、特定オブジェクトの検出結果に基づいて当該目的地での停車位置を設定する設定処理とを含む。
以下、添付図面を参照しながら本発明の実施形態について説明する。
[車両の位置とユーザの位置との関係例]
図1、図2は、車両C1と、車両C1を所有するユーザU1との位置関係を簡略化して示す図である。図1、図2では、ユーザU1の位置まで車両C1を自動走行させるための移動指示を、ユーザU1が行う例を示す。すなわち、車両C1をユーザU1が自己の位置まで呼び出す場合の例を示す。
図1、図2は、車両C1と、車両C1を所有するユーザU1との位置関係を簡略化して示す図である。図1、図2では、ユーザU1の位置まで車両C1を自動走行させるための移動指示を、ユーザU1が行う例を示す。すなわち、車両C1をユーザU1が自己の位置まで呼び出す場合の例を示す。
図1には、駐車場P1における駐車スペースPS1に駐車されている車両C1に対してユーザU1が移動指示をする場合の例を示す。図1では、駐車場P1における各駐車スペース(駐車スペースPS1を含む)を太線で簡略化して示す。また、図1では、荷物を積むための一時的な駐車スペースを荷物積み場所LL1として示す。駐車場P1は、例えば、ショッピングセンター等の商業施設、各種の公共施設等が想定される。また、図1では、車両C1及びユーザU1間に他の車両等の障害物が存在し、車両C1から見えない位置にユーザU1が存在し、車両C1にユーザU1の声が届かないような環境の一例を示す。この場合には、例えば、電子機器MC1を用いて車両C1に移動指示をすることが可能である。
図2には、見通しの良い広い場所M1において駐車されている車両C1に対してユーザU1が移動指示をする場合の例を示す。図2では、車両C1及びユーザU1間に障害物等が存在せず、車両C1から見える位置にユーザU1が存在し、車両C1にユーザU1の声が届くような環境の一例を示す。見通しの良い広い場所M1は、例えば、広い自宅の庭、空き地等が想定される。この場合には、例えば、ユーザU1による特定の動き、ユーザU1が発する音声S1等により車両C1に移動指示をすることが可能である。
ここで、ユーザU1が車両C1を利用するため、車両C1に移動指示をする場合を想定する。この場合には、例えば、ユーザU1が車両C1に対して移動指示をして、ユーザU1の位置まで車両C1を自動走行させることが考えられる。例えば、図1に示す例では、ユーザU1は、車両C1をジェスチャー、音声で呼ぶことができないため、電子機器MC1を用いて移動指示をすることが考えられる。また、図2に示す例では、ユーザU1は、電子機器MC1を用いて移動指示をする以外に、ジェスチャー、音声S1で車両C1に移動指示をすることが考えられる。これらの場合に、ユーザU1の目の前に車両C1を停車させたとしても、その停車位置がユーザU1に不便な位置となることも考えられる。
例えば、ユーザU1が大量の荷物BG1を持っている場合を想定する。このような場合には、ユーザU1は、大量の荷物BG1を車両C1のトランクルーム(後部の荷室)に積み込んだ後に運転席に乗り込むことも想定される。ここで、ユーザU1の移動指示に応じて、ユーザU1の位置に車両C1の前側の座席(運転席又は助手席)の位置がくるように、車両C1を停車させることが考えられる。しかし、ユーザU1が大量の荷物BG1を車両C1のトランクルームに積み込むことを意図している場合には、大量の荷物BG1を積む車両C1のトランクルームとユーザU1の位置とがずれることになる。この場合には、大量の荷物BG1を積むトランクルームまでユーザU1が歩いて移動し、トランクルームのドア(バックドア)を開ける必要があるため、その移動、バックドアを開ける作業等が煩雑となるおそれがある。
そこで、本実施形態では、ユーザU1の状況によって、車両C1が停車した位置がユーザU1に不便な位置とならないようにする。すなわち、車両C1に移動指示をしたユーザU1自身又は周囲の状況に応じて車両C1を適切な位置に停車させるようにする。
[車両を呼ぶユーザ自身又は周囲の状況例]
図3は、車両C1を呼ぶユーザU1自身又はその周囲の状況の代表的な例を簡略化して示す図である。
図3は、車両C1を呼ぶユーザU1自身又はその周囲の状況の代表的な例を簡略化して示す図である。
図3(A)(D)には、ユーザU1自身が大きな荷物BG2、BG3を持っている例を示す。図3(B)には、ユーザU1とともに車両C1に乗車する他のユーザU2、U3が存在する例を示す。図3(C)には、ユーザU1が赤ちゃんU4を抱っこしている例を示す。図3(E)には、ユーザU1とともに車両C1に乗車する子供のユーザU5、U6が存在する例を示す。図3(F)には、ユーザU1が荷物等を持っておらず、他のユーザも存在しない例を示す。
[ユーザが自己の位置に車両を自動走行させる場合の指示例]
ここでは、ユーザU1が存在する位置に車両C1を自動走行で移動させるために指示する移動指示方法について説明する。例えば、ユーザU1は、電子機器MC1を用いて移動指示をすることが可能である。この移動指示方法については、図4、図5を参照して詳細に説明する。なお、電子機器MC1は、スマートフォン、タブレット端末、車両C1のキー等の電子機器である。例えば、所定のアプリケーションをスマートフォンにダウンロードすることにより、車両C1を呼び出す機能を実現可能である。なお、電子機器MC1の構成例については、図5を参照して詳細に説明する。
ここでは、ユーザU1が存在する位置に車両C1を自動走行で移動させるために指示する移動指示方法について説明する。例えば、ユーザU1は、電子機器MC1を用いて移動指示をすることが可能である。この移動指示方法については、図4、図5を参照して詳細に説明する。なお、電子機器MC1は、スマートフォン、タブレット端末、車両C1のキー等の電子機器である。例えば、所定のアプリケーションをスマートフォンにダウンロードすることにより、車両C1を呼び出す機能を実現可能である。なお、電子機器MC1の構成例については、図5を参照して詳細に説明する。
また、例えば、ユーザU1は、所定のジェスチャーをすることにより車両C1の移動指示をすることが可能である。例えば、車両C1の車外画像取得部(センサ類210(図5参照))の撮像範囲にユーザU1が含まれる位置に、ユーザU1が存在する場合には、その車外画像取得部により生成される撮像画像に基づいて、ユーザU1の動きを検出可能である。そこで、その撮像画像に基づいて検出されたユーザU1の動きが、所定の動きをしたか否かに基づいて、ユーザU1が所定のジェスチャーをしたことを判定可能である。そして、特定のジェスチャーをしたと判定された場合には、ユーザU1が車両C1の移動指示をしたと判定される。なお、特定のジェスチャーは、図3(A)乃至(F)に示すように、左右の何れかの腕を上げた状態で手を前から後ろに動かすことを繰り返す動作と定義することが可能である。また、特定のジェスチャーについては、公知の画像認識技術を用いた判定が可能である。なお、ユーザU1自身を識別可能な場合には、特定のジェスチャーを実行したユーザの個人識別を実行し、そのユーザがユーザU1であることが認識されたことを条件に、ユーザU1の移動指示を判定してもよい。なお、ユーザU1の個人識別については、公知の個人識別技術、顔識別技術等を用いることが可能である。
また、例えば、ユーザU1は、所定の音声を発することにより車両C1の移動指示をすることが可能である。例えば、車両C1の音取得部(センサ類210(図5参照))によりユーザU1が発する声が検出可能な位置に、ユーザU1が存在する場合には、その音取得部により取得される音声情報に基づいて、ユーザU1が発する音声を検出可能である。そこで、その音声情報に基づいて検出されたユーザU1が発した音声が、所定の音声(例えば「ここまで迎えに来て」)であるか否かに基づいて、ユーザU1は、所定の指示メッセージを発したことを判定可能である。そして、特定の指示メッセージを発したと判定された場合には、ユーザU1が車両C1の移動指示をしたと判定される。なお、特定の指示メッセージについては、公知の音声認識技術を用いて判定が可能である。また、ユーザU1の声を識別可能な場合には、ユーザU1の声を識別し、ユーザU1であることが認識され、かつ、ユーザU1が特定の指示メッセージを発したことを条件に、ユーザU1が発する移動指示を判定してもよい。なお、ユーザU1の声の個人識別については、公知の音声識別技術等を用いることが可能である。
なお、これらの移動指示方法は一例であり、他の移動指示方法を用いてもよい。例えば、特定のジェスチャーと所定の指示メッセージとを組み合わせて行ってもよく、電子機器MC1を用いて移動指示操作をした後に、特定のジェスチャー又は所定の指示メッセージをしてもよい。
[電子機器を用いて車両を呼ぶ例]
図4は、電子機器MC1を用いて車両C1の移動指示を実行する場合に電子機器MC1の表示部407に表示される表示画面410の一例を簡略化して示す図である。なお、表示画面410を用いた移動指示操作については、図5を参照して詳細に説明する。
図4は、電子機器MC1を用いて車両C1の移動指示を実行する場合に電子機器MC1の表示部407に表示される表示画面410の一例を簡略化して示す図である。なお、表示画面410を用いた移動指示操作については、図5を参照して詳細に説明する。
[情報処理システムの構成例]
図5は、車両C1に設置されている情報処理システム1のシステム構成の一例を示すブロック図である。
図5は、車両C1に設置されている情報処理システム1のシステム構成の一例を示すブロック図である。
情報処理システム1は、情報処理装置100と、センサ類210と、アクチュエータ220とを備える。情報処理装置100は、設定された目的地までの走行経路に沿って車両C1を自動走行させる制御を実行することが可能な機器の一例である。
また、情報処理装置100、電子機器MC1は、無線通信を利用した通信方式によって接続される。例えば、情報処理装置100、電子機器MC1は、無線通信を利用した通信方式によってネットワーク20に接続され、情報処理装置100及び電子機器MC1間でのやりとりが行われる。ネットワーク20は、公衆回線網、インターネット等のネットワークである。なお、情報処理装置100及び電子機器MC1は、ネットワーク20を経由せずに、無線通信(例えば、Wi-Fi(Wireless Fidelity)、Bluetooth(登録商標))を利用して直接接続して、情報処理装置100及び電子機器MC1間でのやりとりを行ってもよい。
センサ類210は、車両C1に設置されている各種のセンサであり、各センサにより取得された検出情報を情報処理装置100に出力する。センサ類は、例えば、車両操作部(例えば、ステアリングホイール、アクセルペダル、ブレーキペダル)、車両信号取得部(例えば、各センサ値を取得する取得部)からの情報を取得する。これらのセンサ類は、例えば、LiDAR(Light Detection And Ranging)、RADAR(Radio Detection And Ranging)、Sonar、音取得部、車内画像取得部、車外画像取得部、位置情報取得部、車速センサ、加速度センサ、ヨーレートセンサ、ステアリングセンサ、アクセルポジションセンサ、ブレーキペダル、着座センサ、シートベルトセンサ等である。これらの各センサとして、公知のセンサを用いることが可能である。なお、LiDAR、RADAR、Sonar等は、車両C1の周囲の状況を検出するセンサの一例である。また、車速センサ、加速度センサ、ヨーレートセンサ、ステアリングセンサ、アクセルポジションセンサ、ブレーキペダル等は、車両C1の走行状態に応じた情報を検出するセンサの一例である。なお、これらは一例であり、他のセンサを用いてもよい。また、これらのうちの一部のセンサのみを用いてもよい。
位置情報取得部は、車両C1が存在する位置に関する位置情報を取得するものである。例えば、GNSS(Global Navigation Satellite System:全球測位衛星システム)を利用して位置情報を取得するGNSS受信機により実現できる。また、その位置情報には、GNSS信号の受信時における緯度、経度、高度等の位置に関する各データが含まれる。また、他の位置情報の取得方法により位置情報を取得してもよい。例えば、周囲に存在するアクセスポイントや基地局からの情報を用いて位置情報を導き出してもよい。また、ビーコンを用いて位置情報を取得してもよい。
音取得部は、車両C1の内部及び外部に設けられ、車両C1の内外の音を取得するものであり、取得された音に関する音情報を情報処理装置100に出力する。音取得部として、例えば、1又は複数のマイクや音取得センサを用いることができる。
車内画像取得部は、車両C1の内部の被写体を撮像して画像(画像データ)を生成するものであり、生成された画像(車内画像)に関する画像情報を情報処理装置100に出力する。車内画像取得部は、車両C1のうちの少なくとも内部(例えば天井)に設けられ、車両C1の内部における各部(各座席、乗員、荷物を含む)を撮像して車内画像を生成する。車内画像取得部は、例えば、車両C1の内部を撮像することが可能な1又は複数のカメラ機器や画像センサにより構成される。例えば、1つの車内画像取得部を車両C1の内部の前方(例えば天井)に設け、車両C1の前方からの車両C1の内部を撮像して車内画像を生成することが可能である。また、例えば、他の車内画像取得部を車両C1の内部の後方に設け、後方からの車両C1の内部を撮像して車内画像を生成してもよい。
車外画像取得部は、車両C1の外部の被写体を撮像して画像(画像データ)を生成するものであり、生成された画像(車外画像)に関する画像情報を情報処理装置100に出力する。なお、2以上の車外画像取得部を備え、これらの車外画像取得部のうちの全部又は一部の画像を用いてもよい。例えば、1つの車外画像取得部を車両C1の前方に設け、車両C1の前方からの被写体を撮像して車外画像を生成してもよく、他の車外画像取得部104を車両C1の後方に設け、車両C1からの後方の被写体を撮像して車外画像を生成してもよい。
なお、車内画像取得部及び車外画像取得部は、例えば、レンズにより集光された被写体からの光を入射する撮像素子(イメージセンサ)と、その撮像素子により生成された画像データについて所定の画像処理を施す画像処理部とにより構成される。撮像素子として、例えば、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型の撮像素子を用いることができる。また、車両C1の全方位に存在する被写体と、車両C1の内部の被写体とを取得可能な1又は複数の機器、例えば、360度カメラを、車内画像取得部及び車外画像取得部として用いてもよい。
情報処理装置100は、信号入力部110と、制御部120と、出力部130と、記憶部140と、通信部150とを備える。通信部150は、制御部120の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。例えば、通信部150は、車両C1の自動走行を指示する移動指示情報を電子機器MC1から受信すると、その移動指示情報を制御部120に出力する。
信号入力部110は、センサ類210のそれぞれから出力された各情報(各センサの出力値)を取得するものであり、その各情報を制御部120に出力する。
制御部120は、記憶部140に記憶されている各種プログラムに基づいて各部を制御するコントローラである。制御部120は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の処理装置により実現される。なお、車両C1の車両ECU(Electronic Control Unit)を制御部120としても使用してもよく、車両ECUとは異なる処理装置を制御部120として設けてもよい。
制御部120は、センサ類210、通信部150等から出力された各情報と、記憶部140から取得された各情報とに基づいて各種制御を実行する。例えば、制御部120は、ユーザU1からの移動指示に応じて車両C1の目的地を設定し、その目的地までの走行経路に沿って車両C1を自動走行させる制御処理を実行する。具体的には、制御部120は、受付部121と、検出部122と、設定部123と、走行経路生成部124と、動作制御部125と、判定部126とを備える。
受付部121は、センサ類210、記憶部140、通信部150等から出力された各情報を受け付け、受け付けられた各情報を各部に供給するものである。例えば、信号入力部110は、車両C1の外部に位置するユーザU1からの入力(例えば、車両C1の移動指示)を受け付ける受付部として機能する。
検出部122は、受付部121から出力された各情報に基づいて、車両C1の内外における各物体、車両C1の周囲における路面状態等を検出し、その検出結果を設定部123、走行経路生成部124、動作制御部125、判定部126に出力するものである。例えば、検出部122は、車外画像取得部により取得された車外画像に基づいて、車両C1の移動指示をしたユーザU1及びユーザU1の周囲のうちの少なくとも一部において特定オブジェクトを検出する検出処理を実行する。この検出処理では、例えば、予め設定されているパターン画像と車外画像とを比較するパターンマッチング処理等の公知の画像認識技術を用いることが可能である。
また、例えば、検出部122は、通信部150により取得された電子機器MC1から送信された移動指示情報に基づいて、車両C1の移動指示をしたユーザU1及びユーザU1の周囲のうちの少なくとも一部において特定オブジェクトを検出する検出処理を実行する。この検出方法については、後述する。
ここで、特定オブジェクトは、ユーザU1及びユーザU1の周囲のうちの少なくとも一部において存在するオブジェクト(例えば、人間、物体)のうち、予め設定されている特定のオブジェクトを意味する。特定オブジェクトは、例えば、ユーザU1が持つ荷物、ユーザU1が抱っこする赤ちゃん、ユーザU1の周囲に存在する他のユーザ(例えば、同乗者)である。例えば、検出部122は、ユーザU1及びユーザU1の周囲のうちの少なくとも一部において存在するオブジェクトを検出し、そのオブジェクトが、所定サイズよりも大きい荷物、所定の属性(例えば、同乗者、赤ちゃん、子供)を有する人物等である場合に、そのオブジェクトを特定オブジェクトとして検出する。
また、例えば、検出部122は、位置情報取得部により取得された位置情報と、記憶部140の地図情報DBとに基づいて、車両C1の周囲に存在する他の物体(例えば、障害物)、車両C1の周囲の路面状態(例えば、駐車場P1の空き駐車スペースの位置、大きさ、形状等)を検出可能である。また、例えば、検出部122は、音取得部により取得された車外の音に基づいて、車両C1の周囲に存在する他の物体(例えば、他の車両、人間、犬等の動物)を検出可能である。
設定部123は、検出部122により検出された特定オブジェクトと、記憶部140の停車位置設定情報DB160とに基づいて、移動指示がされた車両C1の停車位置とその停車位置における車両C1の向きとを設定するものである。例えば、設定部123は、検出部122により特定オブジェクトが検出されなかった場合には、ユーザU1の目の前にフロントドアがくる位置を停車位置として設定する。一方、例えば、設定部123は、検出部122により特定オブジェクトが検出された場合には、検出された特定オブジェクトに対応する対象位置162、対象ドア163(図6参照)の内容に基づいて、停車位置及び自動で開けるドアを設定する。なお、検出部122により検出された特定オブジェクトに関する情報が、判定結果DB170に格納されている場合には、設定部123は、検出部122により検出された特定オブジェクトと、記憶部140の判定結果DB170とに基づいて、移動指示がされた車両C1の停車位置とその停車位置における車両C1の向きとを設定してもよい。なお、この例については、図12等を参照して詳細に説明する。
なお、停車位置における車両C1の向きについては、ユーザU1が存在する位置に応じて適宜設定される。例えば、図1に示すように、車両C1が停車する場所(荷物積み場所LL1)が決められている場合には、その場所に応じて車両C1の向きが設定される。図1に示す例では、助手席側がユーザU1に対向するように、車両C1の向きが設定される。また、例えば、図2に示すように、車両C1が停車する場所が決められていない場合には、検出部122により検出された特定オブジェクトに基づいて車両C1の向きが設定される。図2に示す例では、バックドア側がユーザU1に対向するように、車両C1の向きが設定される。なお、これらの設定方法は、一例であり、他の設定をしてもよい。
走行経路生成部124は、受付部121から出力された各情報と、検出部122による検出結果と、地図情報DBとに基づいて、車両C1の目的地までの走行計画を作成するものである。例えば、走行経路生成部124は、位置情報取得部により取得された車両C1の現在地と、ユーザU1からの移動指示に応じて設定される目的地と、地図情報DBとに基づいて、車両C1の現在地から目的地までの走行経路を演算する。また、例えば、走行経路生成部124は、走行中において、設定部123により設定された車両C1の停車位置及びその停車位置における車両C1の向きと、地図情報DBとに基づいて、車両C1の現在地から目的地までの走行経路を適宜修正可能である。また、走行経路生成部124は、必要に応じて、走行経路走行速度、目標走行加速度等を含めて走行経路を生成する。
例えば、駐車場P1(図1参照)等の所定エリア内における走行可能な経路については、地図情報DBに格納されている。例えば、駐車場P1の入口、出口、荷物積み場所LL1、各駐車スペース等の各種情報が地図情報DBに格納されている。そこで、走行経路生成部124は、地図情報DBに格納されている各種情報を用いて、駐車場P1における車両C1の現在地から目的地(例えば、荷物積み場所LL1)までの走行経路を生成することが可能である。この場合に、走行経路生成部124は、駐車場P1内の駐車スペース等を示す白線又は車線、駐車場P1内の車両の進行方向を表す矢印等が検出部122により検出された場合には、その検出結果を用いて、走行経路を修正することも可能である。なお、駐車場P1に関する各種情報については、通信部150を介して駐車場側から取得してもよい。
動作制御部125は、車両C1を走行させるための制御信号をアクチュエータ220に出力するものである。例えば、車両C1を自動走行させる場合には、動作制御部125は、走行経路生成部124により生成された走行経路に基づいて、車両C1に自動走行させるための制御信号をアクチュエータ220に出力する。また、例えば、ユーザU1による手動運転が行われる場合には、動作制御部125は、センサ類210(例えば、アクセルペダルセンサ、ブレーキペダルセンサ等)で検出された情報に基づいて、車両C1に手動運転をさせるための制御信号をアクチュエータ220に出力する。
ここで、車両C1が自動走行をしている場合には、検出部122は、走行中の車両C1の周囲の状況に基づいて車両C1の周囲に存在する障害物、標識等を順次検出する。そして、検出部122により車両C1の進行方向等において障害物等が検出された場合には、動作制御部125は、その障害物等との接触を回避するようにアクチュエータ220を制御する。例えば、アクチュエータ220に駆動停止信号を出力し、車両C1を強制的に停止させることが可能である。
また、車両C1が自動走行をしている場合において、設定部123により設定された停車位置の近くまで車両C1が移動すると、動作制御部125は、その停車位置に車両C1を停車させるようにアクチュエータ220を制御する。また、設定部123により停車位置における車両C1の向きが設定されている場合には、動作制御部125は、その向きで車両C1を停車させるようにアクチュエータ220を制御する。
判定部126は、設定部123により設定された車両C1の停車位置、自動で開けることが設定されたドアと、検出部122により検出された特定オブジェクトが車両C1内に入れられたドアとの関係に基づいて、その停車位置等がユーザU1の意図にあった位置であるか否かを判定するものである。そして、判定部126は、その判定結果を記憶部140の判定結果DB170に格納する。なお、判定部126による判定処理については、図7、図12等を参照して詳細に説明する。
アクチュエータ220は、制御部120からの制御信号に基づいて、車両C1を動かす、曲がる、止まる等の車両C1の基本動作を含む走行動作を実現するものである。例えば、アクチュエータ220は、走行駆動力を発生する駆動アクチュエータ、制動力を発生する制動アクチュエータ、操舵力を発生する操舵アクチュエータを含む。ここで、車両C1がエンジンで駆動する車両である場合には、駆動アクチュエータは、例えばスロットル開度を制御するスロットルアクチュエータ等により構成される。また、車両C1が電気自動車両、ハイブリッド車両である場合には、駆動アクチュエータは、例えば走行モータ等により構成される。また、制動アクチュエータは、例えばブレーキディスクに油圧を供給する油圧機器等により構成される。また、操舵アクチュエータは、例えば電動パワーステアリングのステアリングトルクを制御するステアリングモータ等により構成される。このように、アクチュエータ220は、車両C1の自動走行を実現するための自動走行部として機能する。
また、アクチュエータ220は、制御部120からの制御信号に基づいて、車両C1の部品(例えば、ドア)の動作(例えば、開閉動作)を実現することが可能である。すなわち、アクチュエータ220は、車両C1の部品の動作を制御するための車両部品可動部として機能する。なお、車両C1の部品(例えば、ドア)の動作制御については、公知の制御技術を用いることが可能である。
記憶部140は、各種情報を記憶する記憶媒体である。例えば、記憶部140には制御部120が各種処理を行うために必要となる各種情報(例えば、制御プログラム、停車位置設定情報DB160、判定結果DB170、地図情報DB)が記憶される。また、記憶部140には、通信部150を介して取得された各種情報が記憶される。記憶部140として、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせを用いることができる。
停車位置設定情報DB160には、検出部122により検出された特定オブジェクトと、車両C1の停車位置と、車両C1の停車後に自動で開けるドアと、優先度とに関する各種情報が格納されている。なお、停車位置設定情報DB160については、図6を参照して詳細に説明する。
判定結果DB170には、ユーザU1からの移動指示に基づいて車両C1を自動走行で移動させた場合における各種情報(例えば、判定部126による判定結果)が格納されている。なお、判定結果DB170については、図7を参照して詳細に説明する。
地図情報DBには、車両C1の自動走行等に必要となる道路に関する道路情報等の地図情報が格納されている。その地図情報には、道路の位置、形状等の道路情報(例えば、道路の勾配、道路の交差点、道路の車線数、道幅情報、道路の起伏情報、悪路状態、速度制限、一方通行、横断歩道、区画線、道路構造物(例えば信号機、電信柱))が含まれる。また、地図情報には、各種施設の位置、施設内での走行可能な場所の形状等の情報(例えば、駐車場P1(図1参照)等の位置、形状等)が含まれる。なお、記憶部140に地図情報DBを格納する代わりに、地図情報DBのうちの必要となる情報を、通信部150を介して車両C1の外部から取得して用いてもよい。
[電子機器の構成例]
電子機器MC1は、通信部401と、制御部402と、記憶部403と、操作部404と、音取得部405と、音出力部406と、表示部407と、位置情報取得部408とを備える。電子機器MC1は、スマートフォン、タブレット端末等の情報処理装置でもよく、車両C1のキー(車両信号を使用して車両C1と通信可能)等の車両C1に関連する機器でもよい。
電子機器MC1は、通信部401と、制御部402と、記憶部403と、操作部404と、音取得部405と、音出力部406と、表示部407と、位置情報取得部408とを備える。電子機器MC1は、スマートフォン、タブレット端末等の情報処理装置でもよく、車両C1のキー(車両信号を使用して車両C1と通信可能)等の車両C1に関連する機器でもよい。
通信部401は、制御部402の制御に基づいて、有線通信又は無線通信を利用して、他の機器との間で各種情報のやりとりを行うものである。
制御部402は、記憶部403に記憶されている各種プログラムに基づいて各部を制御するものである。制御部402は、例えば、CPU等の処理装置により実現される。
記憶部403は、各種情報を記憶する記憶媒体である。例えば、記憶部403には制御部402が各種処理を行うために必要となる各種情報(例えば、制御プログラム、移動指示アプリケーション)が記憶される。また、記憶部403には、通信部401を介して取得された各種情報が記憶される。記憶部403として、例えば、ROM、RAM、SRAM、HDD、SSD、又は、これらの組み合わせを用いることができる。
操作部404は、ユーザU1の各種操作を受け付けるものであり、受け付けられた操作内容に関する操作情報を制御部402に出力する。
音取得部405は、電子機器MC1の周囲の音を取得するものであり、取得された音に関する音情報を制御部402に出力する。音取得部として、例えば、1又は複数のマイクや音取得センサを用いることができる。
音出力部406は、制御部402の制御に基づいて、各種音声情報を出力するものである。なお、音出力部406として、例えば、1又は複数のスピーカを用いることができる。
表示部407は、制御部402の制御に基づいて、各種画像を表示するものである。なお、表示部407として、例えば、有機EL(Electro Luminescence)パネル、LCD(Liquid Crystal Display)パネル等の表示パネルを用いることができる。なお、操作部404及び表示部407については、使用者がその指を表示面に接触又は近接することにより操作入力を行うことが可能なタッチパネルとして構成してもよく、別体のユーザインタフェースとして構成してもよい。別体のユーザインタフェース(操作部404)は、例えば、物理的な操作部材(例えば、操作ボタン、操作レバー)である。
位置情報取得部408は、電子機器MC1が存在する位置に関する位置情報を取得するものであり、取得された位置情報を制御部402に出力する。例えば、センサ類210の位置情報取得部と同様に、GNSSを利用して位置情報を取得するGNSS受信機により実現できる。
[電子機器を用いた移動指示の操作例]
次に、電子機器MC1を用いてユーザU1が車両C1の移動指示をする場合の例について説明する。ここでは、図4に示す表示画面410を用いて移動指示をする例について説明する。
次に、電子機器MC1を用いてユーザU1が車両C1の移動指示をする場合の例について説明する。ここでは、図4に示す表示画面410を用いて移動指示をする例について説明する。
例えば、ユーザU1は、表示部407に表示画面410を表示させ、表示画面410における車両呼出ボタン411を選択する選択操作を行うことにより車両C1に移動指示をすることが可能である。この場合に、ユーザU1は、車両C1を待っている状況に応じて、荷物あり選択領域412、赤ちゃんあり選択領域413、複数乗車人あり選択領域414を選択した後に、車両呼出ボタン411を選択する選択操作を行うことが可能である。例えば、図3(A)(D)に示すように、ユーザU1が荷物BG2、BG3を持っている場合には、荷物あり選択領域412を選択状態とする。また、例えば、図3(B)(E)に示すように、ユーザU1が、他のユーザU2、U3、U5、U6と待っている場合には、複数乗車人あり選択領域414を選択状態とする。また、例えば、図3(C)に示すように、ユーザU1が、赤ちゃんU4と待っている場合には、赤ちゃんあり選択領域413を選択状態とする。また、例えば、図3(F)に示すように、ユーザU1が荷物を持たずに一人で待っている場合には、各選択領域を選択状態とせずに、車両呼出ボタン411を選択する選択操作を行う。
車両呼出ボタン411(図4参照)を選択する選択操作が行われた場合には、制御部402は、位置情報取得部408で取得された電子機器MC1の位置情報と、この位置情報に対応する位置まで車両C1を自動走行させるための移動指示情報とを車両C1に送信する。なお、荷物あり選択領域412、赤ちゃんあり選択領域413、複数乗車人あり選択領域414の少なくとも1つが選択状態である場合には、制御部402は、その選択された領域に対応するユーザ状況情報を、上述した移動指示情報に含めて車両C1に送信する。
電子機器MC1から移動指示情報を受信した場合には、情報処理装置100の走行経路生成部124は、その移動指示情報に含まれる電子機器MC1の位置情報に基づいて、ユーザU1の位置を検出する。そして、走行経路生成部124は、車両C1の位置からユーザU1の位置までの走行経路を生成する。この走行経路の生成方法については、公知の経路生成方法を用いることが可能である。
このように、ユーザU1は、自分の位置に車両C1を呼ぶ場合に、自分の状況を車両C1に伝えるのみでよく、車両C1が停車する位置等を車両C1に伝えなくてもよい。なお、ユーザU1が車両C1を待っている場所によっては、車両C1の左右の何れかをユーザU1側にして停車することが可能なことも想定される。そこで、ユーザU1は、車両C1の左右の何れかをユーザU1側にして停車することを電子機器MC1の表示画面410において選択可能としてもよい。例えば、運転席側、又は、助手席側をユーザU1の近くに停車させることを選択可能としてもよい。
また、以上では、表示画面410を操作して車両C1の移動指示を行う例を示したが、電子機器MC1に対してユーザU1が音声で車両C1の移動指示を行ってもよい。例えば、ユーザU1は、電子機器MC1に対して特定の音声を発することで移動指示を行うことが可能である。この場合には、制御部402は、ユーザU1が発した特定の音声を音取得部405から取得し、その特定の音声に基づいて、ユーザU1が移動指示をしたことを検出可能である。また、制御部402は、特定の音声に基づいてユーザU1の移動指示を検出した場合には、位置情報取得部408で取得された電子機器MC1の位置情報と、この位置情報に対応する位置まで車両C1を自動走行させるための移動指示情報とを車両C1に送信する。なお、他の特定の音声(例えば、荷物あるよ、赤ちゃんいるよ、複数の乗車人がいるよ)をユーザU1が発することで、ユーザ状況情報を、上述した移動指示情報に含めて車両C1に送信することも可能である。
ここで、図1に示すように、車両C1とユーザU1との間に他の車両等の障害物が存在することも想定される。この場合には、走行経路生成部124は、公知の経路生成方法を用いて、車両C1とユーザU1との間に存在する障害物を回避する走行経路を生成することが可能である。また、走行経路生成部124は、最初に生成された走行経路を車両C1が走行中に、車両C1の車外画像取得部(センサ類210)により取得された車外画像(車両C1の周囲の画像)に基づいて、走行経路を適宜修正することも可能である。
[停車位置設定情報DB160の構成例]
図6は、記憶部140に記憶されている停車位置設定情報DB160の構成例を簡略化して示す図である。
図6は、記憶部140に記憶されている停車位置設定情報DB160の構成例を簡略化して示す図である。
停車位置設定情報DB160は、検出部122により検出された特定オブジェクトと、車両C1の停車位置と、車両C1の停車後に自動で開けるドアとの関係を格納するデータベースである。具体的には、特定オブジェクト161と、対象位置162と、対象ドア163と、優先度164とが関連付けて停車位置設定情報DB160に格納される。
特定オブジェクト161は、ユーザU1により車両C1の移動指示がされた場合に、検出部122による検出対象となる特定オブジェクトを示す情報である。例えば、ユーザU1が抱っこする赤ちゃん、ユーザU1と一緒に待つ1人又は複数人のユーザ(同乗者)、各種荷物(例えば、小型の荷物、中型の荷物、大型の荷物)が、特定オブジェクトとして検出される。
対象位置162は、特定オブジェクト161に格納されている特定オブジェクトが検出部122により検出された場合に、車両C1を停車させる停車位置を示す情報である。例えば、検出部122により赤ちゃんが検出された場合には、ベビーシートが設置されている座席(例えば、後部座席)の位置が、ユーザU1の目の前となるように車両C1の停車位置が設定される。なお、ベビーシートが設置されている座席については、車内画像取得部(センサ類210(図5参照))により取得された車内画像に基づいて判定可能である。また、車両C1の各座席、トランクルームの状況(例えば、荷物の有無)についても同様に、車内画像取得部により取得された車内画像に基づいて判定可能である。なお、例えば、車両C1の各座席、トランクルームのうち、荷物等が置かれている場合には、荷物等が置かれている位置以外の他の座席、トランクルームを対象位置とすることが可能である。
対象ドア163は、特定オブジェクト161に格納されている特定オブジェクトが検出部122により検出された場合に、車両C1の停車後に自動で開けるドアを示す情報である。例えば、検出部122により赤ちゃんが検出された場合には、ベビーシートが設置されている座席(例えば、後部座席)の位置の近くのドアが自動で開けられるドアとして設定される。
優先度164は、検出部122により複数の特定オブジェクトが検出された場合に、優先すべき特定オブジェクトを設定するために用いられる優先度を示す情報である。例えば、検出部122により赤ちゃんと大型の荷物とが検出された場合には、優先度が高い赤ちゃんの位置に基づいて、対象位置162、対象ドア163が設定される。
なお、優先度164については、ユーザU1が手動で設定してもよく、予め設定された内容を、ユーザU1の行動履歴に基づいて適宜修正してもよい。
[判定結果DB170の構成例]
図7は、記憶部140に記憶されている判定結果DB170の構成例を簡略化して示す図である。
図7は、記憶部140に記憶されている判定結果DB170の構成例を簡略化して示す図である。
判定結果DB170は、ユーザU1からの移動指示に基づいて車両C1を自動走行で移動させた場合における各種情報を格納するデータベースである。具体的には、日時171と、位置情報172と、特定オブジェクト情報173と、特定オブジェクト識別情報174と、乗込情報175と、ユーザ意図一致情報176とが関連付けて判定結果DB170に格納される。
日時171は、ユーザU1からの移動指示に基づいて車両C1を自動走行で移動させた日時を示す情報である。例えば、ユーザU1からの移動指示に基づいて自動走行で移動させた後に車両C1が停車した時刻情報が日時171に格納される。
位置情報172は、ユーザU1からの移動指示に基づいて車両C1を自動走行で移動させた位置に関する情報である。例えば、位置情報取得部(センサ類210(図5参照))により取得された車両C1の位置情報と、記憶部140に格納されている地図情報DBとに基づいて特定された施設、場所等に関する位置情報が位置情報172に格納される。
特定オブジェクト情報173は、ユーザU1から移動指示がされた場合に検出部122により検出された特定オブジェクトを示す情報である。例えば、検出部122(図5参照)により検出された特定オブジェクトを特定するための特定情報が特定オブジェクト情報173に格納される。なお、図7では、説明を容易にするため、特定オブジェクトの名称を特定オブジェクト情報173に格納する例を示す。
特定オブジェクト識別情報174は、特定オブジェクト情報173に特定オブジェクト情報が格納されている特定オブジェクトを識別するための識別情報である。例えば、検出部122が画像認識処理により特定オブジェクトを検出する場合には、その画像認識処理で用いられる画像判定情報(例えば、パターン画像、学習済みモデル)が、特定オブジェクト識別情報174に格納される。なお、図7では、説明を容易にするため、特定オブジェクトを簡略化した形状を特定オブジェクト識別情報174内に模式的に示す。
乗込情報175は、ユーザU1から移動指示がされた場合に検出された特定オブジェクトが、その移動指示に基づいて車両C1が自動走行で移動して停車した後に車両C1に入れられたドアを示す情報である。例えば、「ABCショッピングセンタ」で車両C1の移動指示がされた場合において、検出部122により「バッグ」が検出され、そのバッグが助手席のドアから入れられたときには、「助手席側のフロントドア」が乗込情報175に格納される。
ユーザ意図一致情報176は、ユーザU1から移動指示がされた場合における車両C1の自動走行後の車両C1の停車位置とその停車位置における車両C1の向きとがユーザU1の意図と一致したか否かを示す推定情報である。例えば、判定部126による判定結果がユーザ意図一致情報176に格納される。なお、判定部126による判定処理については、図12等を参照して詳細に説明する。
[ユーザと車両の停車位置との関係例]
図8乃至図11は、移動指示に応じた自動走行後の車両C1の停車位置と、ユーザU1の位置との関係を簡略化して示す図である。
図8乃至図11は、移動指示に応じた自動走行後の車両C1の停車位置と、ユーザU1の位置との関係を簡略化して示す図である。
図8には、車両C1のトランクルームにユーザU1が大型の荷物BG3を積める位置に車両C1が停車し、バックドアBD1を自動で開ける場合の例を示す。すなわち、図8では、検出部122により大型の荷物BG3が特定オブジェクトとして検出され、設定部123により、ユーザU1の目の前に車両C1のバックドアBD1の位置がくるように停車位置が設定され、かつ、バックドアBD1を自動で開ける設定がされた場合の例を示す。
このように、ユーザU1の目の前に車両C1のバックドアBD1の位置がくるように車両C1が停車し、バックドアBD1が自動で開くため、ユーザU1は移動することなく、持っている大型の荷物BG3をすぐにトランクに積むことが可能である。
図9には、車両C1の後部座席にユーザU2、U3が乗れる位置に車両C1が停車し、リアドアRD1を自動で開ける場合の例を示す。すなわち、図9では、検出部122によりユーザU2、U3が特定オブジェクトとして検出され、設定部123により、ユーザU2、U3の目の前に車両C1のリアドアRD1の位置がくるように停車位置が設定され、かつ、リアドアRD1を自動で開ける設定がされた場合の例を示す。
このように、ユーザU2、U3の目の前に車両C1のリアドアRD1の位置がくるように車両C1が停車し、リアドアRD1が自動で開くため、ユーザU2、U3は移動することなく、後部座席にすぐに乗ることが可能である。
図10には、車両C1の後部座席に赤ちゃんU4が乗れる位置に車両C1が停車し、リアドアRD1を自動で開ける場合の例を示す。すなわち、図10では、検出部122により赤ちゃんU4が特定オブジェクトとして検出され、設定部123により、赤ちゃんU4の目の前に車両C1のリアドアRD1の位置がくるように停車位置が設定され、かつ、リアドアRD1を自動で開ける設定がされた場合の例を示す。ここで、検出部122は、車内画像取得部(センサ類210(図5参照))により取得された車内画像に基づいて、各座席における着座状況、各座席におけるチャイルドシートの設置状況を検出可能である。そこで、設定部123は、検出部122により赤ちゃんU4が特定オブジェクトとして検出された場合には、検出部122によりチャイルドシートが検出された座席に対応する位置を停車位置とし、かつ、その位置に対応するドアを開けるドアとして設定する。
このように、ユーザU1の目の前に車両C1のリアドアRD1の位置がくるように車両C1が停車し、リアドアRD1が自動で開くため、ユーザU1は移動することなく、後部座席のチャイルドシートに赤ちゃんU4をすぐに乗せることが可能である。
図11には、車両C1の運転席にユーザU1が乗れる位置に車両C1が停車し、フロントドアFD1を自動で開ける場合の例を示す。すなわち、図11では、検出部122により特定オブジェクトが検出されなかったため、設定部123により、ユーザU1の目の前に車両C1のフロントドアFD1の位置がくるように停車位置が設定され、かつ、フロントドアFD1を自動で開ける設定がされた場合の例を示す。
このように、ユーザU1の目の前に車両C1のフロントドアFD1の位置がくるように車両C1が停車し、フロントドアFD1が自動で開くため、ユーザU1は移動することなく、運転席にすぐに乗ることが可能である。
[情報処理システムの動作例]
図12は、情報処理装置100における車両移動処理の一例を示すフローチャートである。また、この車両移動処理は、記憶部140(図5参照)に記憶されているプログラムに基づいて、制御部120(図5参照)により実行される。また、この車両移動処理は、制御周期毎に実行される。また、この車両移動処理では、図1乃至図11を適宜参照して説明する。
図12は、情報処理装置100における車両移動処理の一例を示すフローチャートである。また、この車両移動処理は、記憶部140(図5参照)に記憶されているプログラムに基づいて、制御部120(図5参照)により実行される。また、この車両移動処理は、制御周期毎に実行される。また、この車両移動処理では、図1乃至図11を適宜参照して説明する。
ステップS501において、走行経路生成部124は、車両C1の移動指示を受け付けたか否かを判定する。例えば、検出部122によりユーザU1の特定のジェスチャーが検出された場合、検出部122によりユーザU1の特定の呼び出し声が検出された場合、又は、電子機器MC1からの移動指示情報を受信した場合には、車両C1の移動指示を受け付けたと判定される。車両C1の移動指示を受け付けた場合には、ステップS502に進む。一方、車両C1の移動指示を受け付けていない場合には監視を継続して行う。
ステップS502において、走行経路生成部124は、ステップS501で受け付けた車両C1の移動指示を出したユーザU1の位置を取得する。例えば、検出部122によりユーザU1の特定のジェスチャーが検出された場合には、車外画像取得部(センサ類210(図5参照))により取得された車両C1の周囲の車外画像のうち、ユーザU1が含まれる車外画像に基づいてユーザU1の位置を取得することが可能である。この場合には、例えば、ユーザU1が含まれる車外画像に基づいて、車両C1を基準とするユーザU1の方向を取得可能である。また、例えば、車外画像におけるユーザU1の大きさに基づいて、車両C1からユーザU1までの距離を取得可能である。これらにより、ユーザU1の位置を取得可能である。
また、例えば、検出部122によりユーザU1の特定の呼び出し声が検出された場合には、音取得部(センサ類210(図5参照))により取得された車両C1の周囲の音のうち、ユーザU1が発した呼び出し声に基づいてユーザU1の位置を取得することが可能である。この場合には、例えば、ユーザU1が発した呼び出し声に基づいて、車両C1を基準とするユーザU1の方向を取得可能である。また、例えば、ユーザU1が発した呼び出し声の大きさに基づいて、車両C1からユーザU1までの距離を取得可能である。これらにより、ユーザU1の位置を取得可能である。なお、特定のジェスチャー、呼び出し声に基づいて取得されたユーザU1の位置については、走行経路生成部124により生成された走行経路を車両C1が自動走行している間に取得された車外画像等に基づいて適宜修正可能である。
また、例えば、電子機器MC1からの移動指示情報を受信した場合には、その移動指示情報に含まれる電子機器MC1の位置情報に基づいてユーザU1の位置を取得することが可能である。
ステップS503において、走行経路生成部124は、ステップS502で取得されたユーザU1の位置までの走行経路を生成する。上述したように、走行経路生成部124は、位置情報取得部により取得された車両C1の現在地と、ユーザU1の位置と、地図情報DBとに基づいて、車両C1の現在地からユーザU1の位置までの走行経路を生成可能である。また、例えば、車両C1とユーザU1とを結ぶ直線状の経路に車両C1が走行可能な路面が存在し、かつ、障害物が存在しない場合には、走行経路生成部124は、その直線状の経路を走行経路として生成可能である。一方、車両C1とユーザU1とを結ぶ直線状の経路に車両C1が走行可能な路面が存在しない場合、又は、その経路に障害物が存在する場合等には、走行経路生成部124は、地図情報DBに基づいて抽出可能なユーザU1の位置までの1又は複数の経路のうちから、車両C1が自動走行可能な経路を選択して走行経路を生成可能である。なお、これらの走行経路の生成方法については、公知の走行経路生成技術を用いることが可能である。
ステップS504において、動作制御部125は、ステップS503で生成された走行経路について自動走行に問題がないことを確認した後に、車両C1を自動走行させるための制御を開始する。例えば、走行経路生成部124は、検出部122により検出された車両C1の周囲に存在するオブジェクトを確認し、車両C1の走行経路において障害物が存在するか否かを確認する。例えば、図1に示すように、駐車場P1において車両C1を自動走行させる場合には、他の車両が障害物として検出される可能性がある。この場合には、走行経路生成部124は、検出された障害物を迂回する新たな走行経路を生成する。また、車両C1が自動走行を開始した後においても、走行経路生成部124は、車両C1の走行経路において障害物が存在するか否かを順次確認し、障害物が検出された場合には、その検出された障害物を迂回する新たな走行経路を順次生成する。
ステップS505において、検出部122は、車外画像取得部(センサ類210)により取得された車外画像に基づいてユーザU1、特定オブジェクト等を検出する検出処理を実行する。この検出処理では、ユーザの人数、ユーザの属性(例えば、性別、年齢、世代、外見)、ユーザに付随する特定オブジェクト(例えば、荷物)を検出する。例えば、検出部122は、複数のユーザが存在する場合には、個人識別技術を用いて、それらのうちの誰がドライバであるかを検出可能である。例えば、ユーザU1がドライバである場合には、検出部122は、複数のユーザのうちからユーザU1を識別し、この識別結果に基づいて車両C1のドライバであるユーザU1を特定可能である。
なお、図12では、車両C1が自動走行を開始した後に、ユーザU1、特定オブジェクト等を検出する検出処理を実行する例を示すが、これに限定されない。例えば、ステップS501でユーザU1からの移動指示を受け付けた直後に、ユーザU1、特定オブジェクト等を検出する検出処理を実行することが可能である場合には、そのタイミングで検出処理を実行してもよい。
ステップS506において、設定部123は、ステップS505で特定オブジェクトが検出されたか否かを判定する。特定オブジェクトが検出された場合には、ステップS507に進む。一方、特定オブジェクトが検出されなかった場合には、ステップS508に進む。
ステップS507において、設定部123は、ステップS505で検出された特定オブジェクトに基づいて、車両C1の停車位置及びその停車位置における車両C1の向きと、自動で開けるドアとを設定する。具体的には、設定部123は、停車位置設定情報DB160(図6参照)を用いて、ステップS505で検出された特定オブジェクト161に対応する対象位置162、対象ドア163のそれぞれの情報を抽出する。そして、設定部123は、抽出された対象位置162の位置を基準として車両C1の停車位置を設定し、抽出された対象ドア163のドアを自動で開けるドアとして設定する。車両C1の向きについては、図1に示すように、車両C1の停車場所が決められている場合には、その停車場所に応じた車両C1の向きが設定される。一方、図2に示すように、車両C1の停車場所が決められていない場合には、車両C1の出発地から停車位置までの走行経路に応じて車両C1の向きが適宜設定される。例えば、停車後の車両C1が出発し易い位置及び向きを設定することが好ましい。例えば、車両C1に乗ったユーザU1が向かうと想定される車両C1の進行方向を車両C1の前側とする向きを設定することが考えられる。また、例えば、ユーザU1の過去の履歴情報に基づいて車両C1の向きを設定してもよい。例えば、ユーザU1が運転席側から荷物等を入れることが多い場合には、ユーザU1の目の前に運転席側のドアが配置されるように、車両C1の停車位置とその停車位置における車両C1の向きとを設定することが可能である。なお、これらについては、一例であり、他の設定方法を採用してもよい。また、例えば、車両C1の停車位置及びその停車位置における車両C1の向きと、特定オブジェクトとの関係については、実験又はシミュレーション等に基づいて適宜設定可能である。
また、ステップS505で複数の特定オブジェクトが検出された場合には、各特定オブジェクトに設定されている優先度164(図6参照)を用いて、車両C1の停車位置及びその停車位置における車両C1の向きと、自動で開けるドアとを設定可能である。例えば、設定部123は、優先度164が最も高い特定オブジェクトに対応する対象位置162を車両C1の停車位置とし、優先度164が最も高い特定オブジェクトに対応する対象ドア163を、自動で開けるドアとして設定可能である。この場合には、優先度164が最も高い特定オブジェクトを、自動で開けるドアに乗せ易い位置及び向きを、車両C1の停車位置及びその停車位置における車両C1の向きとして設定可能である。例えば、優先度が最も高い特定オブジェクトが赤ちゃんである場合には、ベビーシートが設置されている座席の近くのドアを、自動で開けるドアとして設定可能である。この場合には、ベビーシートが設置されている座席の近くのドアから、赤ちゃんを抱っこしている人物がその赤ちゃんを乗せ易い位置及び向きを、車両C1の停車位置及びその停車位置における車両C1の向きとして設定可能である。なお、停車位置における車両C1の向きについては、1つの特定オブジェクトが検出された場合と同様に、車両C1の停車場所等に基づいて適宜設定可能である。また、車両C1の停車位置及びその停車位置における車両C1の向きと、優先度が最も高い特定オブジェクトとの関係については、実験又はシミュレーション等に基づいて適宜設定可能である。
ステップS508において、設定部123は、車両C1の運転席又は助手席の位置がユーザの位置となるように、車両C1の停車位置を設定する。すなわち、ドライバであるユーザU1自身又はその周囲に特定オブジェクトが存在しないため、車両C1にはユーザU1のみが乗ると想定される。このため、ユーザU1が車両C1の運転席に乗り込みやすいように、車両C1の運転席又は助手席の位置がユーザの位置となるように、車両C1の停車位置が設定される。また、その設定された車両C1の停車位置でユーザの位置となる何れかの席(車両C1の運転席又は助手席)のドアが、自動で開けられるドアとして設定される。例えば、図1に示すように、車両C1の停車場所が決められている場合には、その停車場所に応じた車両C1の向きで、車両C1の運転席又は助手席の位置がユーザの位置となるように、車両C1の停車位置が設定される。一方、図2に示すように、車両C1の停車場所が決められていない場合には、車両C1の運転席の位置がユーザの位置となるように、車両C1の停車位置が設定される。
ステップS509において、動作制御部125は、ステップS504で自動走行が開始された車両C1が、ステップS507又はS508で設定された停車位置に到着したか否かを判定する。具体的には、動作制御部125は、位置情報取得部により取得された車両C1の位置情報と、設定部123により設定された停車位置の位置情報とに基づいて、車両C1が停車位置に到着したか否かを判定する。例えば、動作制御部125は、位置情報取得部により取得された車両C1の位置情報と、設定部123により設定された停車位置の位置情報とが一致した場合には、車両C1が停車位置に到着したと判定可能である。
ステップS510において、動作制御部125は、ステップS507又はS508で設定された停車位置に到着した車両C1を停車させ、この停車後に、ステップS507又はS508で設定されたドアを開ける制御を実行する。例えば、図10に示すように、ユーザU1が赤ちゃんを抱っこしている場合には、ベビーシートが設置されている後部座席のリアドアRD1の位置がユーザU1の位置にくるように車両C1が停車し、車両C1の停車後にリアドアRD1が開けられる。
ステップS511において、判定部126は、ステップS501で受け付けた車両C1の移動指示を出したユーザU1の意図を正しく認識したか否かを判定する。例えば、ステップS510で自動で開けられたドアと、ステップS505で検出された特定オブジェクトを車両C1に入れたドアとの関係に基づいて、ユーザU1の意図を正しく認識したか否かを判定可能である。具体的には、検出部122は、車外画像取得部及び車内画像取得部(センサ類210(図5参照))のそれぞれにより取得された車外画像及び車内画像に基づいて、車両C1の停車後のユーザU1及び特定オブジェクトの動きを検出可能である。このユーザU1及び特定オブジェクトの動きについては、公知の動体検出技術を用いることが可能である。また、判定部126は、検出部122により検出された車両C1の停車後のユーザU1及び特定オブジェクトの動きに基づいて、ステップS510で自動で開けられたドアから、ステップS505で検出された特定オブジェクトが入れられたか否かを判定する。
例えば、図8に示すように、バックドアBD1が自動で開けられた場合において、ユーザU1が荷物BG3をトランクルームに入れたときには、自動で開けられたドアから特定オブジェクトが入れられたと判定可能である。この場合には、判定部126は、車両C1の移動指示を出したユーザU1の意図を正しく認識したと判定可能である。一方、例えば、図8に示すように、バックドアBD1が自動で開けられた場合において、ユーザU1がリアドアRD2を開け、荷物BG3を後部座席に入れたときには、自動で開けられたドアから特定オブジェクトが入れられなかったと判定可能である。この場合には、判定部126は、車両C1の移動指示を出したユーザU1の意図を正しく認識できなかったと判定可能である。ユーザU1の意図を正しく認識できた場合には、ステップS512に進む。一方、ユーザU1の意図を正しく認識できなかった場合には、ステップS513に進む。
なお、検出された特定オブジェクトと自動で開けられたドアとの関係に基づいて、ユーザU1の意図を正しく認識したか否かを判定する判定方法以外に、他の判定方法を用いてもよい。例えば、車両C1の停車後に、車両C1に乗る前にユーザU1が歩いた距離に基づいて、ユーザU1の意図を正しく認識したか否かを判定してもよい。例えば、車両C1の停車後に、車両C1に乗る前にユーザU1が歩いた距離が閾値(例えば数m程度)以上である場合には、ユーザU1の意図に反する位置に車両C1が停車したり、ユーザU1の意図に反するドアが開いたりしたことが想定される。そこで、この場合には、ユーザU1の意図を正しく認識できなかったと判定可能である。一方、車両C1の停車後に、車両C1に乗る前にユーザU1が歩いた距離が閾値未満である場合には、ユーザU1の意図に一致する位置に車両C1が停車したり、ユーザU1の意図に一致するドアが開いたりしたことが想定される。そこで、この場合には、ユーザU1の意図を正しく認識できたと判定可能である。
また、例えば、車両C1の停車後におけるユーザU1又は周囲のユーザの動作(例えば、声、表情、リアクション)に基づいて、ユーザU1の意図を正しく認識したか否かを判定してもよい。例えば、車両C1の停車後に、ユーザU1が特定のキーワード(例えば、「違うじゃないか」等の否定的な言葉)を発したり、特定の表情(例えば、怒る表情)をしたり、特定のリアクション(例えば、怒るリアクション)をしたりした場合には、ユーザU1の意図に反する位置に車両C1が停車したり、ユーザU1の意図に反するドアが開いたりしたことが想定される。そこで、この場合には、ユーザU1の意図を正しく認識できなかったと判定可能である。一方、車両C1の停車後に、ユーザU1が特定のキーワード(例えば、「ありがとう」等の肯定的な言葉)を発したり、特定の表情(例えば、笑顔の表情)をしたり、特定のリアクション(例えば、頷くリアクション)をしたりした場合には、ユーザU1の意図に一致する位置に車両C1が停車したり、ユーザU1の意図に一致するドアが開いたりしたことが想定される。そこで、この場合には、ユーザU1の意図を正しく認識できたと判定可能である。
ステップS512において、判定部126は、ステップS501で受け付けた車両C1の移動指示を出したユーザU1の状況、停止位置等を記憶部140の判定結果DB170に格納する。
ステップS513において、判定部126は、車両C1の移動指示を出したユーザU1の意図を正しく認識できなかった原因を推定する。例えば、ユーザU1が中型の荷物を持った状態で車両C1の移動指示をした場合を想定する。この場合には、設定部123は、停車位置設定情報DB160に基づいて、後部座席の位置がユーザU1の目の前にくる位置を停車位置として設定し、後部座席のリアドアを自動で開けるドアとして設定する。この設定に応じて車両C1が停車した後に、ユーザU1が助手席側のフロントドアから中型の荷物を入れた場合には、ユーザU1の意図を正しく認識できなかった原因として、荷物のサイズの誤検出、自動で開けるドアの誤設定等が推定可能である。なお、これらの推定結果は、一例であり、他の推定方法を採用してもよい。また、例えば、人工知能(AI:Artificial Intelligence)を利用して原因を推定してもよい。
ステップS514において、判定部126は、ステップS513で推定された原因と、ステップS501で受け付けた車両C1の移動指示を出したユーザU1の状況、停止位置等を記憶部140の判定結果DB170に格納する。なお、推定された原因については、ユーザU1の状況、停止位置等に関連付けて判定結果DB170に格納可能である。
このように、判定結果DB170に格納された判定結果については、これ以降にユーザU1により移動指示がされた場合に用いることが可能である。例えば、ユーザU1が中型の荷物を持った状態で車両C1の移動指示をした場合を想定する。この場合には、設定部123は、停車位置設定情報DB160に基づいて、後部座席の位置がユーザU1の目の前にくる位置を停車位置として設定し、後部座席のリアドアを自動で開けるドアとして設定する。ただし、判定結果DB170には、中型の荷物を持った状態で移動指示がされた場合には、助手席側のフロントドアからその荷物を入れることが記録されていることも想定される。このように、停車位置設定情報DB160に基づく設定内容と、判定結果DB170に基づく設定内容とが異なる場合には、判定結果DB170を優先的に用いるようにする。すなわち、この場合には、設定部123は、判定結果DB170に基づいて、助手席の位置がユーザU1の目の前にくる位置を停車位置として設定し、助手席のフロントドアを自動で開けるドアとして設定する。なお、同一の特定オブジェクトについて異なる内容の判定結果が判定結果DB170に格納されている場合には、それらを考慮した内容(最も多い内容)を用いてもよく、最新の内容を用いてもよい。
以上では、検出部122により検出された特定オブジェクトの有無等に基づいて、車両C1の停車位置とその停車位置における車両C1の向きとを設定する設定処理等を実行する例を示した。ただし、他の方法によりその設定処理等を実行してもよい。例えば、人工知能(AI)を利用して設定処理等を実行することが可能である。例えば、ユーザU1自身及びユーザU1の周囲の状況と、車両C1の停車後のユーザU1の行動とを予め学習しておき、この学習データを設定処理等に用いることが可能である。例えば、ユーザU1自身及びユーザU1の周囲の状況、車両C1の停車後のユーザU1の行動等についてその学習データを用いて、車両C1の停車位置とその停車位置における車両C1の向きとを設定し、その設定された停車位置及び向きで車両C1を停車させることが可能である。
また、以上では、ユーザU1に付帯する特定オブジェクトの有無及びその特定オブジェクトの属性(例えば、赤ちゃん、荷物のサイズ)に基づいて、車両C1の停車位置とその停車位置における車両C1の向きとを設定する例を示した。ただし、ユーザU1による入力(移動指示)の種別(例えば、ジェスチャー、声、電子機器MC1)に基づいて車両C1の停車位置とその停車位置における車両C1の向きとを設定してもよい。例えば、ユーザU1による電子機器MC1の操作により移動指示がされた場合には、その移動指示情報に基づいて検出されたユーザU1の位置、特定オブジェクトの属性の精度が高いと想定される。そこで、この場合には、その移動指示情報に基づいて検出されたユーザU1の位置、特定オブジェクトの属性のみを用いて車両C1の停車位置とその停車位置における車両C1の向きとを設定可能である。また、例えば、ユーザU1による特定のジェスチャー、特定の呼び出し音等により移動指示がされた場合には、その移動指示に基づいて検出されたユーザU1の位置、特定オブジェクトの属性の精度が相対的に低いと想定される。このため、車両C1の走行中において取得された車外画像等を用いてユーザU1の位置、特定オブジェクトの属性等を順次検出し、その検出された最新のユーザU1の位置、最新の特定オブジェクトの属性を用いて車両C1の停車位置とその停車位置における車両C1の向きとを適宜修正可能である。
[本実施形態の効果例]
このように、本実施形態では、車両C1の外からユーザU1がジェスチャー、呼びかけ、電子機器MC1等を用いて車両C1の移動指示をすると、ユーザU1の位置まで車両C1を自動走行させることが可能である。この場合には、移動指示をしたユーザU1の持ち物、ユーザU1の周囲状況(人数、ドライバか否か)を検出し、その検出結果に基づいて、車両C1をユーザU1の近くまで移動させた後に、ユーザU1が意図する位置に停車させ、自動でドアを開けることが可能である。
このように、本実施形態では、車両C1の外からユーザU1がジェスチャー、呼びかけ、電子機器MC1等を用いて車両C1の移動指示をすると、ユーザU1の位置まで車両C1を自動走行させることが可能である。この場合には、移動指示をしたユーザU1の持ち物、ユーザU1の周囲状況(人数、ドライバか否か)を検出し、その検出結果に基づいて、車両C1をユーザU1の近くまで移動させた後に、ユーザU1が意図する位置に停車させ、自動でドアを開けることが可能である。
例えば、移動指示をしたユーザU1が大型の荷物を持っていた場合に、車両C1の停車位置を設定せずに、フロントドア付近がユーザU1の目の前となる位置に車両C1を停車させる場合を想定する。この場合には、車両C1が停車後に、ユーザU1は、大型の荷物をバックドアBD1に乗せるため、バックドアBD1まで徒歩で移動した後に、バックドアBD1を手で開け、大型の荷物をバックドアBD1に乗せることが考えられる。
これに対して、本実施形態では、例えば、図8に示すように、移動指示をしたユーザU1が大型の荷物BG3を持っていた場合には、バックドアBD1がユーザU1の目の前となる位置に車両C1を停車させ、バックドアBD1を自動で開ける。このため、ユーザU1は、車両C1の停車後に、バックドアBD1まで徒歩で移動することと、バックドアBD1を手で開けることと、を省略することが可能である。これにより、ユーザU1の意図に応じた適切な位置に車両C1を停車させ、ユーザU1の意図に応じた適切なドアを自動で開けることが可能である。このように、車両C1を呼び出したユーザU1の状況を理解し寄り添うことで、車両C1への信頼をより高めることが可能である。また、車両C1がユーザU1をバックドアBD1に誘導してくれるような移動制御を実行可能である。
[他の機器、他のシステムにおいて処理を実行させる例]
なお、以上では、受付処理、検出処理、設定処理、判定処理、制御処理等を情報処理装置100において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器(例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、IVI(In-Vehicle Infotainment))、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
なお、以上では、受付処理、検出処理、設定処理、判定処理、制御処理等を情報処理装置100において実行する例を示したが、それらの各処理の全部又は一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、車載機器、ユーザが使用可能な機器(例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、カーナビゲーション装置、IVI(In-Vehicle Infotainment))、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。
また、情報処理装置100の機能を実行可能な情報処理システムの一部(又は全部)については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばSaaS(Software as a Service)である。
[本実施形態の構成例及びその効果]
本実施形態に係る情報処理方法は、設定された目的地までの走行経路に沿って車両を自動走行させる制御を実行する情報処理方法である。この情報処理方法は、車両C1の外部に位置するユーザU1からの移動指示を受け付ける受付処理(ステップS501)と、ユーザU1及びユーザU1の周囲のうちの少なくとも一部において特定オブジェクトを検出する検出処理(ステップS505)と、ユーザU1の位置を目的地として設定し、特定オブジェクトの検出結果に基づいて当該目的地での停車位置を設定する設定処理(ステップS506乃至S508)とを含む。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置100が実行可能な各機能をコンピュータに実現させるプログラムである。
本実施形態に係る情報処理方法は、設定された目的地までの走行経路に沿って車両を自動走行させる制御を実行する情報処理方法である。この情報処理方法は、車両C1の外部に位置するユーザU1からの移動指示を受け付ける受付処理(ステップS501)と、ユーザU1及びユーザU1の周囲のうちの少なくとも一部において特定オブジェクトを検出する検出処理(ステップS505)と、ユーザU1の位置を目的地として設定し、特定オブジェクトの検出結果に基づいて当該目的地での停車位置を設定する設定処理(ステップS506乃至S508)とを含む。また、本実施形態に係るプログラムは、これらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、情報処理装置100が実行可能な各機能をコンピュータに実現させるプログラムである。
この構成によれば、移動指示をしたユーザU1自身又は周囲の状況に基づいて、ユーザU1の意図に応じた適切な位置に車両C1を停車させることが可能である。このように、車両C1を呼び出したユーザU1の状況を理解し寄り添うことで、車両C1への信頼をより高めることが可能である。また、車両C1がユーザU1の意図する位置に誘導してくれるような移動制御を実行可能である。
本実施形態に係る情報処理方法において、設定処理(ステップS506、S507)では、特定オブジェクトが検出された場合には、当該特定オブジェクトの属性に基づいて停車位置を設定する。例えば、検出された特定オブジェクトの属性に応じた位置を対象位置162から抽出して設定することが可能である。一方、設定処理(ステップS506、S508)では、特定オブジェクトが検出されなかった場合には、目的地に基づいて所定の停車位置を設定する。例えば、目的地に基づいて、運転席又は助手席の位置がユーザU1の位置となるように車両C1の停車位置を設定可能である。
この構成によれば、検出された特定オブジェクトの属性に応じた適切な位置に車両C1を停車させることが可能である。
本実施形態に係る情報処理方法において、車両C1の外部の画像を取得する取得処理(ステップS505)をさらに備え、検出処理(ステップS505)では、その画像に含まれるユーザU1の画像及びユーザU1の周囲の画像に基づいて特定オブジェクトを検出する。
この構成によれば、車両C1の外部の画像に基づいて特定オブジェクトを検出することが可能であるため、特定オブジェクトの検出精度を高めることが可能である。
本実施形態に係る情報処理方法において、受付処理(ステップS501)では、ユーザU1による特定の動きと、ユーザU1から発せられた特定の声と、ユーザU1が所持する電子機器MC1から送信された移動指示情報とのうちの少なくとも1つに基づいて移動指示を受け付ける。例えば、表示画面410(図4参照)における車両呼出ボタン411を選択する選択操作をすることにより移動指示情報を送信可能である。
この構成によれば、ユーザU1は、待っている場所の状況に応じた適切な移動指示をすることが可能であるため、移動指示を容易に実行可能である。
本実施形態に係る情報処理方法において、電子機器MC1は、特定オブジェクトに関するオブジェクト情報がユーザU1の操作入力により選択された場合には、そのオブジェクト情報を含む移動指示情報を送信する。例えば、表示画面410(図4参照)における荷物あり選択領域412、赤ちゃんあり選択領域413、複数乗車人あり選択領域414を選択する選択操作をすることにより、オブジェクト情報を含む移動指示情報を送信可能である。検出処理(ステップS505)では、その移動指示情報に含まれるオブジェクト情報に基づいて特定オブジェクトを検出する。
この構成によれば、ユーザU1の操作入力により選択されたオブジェクト情報に基づいて特定オブジェクトを検出することが可能であるため、特定オブジェクトの検出精度を高めることが可能である。
本実施形態に係る情報処理方法において、検出処理(ステップS505)では、ユーザU1及びユーザU1の周囲のうちの少なくとも一部において存在するオブジェクトを検出し、当該オブジェクトが、所定サイズよりも大きい荷物と、所定の属性に属する人物とのうちの少なくとも1つである場合に、当該オブジェクトを特定オブジェクトとして検出する。例えば、停車位置設定情報DB160の特定オブジェクト161(図6参照)に格納されている各オブジェクトを特定オブジェクトとして検出可能である。
この構成によれば、車両C1の停車位置とその停車位置における車両C1の向きとを設定する際に用いられる特定オブジェクトを予め設定しておくことが可能である。
本実施形態に係る情報処理方法において、設定処理(ステップS506乃至S508)では、特定オブジェクトの検出結果に基づいて車両C1の停車位置とその停車位置での車両C1の向きとを設定する。例えば、図1に示すように、車両C1の停車場所が決められている場合には、その停車場所に応じた車両C1の向き(例えば、助手席側をユーザU1側とする向き)が設定される。一方、図2に示すように、車両C1の停車場所が決められていない場合には、車両C1の出発地から停車位置までの走行経路に応じて車両C1の向きが適宜設定される。
この構成によれば、検出された特定オブジェクトに応じた適切な停車位置での車両C1の向きを設定可能である。
本実施形態に係る情報処理方法において、車両C1は、各ドアを自動で開閉するためのアクチュエータ220を備える。設定処理(ステップS506乃至S508)では、停車位置で車両C1を停車させた後に自動で開けるドアを、特定オブジェクトの検出結果に基づいて設定する。
この構成によれば、移動指示をしたユーザU1自身又は周囲の状況に基づいて、ユーザU1の意図に応じた適切な位置に車両C1を停車させ、ユーザU1の意図に応じた適切なドアを自動で開けることが可能である。このように、車両C1を呼び出したユーザU1の状況を理解し寄り添うことで、車両C1への信頼をより高めることが可能である。また、車両C1がユーザU1の意図する位置に誘導してくれるような移動制御を実行可能である。
本実施形態に係る情報処理方法において、検出処理(ステップS505)において複数の特定オブジェクトが検出された場合にはそれらの各特定オブジェクトのそれぞれに優先度が設定される。例えば、停車位置設定情報DB160の優先度164(図6参照)に応じた優先度が設定される。設定処理(ステップS506乃至S508)では、複数の特定オブジェクトのうちから優先度が最も高い特定オブジェクトの位置に基づいて車両C1の停車位置を設定する。
この構成によれば、車両C1の停車位置を設定する際における特定オブジェクトの優先度を予め設定しておくことが可能である。これにより、ユーザU1の状況の優先度に応じた適切な停車位置で車両C1を停車可能である。
本実施形態に係る情報処理方法において、車両C1は、各ドアを自動で開閉するためのアクチュエータ220を備える。設定処理(ステップS506乃至S508)では、停車位置で車両C1を停車させた後に自動で開けるドアを、優先度が最も高い特定オブジェクトに基づいて設定する。
この構成によれば、車両C1の停車位置を設定する際における特定オブジェクトの優先度を予め設定しておくことが可能である。これにより、ユーザU1の状況の優先度に応じた適切な停車位置での車両C1の向きを設定可能である。
本実施形態に係る情報処理方法において、特定オブジェクトには、ユーザU1以外の他のユーザが含まれる。
この構成によれば、移動指示をしたユーザU1と一緒に他のユーザが車両C1を待っている場合には、その一緒に待っている他のユーザを考慮して車両C1の停車位置を設定可能である。これにより、移動指示をしたユーザU1の周囲の状況に基づいて、ユーザU1の意図に応じた適切な位置に車両C1を停車させることが可能である。
本実施形態に係る情報処理方法において、自動で開けることが設定されたドアと、検出処理(ステップS505)で検出された特定オブジェクトが車両C1内に入れられたドアとの関係に基づいて、停車位置がユーザU1の意図にあった位置であるか否かを判定する判定処理(ステップS511)と、判定処理での判定結果を記憶部140に記憶させる記憶処理(ステップS512、S514)とをさらに含む。設定処理(ステップS506乃至S508)では、特定オブジェクトが検出された場合には、当該特定オブジェクトに関する過去の判定処理(ステップS511)による判定結果に基づいて車両C1の停車位置を設定する。例えば、判定結果DB170に基づいて車両C1の停車位置を設定可能である。
この構成によれば、ユーザU1の過去の行動履歴を考慮して車両C1の停車位置を設定可能である。これにより、移動指示をしたユーザU1の意図に応じた適切な位置に車両C1を停車させることが可能である。
情報処理装置100は、設定された目的地までの走行経路に沿って車両C1を自動走行させる制御を実行する情報処理装置である。情報処理装置100は、車両C1の外部に位置するユーザU1からの移動指示を受け付ける受付部121と、ユーザU1及びユーザU1の周囲のうちの少なくとも一部において特定オブジェクトを検出する検出部122と、ユーザU1の位置を目的地として設定し、特定オブジェクトの検出結果に基づいて当該目的地での停車位置を設定する設定部123とを備える。なお、情報処理装置100の代わりに、情報処理装置100により実現される各処理を実行可能な複数の機器により構成される情報処理システムとしてもよい。
この構成によれば、移動指示をしたユーザU1自身又は周囲の状況に基づいて、ユーザU1の意図に応じた適切な位置に車両C1を停車させることが可能である。このように、車両C1を呼び出したユーザU1の状況を理解し寄り添うことで、車両C1への信頼をより高めることが可能である。また、車両C1がユーザU1の意図する位置に誘導してくれるような移動制御を実行可能である。
なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。
なお、本実施形態の各処理は、各種の処理手順をコンピュータに実行させるためのプログラムに基づいて実行される。本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
Claims (13)
- 設定された目的地までの走行経路に沿って車両を自動走行させる制御を実行する情報処理方法であって、
前記車両の外部に位置するユーザからの移動指示を受け付ける受付処理と、
前記ユーザ及び前記ユーザの周囲のうちの少なくとも一部において特定オブジェクトを検出する検出処理と、
前記ユーザの位置を前記目的地として設定し、前記特定オブジェクトの検出結果に基づいて当該目的地での停車位置を設定する設定処理と、を含む、
情報処理方法。 - 請求項1に記載の情報処理方法であって、
前記設定処理では、前記特定オブジェクトが検出された場合には、当該特定オブジェクトの属性に基づいて前記停車位置を設定し、前記特定オブジェクトが検出されなかった場合には、前記目的地に基づいて所定の停車位置を設定する、
情報処理方法。 - 請求項1に記載の情報処理方法であって、
前記車両の外部の画像を取得する取得処理、をさらに備え、
前記検出処理では、前記画像に含まれる前記ユーザの画像及び前記ユーザの周囲の画像に基づいて前記特定オブジェクトを検出する、
情報処理方法。 - 請求項1に記載の情報処理方法であって、
前記受付処理では、前記ユーザによる特定の動きと、前記ユーザから発せられた特定の声と、前記ユーザが所持する電子機器から送信された移動指示情報とのうちの少なくとも1つに基づいて前記移動指示を受け付ける、
情報処理方法。 - 請求項4に記載の情報処理方法であって、
前記電子機器は、前記特定オブジェクトに関するオブジェクト情報が前記ユーザの操作入力により選択された場合には、前記オブジェクト情報を含む前記移動指示情報を送信し、
前記検出処理では、前記移動指示情報に含まれる前記オブジェクト情報に基づいて前記特定オブジェクトを検出する、
情報処理方法。 - 請求項1に記載の情報処理方法であって、
前記検出処理では、前記ユーザ及び前記ユーザの周囲のうちの少なくとも一部において存在するオブジェクトを検出し、当該オブジェクトが、所定サイズよりも大きい荷物と、所定の属性に属する人物とのうちの少なくとも1つである場合に、当該オブジェクトを前記特定オブジェクトとして検出する、
情報処理方法。 - 請求項1から6の何れかに記載の情報処理方法であって、
前記設定処理では、前記特定オブジェクトの検出結果に基づいて前記停車位置と当該停車位置での前記車両の向きとを設定する、
情報処理方法。 - 請求項1から6の何れかに記載の情報処理方法であって、
前記車両は、各ドアを自動で開閉するためのアクチュエータを備え、
前記設定処理では、前記停車位置で前記車両を停車させた後に自動で開けるドアを、前記特定オブジェクトの検出結果に基づいて設定する、
情報処理方法。 - 請求項1から6の何れかに記載の情報処理方法であって、
前記検出処理において複数の前記特定オブジェクトが検出された場合には当該特定オブジェクトのそれぞれに優先度が設定され、
前記設定処理では、複数の前記特定オブジェクトのうちから前記優先度が最も高い前記特定オブジェクトの位置に基づいて前記停車位置を設定する、
情報処理方法。 - 請求項9に記載の情報処理方法であって、
前記車両は、各ドアを自動で開閉するためのアクチュエータを備え、
前記設定処理では、前記停車位置で前記車両を停車させた後に自動で開けるドアを、前記優先度が最も高い前記特定オブジェクトに基づいて設定する、
情報処理方法。 - 請求項1から6の何れかに記載の情報処理方法であって、
前記特定オブジェクトには、前記ユーザ以外の他のユーザが含まれる、
情報処理方法。 - 請求項8に記載の情報処理方法であって、
自動で開けることが設定されたドアと、前記検出処理で検出された前記特定オブジェクトが前記車両内に入れられたドアとの関係に基づいて、前記停車位置が前記ユーザの意図にあった位置であるか否かを判定する判定処理と、
前記判定処理での判定結果を記憶部に記憶させる記憶処理と、をさらに含み、
前記設定処理では、前記特定オブジェクトが検出された場合には、当該特定オブジェクトに関する過去の前記判定処理による判定結果に基づいて前記停車位置を設定する、
情報処理方法。 - 設定された目的地までの走行経路に沿って車両を自動走行させる制御を実行する情報処理装置であって、
前記車両の外部に位置するユーザからの移動指示を受け付ける受付部と、
前記ユーザ及び前記ユーザの周囲のうちの少なくとも一部において特定オブジェクトを検出する検出部と、
前記ユーザの位置を前記目的地として設定し、前記特定オブジェクトの検出結果に基づいて当該目的地での停車位置を設定する設定部と、を備える、
情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/015287 WO2025220153A1 (ja) | 2024-04-17 | 2024-04-17 | 情報処理方法及び情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2024/015287 WO2025220153A1 (ja) | 2024-04-17 | 2024-04-17 | 情報処理方法及び情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025220153A1 true WO2025220153A1 (ja) | 2025-10-23 |
Family
ID=97403055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/015287 Pending WO2025220153A1 (ja) | 2024-04-17 | 2024-04-17 | 情報処理方法及び情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025220153A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008009913A (ja) * | 2006-06-30 | 2008-01-17 | Toyota Motor Corp | 車両自動運転システム |
| JP2020140348A (ja) * | 2019-02-27 | 2020-09-03 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、及びプログラム |
| JP2020157943A (ja) * | 2019-03-27 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| JP2020157953A (ja) * | 2019-03-27 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| WO2020201802A1 (ja) * | 2019-04-03 | 2020-10-08 | 日産自動車株式会社 | 配車サービス乗車地決定方法及び配車サービス乗車地決定システム |
-
2024
- 2024-04-17 WO PCT/JP2024/015287 patent/WO2025220153A1/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008009913A (ja) * | 2006-06-30 | 2008-01-17 | Toyota Motor Corp | 車両自動運転システム |
| JP2020140348A (ja) * | 2019-02-27 | 2020-09-03 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、及びプログラム |
| JP2020157943A (ja) * | 2019-03-27 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| JP2020157953A (ja) * | 2019-03-27 | 2020-10-01 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| WO2020201802A1 (ja) * | 2019-04-03 | 2020-10-08 | 日産自動車株式会社 | 配車サービス乗車地決定方法及び配車サービス乗車地決定システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021203701B2 (en) | Recognizing assigned passengers for autonomous vehicles | |
| CN111033427B (zh) | 用于无人驾驶车辆的情境感知停止 | |
| US12552416B2 (en) | Identifying a customer of an autonomous vehicle | |
| CN111619569B (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
| KR20190138307A (ko) | 자율 차량들에서의 승객들의 조기 탑승 | |
| CN113573946A (zh) | 自主车辆的通信 | |
| EP4246267B1 (en) | Vehicle calling method, intelligent vehicle, and device | |
| US11904900B2 (en) | Autonomous vehicle for blind people | |
| CN114194104B (zh) | 自动驾驶车用信息提示装置 | |
| US11279376B2 (en) | Vehicle control device and vehicle control method | |
| US12330589B2 (en) | Arranging passenger trips for autonomous vehicles | |
| CN111619550A (zh) | 车辆控制装置、车辆控制系统、车辆控制方法及存储介质 | |
| CN111746438B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
| CN110228439A (zh) | 车辆管理系统、车辆管理方法及存储介质 | |
| CN111717218A (zh) | 车辆控制系统、车辆控制方法及存储介质 | |
| US20220080965A1 (en) | Open vehicle and operation management system thereof | |
| JP6739017B1 (ja) | 観光支援装置、該装置が搭載されたロボット、観光支援システム、及び観光支援方法 | |
| JP7616133B2 (ja) | 遠隔運転システム | |
| US12415548B1 (en) | Holistic and inclusive wayfinding | |
| WO2026036255A1 (zh) | 自动驾驶的方法和装置 | |
| CN116872956A (zh) | 一种辅助驾驶方法、装置及车辆 | |
| CN122070242A (en) | Processing system, learning method, processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24935281 Country of ref document: EP Kind code of ref document: A1 |