WO2020250645A1 - 車載通信装置、車両遠隔操作システム、通信方法およびプログラム - Google Patents

車載通信装置、車両遠隔操作システム、通信方法およびプログラム Download PDF

Info

Publication number
WO2020250645A1
WO2020250645A1 PCT/JP2020/020366 JP2020020366W WO2020250645A1 WO 2020250645 A1 WO2020250645 A1 WO 2020250645A1 JP 2020020366 W JP2020020366 W JP 2020020366W WO 2020250645 A1 WO2020250645 A1 WO 2020250645A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
information
operator
unit
interior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/020366
Other languages
English (en)
French (fr)
Inventor
渉 片瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of WO2020250645A1 publication Critical patent/WO2020250645A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present invention relates to an in-vehicle communication device, a vehicle remote control system, a communication method and a program.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for supporting a occupant of a remotely controlled vehicle.
  • the vehicle-mounted communication device includes a traveling information acquisition unit that acquires traveling information including information about a remotely operated vehicle and information about the surroundings of the vehicle, and vehicle interior information that acquires vehicle interior information about the interior of the vehicle.
  • the acquisition unit, the transmission unit that transmits the traveling information, the vehicle interior information or the information based on the vehicle interior information to the remote control device for remotely operating the vehicle, the operation command information for remotely operating the vehicle, and the vehicle.
  • It is provided with a receiving unit that receives operator information about an operator who remotely operates the vehicle from a remote operating device, and a presentation control unit that presents the operator information in the interior of the vehicle.
  • This vehicle remote control system includes an in-vehicle communication device mounted on the vehicle to be remotely controlled and a remote control device for remotely controlling the vehicle.
  • the in-vehicle communication device includes a driving information acquisition unit that acquires driving information including information about the vehicle and information about the surroundings of the vehicle, an vehicle interior information acquisition unit that acquires vehicle interior information about the interior of the vehicle, driving information, and the interior of the vehicle.
  • the remote control device provides a vehicle-side transmitter that transmits information or information based on vehicle interior information to the remote control device, operation command information for remotely controlling the vehicle, and operator information about the operator who remotely controls the vehicle.
  • the remote control device estimates the state of the occupant of the vehicle based on the operation side receiver that receives the vehicle interior information or the information based on the vehicle interior information from the in-vehicle communication device, the information based on the vehicle interior information, and the vehicle interior information.
  • In-vehicle communication between the operator information control unit that controls the transmission of operator information based on at least one of the information about the occupant state estimated by the occupant state estimation unit and the operator information control unit under the control of the operator information control unit. Includes an operating side transmitter that transmits to the device.
  • Yet another aspect of the present invention is a communication method.
  • This method includes a step of acquiring driving information including information about a remotely operated vehicle and information about the surroundings of the vehicle, a step of acquiring vehicle interior information about the interior of the vehicle, traveling information, and interior information or the interior of the vehicle.
  • a remote control device that transmits information based on information to a remote control device for remote control of the vehicle, operation command information for remote control of the vehicle, and operator information about an operator who remotely controls the vehicle. It includes a step of receiving from the vehicle and a step of presenting the operator information in the vehicle interior.
  • This embodiment is an in-vehicle communication device mounted on a remotely controlled vehicle.
  • This in-vehicle communication device communicates with a remote control device for remotely controlling the vehicle, transmits driving information necessary for remote control of the vehicle to the remote control device, and controls the behavior of the vehicle from the remote control device. Receive command information.
  • the in-vehicle communication device acquires information about the interior of the vehicle and transmits it to the remote control device so that the remote control device can grasp the situation inside the vehicle and the state of the occupants.
  • some information can be presented from the operator of the remote control device to the occupants of the vehicle according to the situation in the vehicle interior and the state of the occupants, so that the occupants can be appropriately supported.
  • FIG. 1 is a block diagram schematically showing a functional configuration of the vehicle remote control system 10 according to the embodiment.
  • the vehicle remote control system 10 includes an in-vehicle communication device 12 mounted on the vehicle 90 and a remote control device 50 provided outside the vehicle 90.
  • the in-vehicle communication device 12 communicates with the remote control device 50 through an external network 92 such as the Internet.
  • Each functional block shown in the figure can be realized by elements and mechanical devices such as a computer CPU and memory in terms of hardware, and by a computer program or the like in terms of software, but here, by linking them. It is drawn as a functional block to be realized. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by combining hardware and software.
  • the in-vehicle communication device 12 is connected to various devices mounted on the vehicle 90 via the in-vehicle network 48.
  • the vehicle-mounted sensor 30, vehicle control ECU 32, engine ECU 34, brake ECU 36, steering ECU 38, vehicle interior sensor 40, vehicle interior input device 42, vehicle interior presentation device 44, and the like are connected to the vehicle interior network 48.
  • the in-vehicle network 48 is composed of, for example, CAN (Controller Area Network) or Ethernet (registered trademark).
  • the in-vehicle communication device 12 is not limited to being connected to various devices via a single in-vehicle network 48, and the in-vehicle communication device 12 and various devices may be individually connected by wire or wirelessly.
  • the vehicle-mounted communication device 12 and the vehicle control ECU 32 may be connected via CAN, and the vehicle-mounted communication device 12 and the liquid crystal display, which is a form of the vehicle interior presentation device 44, may be connected via a wired cable.
  • the in-vehicle communication device 12 Before describing the functional configuration of the in-vehicle communication device 12 in detail, the in-vehicle device will be described.
  • the in-vehicle sensor 30 is a device for acquiring running information including information on the vehicle 90 and information on the surroundings of the vehicle 90.
  • Specific examples of the in-vehicle sensor 30 include a vehicle speed sensor, a steering angle sensor, an accelerator operation amount sensor, a brake operation amount sensor, an acceleration sensor, a gyro sensor, an in-vehicle camera, a radar sensor, a lidar (LiDAR; Light Detection and Ringing), and a position information sensor. (For example, GNSS; Global Navigation Satellite System) and the like, but are not limited thereto.
  • the in-vehicle sensor 30 outputs the travel information including the acquired information about the vehicle 90 and the information about the surroundings of the vehicle 90 to the travel information acquisition unit 14.
  • the vehicle control ECU 32 is a control device for controlling the behavior of the vehicle 90, and controls the operations of the engine ECU 34, the brake ECU 36, the steering ECU 38, etc. that control each of the driving, braking, and steering of the vehicle 90.
  • the vehicle control ECU 32 operates according to the operation command information from the remote control device 50.
  • the behavior of the vehicle 90 is controlled according to the driving operation of the operator who handles the remote control device 50.
  • the vehicle control ECU 32 outputs control information related to driving, braking, and steering of the vehicle 90 to the traveling information acquisition unit 14.
  • the vehicle interior sensor 40 is a device for acquiring information on the interior of the vehicle 90, and is configured to acquire information on the vehicle interior space and information on the occupants.
  • the vehicle interior sensor 40 include a temperature sensor, a humidity sensor, a carbon dioxide concentration sensor, a seating sensor, an occupant heart rate sensor, a vehicle interior camera, and a microphone.
  • the vehicle interior sensors 40 may be provided at one location to monitor the entire interior of the vehicle 90, or may be provided at a plurality of locations so that occupants seated in each of the plurality of seats in the vehicle interior can be individually detected. May be done.
  • the vehicle interior camera is configured to take an image of each occupant's face and detect each occupant's facial expression, line-of-sight direction, etc. by image recognition technology.
  • the vehicle interior input device 42 is a device for receiving an input operation from an occupant in the vehicle interior.
  • the vehicle interior input device 42 may be composed of, for example, buttons or switches operated by the user's hand, or may be composed of a touch panel or the like. It may be configured to accept user voice input and may include, for example, a microphone.
  • the vehicle interior input device 42 may be a user device or a mobile terminal provided with a touch panel or a microphone, and may be connected to the vehicle-mounted communication device 12 via a wire or wirelessly.
  • the user device or mobile terminal may be connected to the remote control device 50 via the Internet and function as the vehicle interior input device 42.
  • the vehicle interior presentation device 44 is a device for presenting information in the vehicle interior.
  • the vehicle interior presentation device 44 is, for example, a display device such as a liquid crystal display or a head-up display, and is configured to be visible to an occupant seated in the vehicle interior.
  • the vehicle interior presentation device 44 may include a speaker provided in the vehicle interior, and may be configured to be able to present information by voice.
  • the vehicle interior presentation device 44 may be a user device or a mobile terminal provided with a liquid crystal display or a speaker, and may be connected to the vehicle-mounted communication device 12 via a wire or wirelessly.
  • the user device or mobile terminal may be connected to the remote control device 50 via the Internet and function as the vehicle interior presentation device 44.
  • the in-vehicle communication device 12 includes a driving information acquisition unit 14, a vehicle interior information acquisition unit 16, an occupant state estimation unit 18, a voice recognition unit 20, a request determination unit 22, a vehicle side transmission unit 24, a vehicle side reception unit 26, and a presentation control unit. 28 is provided.
  • the driving information acquisition unit 14 acquires driving information including information on the vehicle 90 and information on the surroundings of the vehicle 90 from the vehicle-mounted sensor 30 and the vehicle control ECU 32.
  • the traveling information acquisition unit 14 acquires information to be transmitted to the remote control device 50 in order to remotely control the vehicle 90.
  • the traveling information acquisition unit 14 acquires information such as the speed, acceleration, accelerator operation amount, brake operation amount, steering amount, and vehicle attitude of the own vehicle as information regarding the vehicle 90.
  • the traveling information acquisition unit 14 acquires a captured image of the surroundings of the vehicle (for example, in front of the vehicle), distance information to an object around the vehicle, and the like as information about the surroundings of the vehicle 90.
  • the traveling information acquisition unit 14 calculates the positional relationship such as the inter-vehicle distance and the relative speed with other vehicles traveling around the vehicle from the captured image around the vehicle and the distance information to the object around the vehicle. (Shown) may be further included.
  • the travel information acquisition unit 14 may further include a sign recognition unit that recognizes a road sign indicating a temporary stop, a travel regulation speed, or the like, a pedestrian crossing, a signal, a railroad crossing, or the like.
  • the vehicle interior information acquisition unit 16 acquires vehicle interior information regarding the interior of the vehicle 90 from the vehicle interior sensor 40.
  • the vehicle interior information acquisition unit 16 acquires information such as the temperature, humidity, carbon dioxide concentration, seating status of each seat, occupant's heart rate, captured image in the vehicle interior, and sound in the vehicle interior as vehicle interior information. To do.
  • the occupant state estimation unit 18 estimates the occupant state in the vehicle interior based on the vehicle interior information acquired by the vehicle interior information acquisition unit 16.
  • the occupant state estimation unit 18 estimates the presence or absence of occupants and the number of occupants based on the information indicating the seating status acquired by the vehicle interior information acquisition unit 16 and the captured image of the vehicle interior.
  • the occupant state estimation unit 18 may estimate the occupant's arousal level and emotion based on the temperature, humidity, carbon dioxide concentration, sound pressure level, occupant's heart rate, occupant's face image, and the like in the vehicle interior.
  • the occupant state estimation unit 18 may determine the occupant's posture, face orientation, eye opening, number of blinks, etc.
  • the occupant state estimation unit 18 is, for example, that the occupant is sleeping, the occupant is relaxing, the occupant is enjoying conversation, reading, music, watching a video, etc. You may presume that you are surprised.
  • the occupant state estimation unit 18 may determine the behavior of the occupant, such as the occupant being fidgety or the line of sight being uncomfortable, from the captured image in the vehicle interior, and may presume that he / she feels anxiety.
  • the occupant state estimation unit 18 may include a machine learning unit (not shown) that estimates the occupant's state from an image captured in the vehicle interior by using a technique such as machine learning.
  • the machine learning unit may include a learned learning model and infer the state of the occupant based on the learning model.
  • the occupant state estimation unit 18 may estimate the occupant state based on the travel information acquired by the travel information acquisition unit 14.
  • the occupant state estimation unit 18 may detect the behavior of the vehicle 90, which is considered to be easy for the occupant to feel anxiety, based on the traveling information.
  • the occupant state estimation unit 18 may presume that the occupant feels anxiety or surprise when, for example, sudden braking, sudden acceleration, sudden steering, or the like is performed. In addition, it may be presumed that the passenger feels uneasy when the vehicle 90 is caught in a traffic jam or when it is expected that the vehicle 90 cannot reach the destination by the scheduled time.
  • the occupant state estimation unit 18 may estimate the occupant's state by combining the travel information acquired by the travel information acquisition unit 14 and the vehicle interior information acquired by the vehicle interior information acquisition unit 16. For example, it may be presumed that the occupant is surprised when sudden braking occurs while the occupant is sleeping and the occupant awakens.
  • the occupant state estimation unit 18 may include a voice recognition unit 20.
  • the voice recognition unit 20 analyzes the content of remarks in the vehicle interior based on the vehicle interior information acquired by the vehicle interior information acquisition unit 16.
  • the voice recognition unit 20 determines whether the conversation in the vehicle interior is completed between the occupants or is directed to the remote-controlled operator.
  • the voice recognition unit 20 is aimed at the operator who remotely controls, for example, when the content is to be called to the operator or when the conversation between the occupants is interrupted without continuing the conversation about the vehicle 90 or the road condition. It may be determined that the contents are specified.
  • the request determination unit 22 determines whether or not to request the remote control device 50 to transmit the operator information based on the occupant state estimated by the occupant state estimation unit 18. It can be said that the request determination unit 22 determines whether or not the operator information needs to be transmitted based on the vehicle interior information acquired by the vehicle interior information acquisition unit 16.
  • "operator information” refers to information about an operator who operates the remote control device 50, and includes images and voices of the operator, messages from the operator, age, gender, driving characteristics, and operation of the operator. Profile information showing the evaluation of a person.
  • the request determination unit 22 determines whether or not the occupant of the vehicle has requested the transmission of information about the operator who is operating the vehicle.
  • the request determination unit 22 determines that the occupant's support by the operator is necessary and determines that the operator information is necessary. To do.
  • the request determination unit 22 does not require the support of the occupant by the operator. Deemed, it is determined that the operator information is unnecessary.
  • the request determination unit 22 may determine that the operator information is unnecessary.
  • the request determination unit 22 determines based on the analysis of the voice recognition unit 20 that the occupant state estimation unit 18 is directed to the operator who remotely controls the conversation in the vehicle interior. It may be determined that. When the occupant state estimation unit 18 determines that the conversation in the vehicle interior is completed between the occupants based on the analysis of the voice recognition unit 20, the request determination unit 22 determines that the operator information is unnecessary. You may. The request determination unit 22 may determine the necessity of the operator information based on the conversation volume between the occupants, or may determine that the operator information is unnecessary when the conversation volume is equal to or higher than a predetermined value.
  • the request determination unit 22 may determine whether or not the operator information needs to be transmitted based on the input to the vehicle interior input device 42. When a request indicating that the operator information needs to be transmitted is input to the vehicle interior input device 42, the request determination unit 22 may determine that the operator information needs to be transmitted. When the request determination unit 22 inputs a request to the vehicle interior input device 42 that the transmission of the operator information is unnecessary, the request determination unit 22 may determine that the transmission of the operator information is unnecessary.
  • the vehicle side transmission unit 24 transmits information to the remote control device 50.
  • the vehicle-side transmission unit 24 transmits the travel information acquired by the travel information acquisition unit 14.
  • the vehicle-side transmission unit 24 transmits at least one of vehicle interior information and information based on vehicle interior information.
  • vehicle interior information is information directly acquired by the vehicle interior information acquisition unit 16.
  • information based on the vehicle interior information is information on the occupant state estimated by the occupant state estimation unit 18, information on the content of the conversation analyzed by the voice recognition unit 20, or determination by the request determination unit 22. This is information regarding the necessity of operator information to be performed.
  • the vehicle-side transmission unit 24 transmits the request information for requesting the remote control device 50 to transmit the operator information.
  • the vehicle-side transmission unit 24 prevents the request information of the operator information from being transmitted.
  • the vehicle-side transmission unit 24 may transmit request information to the effect that the operator information is unnecessary.
  • the vehicle-side transmission unit 24 may transmit only a part of the vehicle interior information and the information based on the vehicle interior information.
  • the vehicle-side transmission unit 24 may, for example, transmit image data obtained by capturing an image of the vehicle interior or an occupant toward the remote control device 50, but does not transmit large-sized information such as image data, and other information.
  • Information based on small-sized vehicle interior information or vehicle interior information, for example, vehicle interior voice data or only the opening of the eyes of the occupant may be transmitted.
  • the vehicle-side transmission unit 24 may select information to be transmitted according to the travel information of the vehicle 90 acquired by the travel information acquisition unit 14. For example, when the vehicle 90 is traveling and the traveling information should be preferentially transmitted, at least a part of the vehicle interior information or the information based on the vehicle interior information is not transmitted, and communication competition is caused. By suppressing the driving information, the traveling information may be transmitted more reliably. On the other hand, when the vehicle 90 is stopped and it is not essential to transmit the traveling information, both the vehicle interior information and the information based on the vehicle interior information are transmitted, and the operator can transmit the vehicle interior situation. May be made possible to grasp in more detail.
  • the vehicle side transmission unit 24 gives priority to the remote control device 50 for traveling information. And the remote control device 50 may not transmit at least a part of the vehicle interior information or the information based on the vehicle interior information. By doing so, the operator can surely grasp whether or not the vehicle 90 behaves as if it was remotely controlled.
  • the vehicle-side transmission unit 24 may be configured to transmit at least information regarding the necessity of operator information regardless of whether the vehicle 90 is running or stopped.
  • the vehicle-side receiving unit 26 receives information from the remote control device 50.
  • the vehicle-side receiving unit 26 receives operation command information for remotely controlling the vehicle 90.
  • the operation command information includes, for example, information that specifies an operation mode such as an accelerator, a brake, and a steering wheel.
  • the operation command information may include information for designating on / off of hazard lamps, horns, blinkers, and the like.
  • the received operation command information is transmitted to the vehicle control ECU 32, and the behavior of the vehicle 90 is controlled according to the operation command information.
  • the vehicle-side receiving unit 26 receives operator information about an operator who remotely controls the vehicle 90 from the remote control device 50.
  • the presentation control unit 28 causes the vehicle-side receiving unit 26 to present the operator information received by the vehicle-side receiving unit 26 into the interior of the vehicle 90 through the vehicle interior presenting device 44.
  • the presentation control unit 28 displays the received image or character information on the display as the vehicle interior presenting device 44.
  • the presentation control unit 28 causes the speaker as the vehicle interior presentation device 44 to reproduce the received voice.
  • the remote control device 50 includes an operation side reception unit 52, an operation side transmission unit 54, a remote operation control unit 56, an operator information control unit 58, an operation display unit 60, an operation input unit 62, and an operator information acquisition unit 64. Be prepared.
  • the remote control device 50 may include a vehicle interior information presentation unit 66.
  • the operation side receiving unit 52 receives information from the in-vehicle communication device 12.
  • the operation side receiving unit 52 receives the traveling information of the vehicle 90 and the vehicle interior information of the vehicle 90 or the information based on the vehicle interior information.
  • the operation side transmission unit 54 transmits information to the vehicle-mounted communication device 12.
  • the operation side transmission unit 54 transmits the operation command information for remotely controlling the vehicle 90 and the operator information regarding the operator who remotely controls the vehicle 90.
  • the remote control control unit 56 causes the operation display unit 60 to display the traveling information necessary for the remote control of the vehicle 90. Based on the travel information received by the operation side receiving unit 52, the remote control control unit 56 includes an image captured around the vehicle 90 acquired by the travel information acquisition unit 14 and an inter-vehicle distance from another vehicle traveling around the vehicle 90. , The speed of the vehicle 90 and the like are displayed on the operation display unit 60. The remote control control unit 56 generates operation command information based on an input operation to the operation input unit 62 by the operator, and causes the operation side transmission unit 54 to transmit the generated operation command information.
  • the operator information control unit 58 controls the transmission of the operator information by the operation side transmission unit 54 based on the information regarding the necessity of the operator information received by the operation side reception unit 52.
  • the operator information control unit 58 transmits the operator information acquired by the operator information acquisition unit 64 to the operation side transmitting unit 54. Send it.
  • the operation side receiving unit 52 does not receive the request information or receives the request information indicating that the operator information is unnecessary, the operation side receives the operator information acquired by the operator information acquisition unit 64.
  • the transmission unit 54 is prevented from transmitting.
  • the operator information control unit 58 may have the vehicle interior information presenting unit 66 present the vehicle interior information received by the operating side receiving unit 52 or information based on the vehicle interior information.
  • the operation display unit 60 is a display for an operator who remotely controls the vehicle 90, and is configured to simulate the field of view seen from the driver's seat of the vehicle 90, for example.
  • the operation input unit 62 is a device for performing a driving operation for remotely controlling the vehicle 90, and is configured to simulate, for example, a steering wheel, an accelerator, a brake, a shift lever, etc. provided in the driver's seat.
  • the operation input unit 62 may be configured to be able to operate the headlight, horn, blinker, hazard lamp, wiper, door opening / closing, window opening / closing, air conditioner, audio, etc. of the vehicle 90.
  • the operator information acquisition unit 64 is various devices for acquiring operator information related to the operator, and includes, for example, a camera for photographing the operator and a microphone for acquiring the voice of the operator.
  • the operator information acquisition unit 64 may acquire profile information such as the operator's age, gender, driving characteristics, and evaluation of the operator.
  • the operator information acquisition unit 64 may acquire profile information from a database (not shown) in which profile information is stored. You may get it.
  • As the driving characteristics of the operator for example, information such as a lot of sudden braking, a tendency for a short inter-vehicle distance, and a tendency not to stop at the timing of changing to a red light is stored.
  • points such as high driving skill and good or bad attitude toward the occupant are evaluated and stored as operator information.
  • the vehicle interior information presentation unit 66 presents to the operator the vehicle interior information received by the operation side receiving unit 52 or information based on the vehicle interior information.
  • the vehicle interior information presentation unit 66 includes a display and a speaker, and visually or audibly presents vehicle interior information or information based on the vehicle interior information to the operator.
  • the vehicle interior information presentation unit 66 displays, for example, an image of the interior of the vehicle 90, outputs a sound inside the vehicle 90, displays the temperature, humidity, carbon dioxide concentration, etc. of the vehicle 90.
  • the vehicle interior information presentation unit 66 may present the state of the occupants of the vehicle 90, or may present the necessity of the operator information.
  • the in-vehicle communication device 12 acquires the traveling information of the vehicle 90 and transmits the acquired traveling information to the remote control device 50.
  • the remote control device 50 receives traveling information, for example, a surrounding image of the vehicle 90 from the vehicle-mounted communication device 12, displays it on the operation display unit 60, and enables the operator to remotely control the vehicle through the operation input unit 62.
  • the remote control device 50 generates operation command information based on the operation of the operation input unit 62, for example, the steering wheel operation, and transmits the operation command information such as rotating the steering wheel to the right by 10 degrees to the vehicle-mounted communication device 12. ..
  • the in-vehicle communication device 12 transmits the received operation command information to the vehicle control ECU 32 so that the vehicle 90 can travel based on the operation command information.
  • the vehicle-mounted communication device 12 further acquires vehicle interior information of the vehicle 90.
  • the in-vehicle communication device 12 determines the necessity of the operator information by estimating the state of the occupant and analyzing the conversation content of the occupant based on the acquired vehicle interior information.
  • the in-vehicle communication device 12 transmits the acquired vehicle interior information, the estimated occupant state information, and the information regarding the necessity of the operator information to the remote control device 50.
  • the remote control device 50 controls the transmission of the operator information to the in-vehicle communication device 12 based on the necessity of the received operator information.
  • the remote control device 50 transmits the operator information to the vehicle-mounted communication device 12 if the operator information is required, and does not transmit the operator information to the vehicle-mounted communication device 12 if the operator information is not required. ..
  • the remote control device 50 presents the received vehicle interior information and information on the state of the occupant to the operator so that the operator can appropriately support the occupant of the vehicle 90 according to the situation inside the vehicle interior.
  • the necessity of the operator information is determined according to the situation in the vehicle interior, and the transmission of the operator information is controlled based on the determination result. Therefore, it is considered that the support of the operator is necessary. Can properly support occupants under certain circumstances. For example, when the occupant is sleeping or the occupant is enjoying a conversation or watching a video, it is possible to prevent the occupant from disturbing the sleep or conversation by presenting the operator information. On the other hand, when the occupant feels uneasy about the driving operation or needs the support of the operator such as route explanation and tourist information, the occupant's needs can be met by presenting the operator information. This makes it possible to improve the convenience of the occupants who use the remotely controlled vehicle.
  • the necessity of the operator information is determined according to the situation in the vehicle interior. Therefore, the operator should sequentially check the images and sounds in the vehicle interior and whether or not the operator should speak out. The effort to determine whether or not can be reduced. As a result, it is possible to create an environment in which the operator can easily concentrate on the driving operation, and it is possible to improve the convenience of the operator.
  • the present embodiment by presenting the profile information of the operator, it is possible to reduce the anxiety of the occupant as compared with the case where the operator is not known because the profile information is not presented. ..
  • the operator has the skill to arrive earlier at the destination although there is a tendency for sudden acceleration and braking, by presenting profile information when the occupant feels anxiety or surprise due to sudden acceleration etc. Compared to the case where no information is presented, the anxiety and dissatisfaction of the occupants can be reduced.
  • the amount of data transmitted from the vehicle-mounted communication device 12 to the remote control device 50 by preventing the vehicle interior information or a part of the information based on the vehicle interior information from being transmitted to the remote control device 50. Can be reduced, the increase in communication traffic can be suppressed, and the communication time required for communication can be shortened.
  • the remote control device 50 is prevented from transmitting relatively large data such as image data for capturing the vehicle interior and the occupant, and the in-vehicle communication device 12 estimates the occupant state and determines the necessity of operator information.
  • edge processing such as judgment, it is possible to convert and transmit small-sized data such as information on the estimated occupant status and the necessity of operator information. As a result, it is possible to notify the operator of the situation inside the vehicle interior while ensuring more reliable communication of driving information and operation command information that are indispensable for remote control.
  • the operator is notified of the occupant's status and the necessity of the operator's information. Therefore, the operator can safely operate the vehicle 90 by remote control at the timing when the occupant's support is required. You can stop it. Further, after the vehicle 90 is stopped, communication of traveling information and operation command information becomes unnecessary, so that it is easy to communicate large-sized data such as image data of the vehicle interior and image data of the operator. Become. As a result, the operator and the occupant can have a conversation while looking at each other's images while the vehicle is stopped, and it is possible to provide a detailed response to the occupant.
  • FIG. 2 is a flowchart showing the flow of the communication method of the in-vehicle communication device 12.
  • the traveling information acquisition unit 14 acquires the traveling information (S10), and the vehicle interior information acquisition unit 16 acquires the vehicle interior information (S12).
  • the request determination unit 22 determines the necessity of the operator information based on the vehicle interior information (S14). When it is determined that the operator information is necessary (Y in S16), the vehicle-side transmission unit 24 transmits the traveling information and the request information of the operator information (S18).
  • the vehicle-side receiving unit 26 receives the operation command information and the operator information (S20), and the presentation control unit 28 causes the received operator information to be presented in the vehicle interior (S22).
  • the vehicle-side transmission unit 24 transmits the traveling information but does not transmit the request information of the operator information (S24).
  • the vehicle-side receiving unit 26 receives the operation command information (S26).
  • FIG. 3 is a block diagram showing a functional configuration of the vehicle remote control system 110 according to another embodiment.
  • the vehicle remote control system 110 includes an in-vehicle communication device 112 and a remote control device 150.
  • the vehicle-mounted communication device 112 is not provided with the occupant state estimation unit 18, the voice recognition unit 20, and the request determination unit 22, and instead, the remote control device 150 is provided with the occupant state estimation unit 170 and the request determination unit 172. Be done.
  • the present embodiment will be described focusing on the differences from the above-described embodiment.
  • the in-vehicle communication device 112 includes a traveling information acquisition unit 14, a vehicle interior information acquisition unit 16, a vehicle-side transmission unit 124, a vehicle-side reception unit 26, and a presentation control unit 28.
  • the traveling information acquisition unit 14, the vehicle interior information acquisition unit 16, the vehicle side reception unit 26, and the presentation control unit 28 are configured in the same manner as in the above-described embodiment.
  • the vehicle-side transmission unit 124 is configured to constantly transmit the travel information acquired by the travel information acquisition unit 14 and the vehicle interior information acquired by the vehicle interior information acquisition unit 16 to the remote control device 150.
  • the vehicle-side transmission unit 124 transmits vehicle interior information to the remote control device 150 regardless of the vehicle interior condition and the occupant condition.
  • the remote control device 150 includes an operation side reception unit 52, an operation side transmission unit 54, a remote operation control unit 56, an operator information control unit 158, an operation display unit 60, an operation input unit 62, an operator information acquisition unit 64, and the like.
  • the vehicle interior information presentation unit 66 is included.
  • the remote control device 150 is configured in the same manner as in the above-described embodiment except for the operator information control unit 158.
  • the operator information control unit 158 includes an occupant state estimation unit 170 and a request determination unit 172.
  • the occupant state estimation unit 170 estimates the occupant state of the vehicle 90 based on the vehicle interior information received by the operation side receiving unit 52.
  • the occupant state estimation unit 170 may estimate the occupant state of the vehicle 90 based on the travel information received by the operation side reception unit 52, and estimate the state of the vehicle 90 based on both the travel information and the vehicle interior information. You may.
  • the occupant state estimation unit 170 can be configured in the same manner as the occupant state estimation unit 18 according to the above-described embodiment, for example.
  • the request determination unit 172 determines the necessity of the operator information based on the vehicle interior information received by the operation side receiving unit 52 and the occupant state estimated by the occupant state estimation unit 170.
  • the request determination unit 172 can be configured in the same manner as the request determination unit 22 according to the above-described embodiment, for example.
  • the operator information control unit 158 causes the operation side transmission unit 54 to transmit the operator information based on the determination result of the request determination unit 172.
  • the operator information control unit 158 causes the operation side transmission unit 54 to transmit the operator information.
  • the request determination unit 172 determines that the operator information is unnecessary, the operation side transmission unit 54 is prevented from transmitting the operator information.
  • the necessity of the operator information is determined according to the situation in the vehicle interior and the state of the occupant, and the transmission of the operator information is controlled based on the determination result, so that the operator's support is provided. Appropriate support for occupants in situations where it is deemed necessary.
  • the occupant state estimation unit 18 may be provided in the vehicle-mounted communication device 12, and the request determination unit 172 may be provided in the remote control device 50. Further, a part of the occupant state estimation unit and the request determination unit may be provided in the vehicle-mounted communication device 12, and the rest of the occupant state estimation unit and the request determination unit may be provided in the remote control device 50.
  • the vehicle-side transmission unit 24 of the vehicle-mounted communication device 12 includes the vehicle interior information acquired by the vehicle interior information acquisition unit 16 and the information regarding the occupant state estimated by the occupant state estimation unit 18 as information based on the vehicle interior information. Information including at least one of the above is transmitted to the remote control device 50.
  • 10 ... Vehicle remote control system, 12 ... In-vehicle communication device, 14 ... Driving information acquisition unit, 16 ... Vehicle interior information acquisition unit, 18 ... Crew state estimation unit, 20 ... Voice recognition unit, 22 ... Request judgment unit, 24 ... Vehicle Side transmitter, 26 ... Vehicle side receiver, 28 ... Presentation control unit, 50 ... Remote control device, 52 ... Operation side receiver, 54 ... Operation side transmitter, 58 ... Operator information control unit, 90 ... Vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Traffic Control Systems (AREA)

Abstract

車載通信装置１２は、遠隔操作される車両９０に関する情報および車両９０の周囲に関する情報を含む走行情報を取得する走行情報取得部１４と、車両９０の室内に関する車室内情報を取得する車室内情報取得部１６と、走行情報と、車室内情報または車室内情報に基づく情報とを車両９０を遠隔操作するための遠隔操作装置５０に送信する送信部２４と、車両９０を遠隔操作するための操作指令情報と、車両９０を遠隔操作する操作者に関する操作者情報とを遠隔操作装置５０から受信する受信部２６と、操作者情報を車両９０の室内に提示させる提示制御部２８と、を備える。

Description

車載通信装置、車両遠隔操作システム、通信方法およびプログラム
　本発明は、車載通信装置、車両遠隔操作システム、通信方法およびプログラムに関する。
　近年、車両の走行を車内の運転者の操作によらずに車外から遠隔操作する技術の開発が進められている。人員を輸送するための車両を遠隔操作する場合、遠隔操作される車両に運転者や乗務員がいないために乗員が不安を覚える可能性が考えられる。乗員の不安を低減するため、遠隔操作する操作者の画像を乗客に表示する技術が提案されている（例えば、特許文献１参照）。
特開２０１７－１５８１４９号公報
　遠隔操作される車両の乗員に対し、遠隔操作する操作者の画像を単に表示するのではなく、より適切な対応ができることが望ましい。
　本発明は、上述の事情に鑑みてなされたものであり、遠隔操作される車両の乗員への対応を支援する技術を提供することを目的とする。
　本発明のある態様の車載通信装置は、遠隔操作される車両に関する情報および車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、車両の室内に関する車室内情報を取得する車室内情報取得部と、走行情報と、車室内情報または車室内情報に基づく情報とを車両を遠隔操作するための遠隔操作装置に送信する送信部と、車両を遠隔操作するための操作指令情報と、車両を遠隔操作する操作者に関する操作者情報とを遠隔操作装置から受信する受信部と、操作者情報を車両の室内に提示させる提示制御部と、を備える。
　本発明の別の態様は、車両遠隔操作システムである。この車両遠隔操作システムは、遠隔操作される車両に搭載される車載通信装置と、車両を遠隔操作するための遠隔操作装置と、を備える。車載通信装置は、車両に関する情報および車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、車両の室内に関する車室内情報を取得する車室内情報取得部と、走行情報と、車室内情報または車室内情報に基づく情報とを遠隔操作装置に送信する車両側送信部と、車両を遠隔操作するための操作指令情報と、車両を遠隔操作する操作者に関する操作者情報とを遠隔操作装置から受信する車両側受信部と、操作者情報を車両の室内に提示させる提示制御部と、を含む。遠隔操作装置は、車室内情報または車室内情報に基づく情報を車載通信装置から受信する操作側受信部と、車室内情報に基づく情報、および、車室内情報に基づいて車両の乗員の状態を推測する乗員状態推測部が推測した乗員の状態に関する情報の少なくともいずれかに基づいて操作者情報の送信を制御する操作者情報制御部と、操作者情報制御部の制御にしたがって操作者情報を車載通信装置に送信する操作側送信部と、を含む。
　本発明のさらに別の態様は、通信方法である。この方法は、遠隔操作される車両に関する情報および車両の周囲に関する情報を含む走行情報を取得するステップと、車両の室内に関する車室内情報を取得するステップと、走行情報と、車室内情報または車室内情報に基づく情報とを車両を遠隔操作するための遠隔操作装置に送信するステップと、車両を遠隔操作するための操作指令情報と、車両を遠隔操作する操作者に関する操作者情報とを遠隔操作装置から受信するステップと、操作者情報を車両の室内に提示するステップと、を備える。
　なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
　本発明によれば、遠隔操作される車両の乗員への対応を支援できる。
実施の形態に係る車両遠隔操作システムの機能構成を示すブロック図である。 車載通信装置の通信方法の流れを示すフローチャートである。 別の実施の形態に係る車両遠隔操作システムの機能構成を示すブロック図である。
　以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
　本実施の形態を詳細に説明する前に概要を述べる。本実施の形態は、遠隔操作される車両に搭載される車載通信装置である。この車載通信装置は、車両を遠隔操作するための遠隔操作装置と通信し、車両の遠隔操作に必要な走行情報を遠隔操作装置に送信し、遠隔操作装置から車両の挙動を制御するための操作指令情報を受信する。車載通信装置は、車両の室内に関する情報を取得して遠隔操作装置に送信し、遠隔操作装置側で車室内の状況や乗員の様子を把握できるようにする。これにより、車室内の状況や乗員の様子に応じて、遠隔操作装置の操作者から車両の乗員に向けて何らかの情報を提示できるようにし、乗員を適切にサポートできるようにする。
　図１は、実施の形態に係る車両遠隔操作システム１０の機能構成を模式的に示すブロック図である。車両遠隔操作システム１０は、車両９０に搭載される車載通信装置１２と、車両９０の外部に設けられる遠隔操作装置５０と、を備える。車載通信装置１２は、インターネットなどの車外ネットワーク９２を通じて遠隔操作装置５０と通信する。
　図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
　車載通信装置１２は、車内ネットワーク４８を介して車両９０に搭載される各種機器と接続される。車内ネットワーク４８には、車載センサ３０、車両制御ＥＣＵ３２、エンジンＥＣＵ３４、ブレーキＥＣＵ３６、ステアリングＥＣＵ３８、車室内センサ４０、車室内入力装置４２、車室内提示装置４４などが接続される。車内ネットワーク４８は、例えばＣＡＮ（Controller Area Network）やイーサネット（登録商標）により構成される。なお、車載通信装置１２は、単一の車内ネットワーク４８を介して各種機器と接続される形態に限られず、車載通信装置１２と各種機器とが個別に有線または無線で接続されてもよい。例えば、車載通信装置１２と車両制御ＥＣＵ３２とがＣＡＮを介して接続され、車載通信装置１２と車室内提示装置４４の一形態である液晶ディスプレイとが有線ケーブルを介して接続されてもよい。車載通信装置１２の機能構成を詳述する前に車載機器について説明する。
　車載センサ３０は、車両９０に関する情報や車両９０の周囲に関する情報を含む走行情報を取得するための機器である。車載センサ３０の具体例として、車速センサ、舵角センサ、アクセル操作量センサ、ブレーキ操作量センサ、加速度センサ、ジャイロセンサ、車載カメラ、レーダセンサ、ライダ（ＬｉＤＡＲ；Light Detection and Ranging）、位置情報センサ（例えば、ＧＮＳＳ；Global Navigation Satellite System）などが挙げられるが、これらに限定されるものではない。車載センサ３０は、取得した車両９０に関する情報や車両９０の周囲に関する情報を含む走行情報を走行情報取得部１４に出力する。
　車両制御ＥＣＵ３２は、車両９０の挙動を制御するための制御装置であり、車両９０の駆動、制動および操舵のそれぞれを制御するエンジンＥＣＵ３４、ブレーキＥＣＵ３６およびステアリングＥＣＵ３８などの動作を制御する。車両制御ＥＣＵ３２は、遠隔操作装置５０からの操作指令情報にしたがって動作する。これにより、遠隔操作装置５０を扱う操作者の運転操作に沿って車両９０の挙動が制御される。車両制御ＥＣＵ３２は、車両９０の駆動、制動および操舵に関する制御情報を走行情報取得部１４に出力する。
　車室内センサ４０は、車両９０の室内に関する情報を取得するための機器であり、車室内空間に関する情報や乗員に関する情報を取得するよう構成される。車室内センサ４０の具体例として、温度センサ、湿度センサ、二酸化炭素濃度センサ、着座センサ、乗員心拍センサ、車室内カメラ、マイクなどが挙げられる。車室内センサ４０は、車両９０の室内全体をモニタするために１箇所に設けられてもよいし、車室内の複数の座席のそれぞれに着座する乗員を個別に検知可能となるよう複数箇所に設けられてもよい。例えば、車室内カメラは、各乗員の顔面を撮像し、各乗員の表情や視線方向などが画像認識技術により検出可能となるよう構成される。
　車室内入力装置４２は、車室内の乗員からの入力操作を受け付けるための機器である。車室内入力装置４２は、例えば、ユーザの手で操作するボタンやスイッチで構成されてもよいし、タッチパネルなどで構成されてもよい。ユーザの音声入力を受け付けるように構成されてもよく、例えばマイクを含んでもよい。車室内入力装置４２は、タッチパネルやマイクを備えるユーザ機器または携帯端末であってもよく、車載通信装置１２と有線または無線を介して接続されてもよい。ユーザ機器または携帯端末がインターネットを介して遠隔操作装置５０と接続され、車室内入力装置４２として機能してもよい。
　車室内提示装置４４は、車室内に情報を提示するための機器である。車室内提示装置４４は、例えば、液晶ディスプレイやヘッドアップディスプレイなどの表示デバイスであり、車室内で着座する乗員が視認可能となるよう構成される。車室内提示装置４４は、車室内に設けられるスピーカを含んでもよく、音声により情報を提示可能となるよう構成されてもよい。車室内提示装置４４は、液晶ディスプレイやスピーカを備えるユーザ機器または携帯端末であってもよく、車載通信装置１２と有線または無線を介して接続されてもよい。ユーザ機器または携帯端末がインターネットを介して遠隔操作装置５０と接続され、車室内提示装置４４として機能してもよい。
　つづいて、車載通信装置１２の機能構成を詳述する。車載通信装置１２は、走行情報取得部１４、車室内情報取得部１６、乗員状態推測部１８、音声認識部２０、リクエスト判定部２２、車両側送信部２４、車両側受信部２６および提示制御部２８を備える。
　走行情報取得部１４は、車載センサ３０や車両制御ＥＣＵ３２から車両９０に関する情報および車両９０の周囲に関する情報を含む走行情報を取得する。走行情報取得部１４は、車両９０を遠隔操作するために遠隔操作装置５０に送信すべき情報を取得する。走行情報取得部１４は、車両９０に関する情報として、例えば、自車両の速度、加速度、アクセル操作量、ブレーキ操作量、操舵量、車両姿勢などの情報を取得する。走行情報取得部１４は、車両９０の周囲に関する情報として、車両周囲（例えば車両前方）の撮像画像、車両周囲の物体までの距離情報などを取得する。走行情報取得部１４は、車両周囲の撮像画像および車両周囲の物体までの距離情報から、車両周囲を走行する他車両との車間距離や相対速度などの位置関係を算出する位置関係算出部（不図示）をさらに含んでもよい。走行情報取得部１４は、一時停止や走行規制速度などを示す道路標識、横断歩道、信号、踏切などを認識する標識認識部をさらに含んでもよい。
　車室内情報取得部１６は、車室内センサ４０から車両９０の室内に関する車室内情報を取得する。車室内情報取得部１６は、車室内情報として、車室内の気温、湿度、二酸化炭素濃度、各座席の着座状況、乗員の心拍数、車室内の撮像画像、車室内の音声などの情報を取得する。
　乗員状態推測部１８は、車室内情報取得部１６が取得する車室内情報に基づいて、車室内の乗員の状態を推測する。乗員状態推測部１８は、車室内情報取得部１６が取得する着座状況を示す情報や車室内の撮像画像などに基づいて、乗員の有無や乗員の人数を推定する。乗員状態推測部１８は、車室内の気温、湿度、二酸化炭素濃度や音圧レベル、乗員の心拍数、乗員の顔面の撮像画像などに基づいて乗員の覚醒度や感情を推定してもよい。乗員状態推測部１８は、車室内の撮像画像から乗員の姿勢や顔の向き、目の開度やまばたきの回数などを判定してもよいし、車室内の音声情報から乗員の会話量や音圧、発話の抑揚などを判定してもよい。これにより、乗員状態推測部１８は、例えば、乗員が寝ている、乗員がくつろいでいる、乗員が会話や読書、音楽、動画視聴などを楽しんでいる、乗員が不安を感じている、乗員が驚いているといった状態を推定してもよい。乗員状態推測部１８は、例えば、車室内の撮像画像から乗員がそわそわしている、視線が落ち着かないなどの乗員の挙動を判定し、不安を感じていると推測してもよい。乗員状態推測部１８は、機械学習などの手法を用いて、車室内の撮像画像から乗員の状態を推測する機械学習部(不図示）を含んでもよい。機械学習部は、学習済みの学習モデルを備え、学習モデルに基づいて乗員の状態を推測してもよい。
　乗員状態推測部１８は、走行情報取得部１４が取得する走行情報に基づいて乗員の状態を推定してもよい。乗員状態推測部１８は、走行情報に基づいて乗員が不安を感じやすいと考えられる車両９０の挙動を検知してもよい。乗員状態推測部１８は、例えば、急制動、急加速、急操舵などがなされるときに乗員が不安や驚きを感じていると推定してもよい。その他、車両９０が渋滞に巻き込まれている場合や、予定時間までに目的地に到着できないことが見込まれる場合などに乗客が不安を感じていると推定してもよい。乗員状態推測部１８は、走行情報取得部１４が取得する走行情報と、車室内情報取得部１６が取得する車室内情報とを組み合わせて乗員の状態を推定してもよい。例えば、乗員が寝ている状態で急制動が発生して乗員が覚醒した場合に、乗員が驚いていると推定してもよい。
　乗員状態推測部１８は、音声認識部２０を含んでもよい。音声認識部２０は、車室内情報取得部１６が取得する車室内情報に基づいて車室内での発言内容を分析する。音声認識部２０は、車室内での会話が乗員同士で完結する内容であるか、遠隔操作する操作者に向けられている内容であるかを判定する。音声認識部２０は、例えば、操作者に呼びかける内容であったり、車両９０や道路の状態に関する会話内容について乗員同士の会話が続かずに途切れてしまったりする場合に、遠隔操作する操作者に向けられている内容であると判定してもよい。
　リクエスト判定部２２は、乗員状態推測部１８により推測される乗員の状態に基づいて、操作者情報の送信を遠隔操作装置５０にリクエストするか否かの要否を判定する。リクエスト判定部２２は、車室内情報取得部１６により取得される車室内情報に基づいて操作者情報の送信要否を判定しているとも言える。ここで「操作者情報」とは、遠隔操作装置５０を操作する操作者に関する情報のことをいい、操作者の画像や音声、操作者からのメッセージ、操作者の年齢、性別、運転特性、操作者に対する評価を示すプロフィール情報などである。リクエスト判定部２２は、車両を操作している操作者に関する情報の送信を、車両の乗員がリクエストしているか否かを判定する。
　リクエスト判定部２２は、例えば、乗員状態推測部１８が乗員が不安や驚きを感じていると推定する場合、操作者による乗員のサポートが必要であるとみなし、操作者情報が必要であると判定する。リクエスト判定部２２は、例えば、乗員が寝ていたり、くつろいでいたり、乗員同士での会話などを楽しんでいると乗員状態推測部１８が推定する場合、操作者による乗員のサポートが不要であるとみなし、操作者情報が不要であると判定する。リクエスト判定部２２は、車室内に乗員がいないと乗員状態推測部１８が推定する場合、操作者情報が不要であると判定してもよい。
　リクエスト判定部２２は、音声認識部２０の分析に基づいて乗員状態推測部１８が車室内での会話が遠隔操作する操作者に向けられている内容であると判定した場合、操作者情報が必要であると判定してもよい。リクエスト判定部２２は、音声認識部２０の分析に基づいて乗員状態推測部１８が車室内での会話が乗員同士で完結する内容であると判定した場合、操作者情報が不要であると判定してもよい。リクエスト判定部２２は、乗員同士の会話音量に基づいて操作者情報の要否を判定してもよく、会話音量が所定値以上の場合に操作者情報が不要であると判定してもよい。
　リクエスト判定部２２は、車室内入力装置４２への入力に基づいて、操作者情報の送信要否を判定してもよい。リクエスト判定部２２は、車室内入力装置４２に対して操作者情報の送信が必要である旨のリクエストが入力された場合、操作者情報の送信が必要であると判定してもよい。リクエスト判定部２２は、車室内入力装置４２に対して操作者情報の送信が不要である旨のリクエストが入力された場合、操作者情報の送信が不要であると判定してもよい。
　車両側送信部２４は、遠隔操作装置５０に向けて情報を送信する。車両側送信部２４は、走行情報取得部１４により取得される走行情報を送信する。車両側送信部２４は、車室内情報および車室内情報に基づく情報の少なくともいずれかを送信する。ここで、「車室内情報」とは、車室内情報取得部１６により直接的に取得される情報である。また、「車室内情報に基づく情報」とは、乗員状態推測部１８により推定される乗員の状態に関する情報、音声認識部２０により分析される会話の内容に関する情報、または、リクエスト判定部２２により判定される操作者情報の要否に関する情報である。
　車両側送信部２４は、操作者情報の送信が必要であると判定された場合、遠隔操作装置５０に対して操作者情報を送信するようリクエストするためのリクエスト情報を送信する。車両側送信部２４は、操作者情報が不要である場合、操作者情報のリクエスト情報を送信しないようにする。車両側送信部２４は、操作者情報が不要である場合、操作者情報が不要である旨のリクエスト情報を送信してもよい。
　車両側送信部２４は、車室内情報および車室内情報に基づく情報のうち一部の情報のみを送信してもよい。車両側送信部２４は、例えば、車室内や乗員を撮像した画像データを遠隔操作装置５０に向けて送信してもよいが、画像データのようなサイズの大きな情報を送信しないようにし、その他のサイズの小さい車室内情報または車室内情報に基づく情報、例えば、車室内音声データや、乗員の目の開度のみを送信してもよい。
　車両側送信部２４は、走行情報取得部１４が取得した車両９０の走行情報に応じて送信すべき情報を選択してもよい。例えば、車両９０が走行中であり、走行情報を優先して送信すべき状態である場合には、車室内情報または車室内情報に基づく情報の少なくとも一部を送信しないようにし、通信の競合を抑制することで、走行情報がより確実に送信できるようにしてもよい。一方、車両９０が停車中であり、走行情報の送信が必須ではない状態である場合には、車室内情報および車室内情報に基づく情報の双方を送信するようにし、操作者が車室内の状況をより詳細に把握できるようにしてもよい。車両側送信部２４は、遠隔操作装置５０が車両９０に向けてアクセル、ブレーキ、ハンドルなどの車両９０の操作に関する操作指令情報を送信中である場合、遠隔操作装置５０に対して走行情報を優先して送信し、車室内情報または車室内情報に基づく情報の少なくとも一部を遠隔操作装置５０に送信しないようにしてもよい。このようにすることで、車両９０が遠隔操作した通りの挙動を示しているか否かを操作者が確実に把握することができる。なお、車両側送信部２４は、車両９０が走行中であるか停車中であるかに拘わらず、操作者情報の要否に関する情報を少なくとも送信するよう構成されてもよい。
　車両側受信部２６は、遠隔操作装置５０から情報を受信する。車両側受信部２６は、車両９０を遠隔操作するための操作指令情報を受信する。操作指令情報は、例えば、アクセル、ブレーキ、ハンドルなどの操作態様を指定する情報を含む。操作指令情報は、ハザードランプ、クラクション、ウィンカーなどのオンオフを指定する情報を含んでもよい。受信した操作指令情報は、車両制御ＥＣＵ３２に送信され、操作指令情報に沿って車両９０の挙動が制御される。車両側受信部２６は、遠隔操作装置５０から車両９０を遠隔操作する操作者に関する操作者情報を受信する。
　提示制御部２８は、車両側受信部２６が受信した操作者情報を車室内提示装置４４を通じて車両９０の室内に提示させる。提示制御部２８は、車両側受信部２６が操作者に関する画像や文字情報を受信した場合、受信した画像や文字情報を車室内提示装置４４としてのディスプレイに表示させる。提示制御部２８は、車両側受信部２６が操作者に関する音声情報を受信した場合、受信した音声を車室内提示装置４４としてのスピーカに再生させる。
　つづいて、遠隔操作装置５０の機能構成を詳述する。遠隔操作装置５０は、操作側受信部５２、操作側送信部５４、遠隔操作制御部５６、操作者情報制御部５８、操作用表示部６０、操作用入力部６２および操作者情報取得部６４を備える。遠隔操作装置５０は、車室内情報提示部６６を備えてもよい。
　操作側受信部５２は、車載通信装置１２から情報を受信する。操作側受信部５２は、車両９０の走行情報と、車両９０の車室内情報または車室内情報に基づく情報とを受信する。操作側送信部５４は、車載通信装置１２に情報を送信する。操作側送信部５４は、車両９０を遠隔操作するための操作指令情報と、車両９０を遠隔操作する操作者に関する操作者情報とを送信する。
　遠隔操作制御部５６は、車両９０の遠隔操作に必要な走行情報を操作用表示部６０に表示させる。遠隔操作制御部５６は、操作側受信部５２が受信する走行情報に基づいて、走行情報取得部１４が取得した車両９０の周囲の撮像画像や車両９０の周囲を走行する他車両との車間距離、車両９０の速度などを操作用表示部６０に表示させる。遠隔操作制御部５６は、操作者による操作用入力部６２への入力操作に基づいて操作指令情報を生成し、生成した操作指令情報を操作側送信部５４に送信させる。
　操作者情報制御部５８は、操作側受信部５２が受信する操作者情報の要否に関する情報に基づいて、操作側送信部５４による操作者情報の送信を制御する。操作者情報制御部５８は、操作者情報が必要である旨のリクエスト情報を操作側受信部５２が受信した場合、操作者情報取得部６４により取得される操作者情報を操作側送信部５４に送信させる。一方、操作側受信部５２がリクエスト情報を受信していない場合や、操作者情報が不要である旨のリクエスト情報を受信した場合、操作者情報取得部６４により取得される操作者情報を操作側送信部５４に送信させないようにする。操作者情報制御部５８は、操作側受信部５２が受信する車室内情報または車室内情報に基づく情報を車室内情報提示部６６に提示させてもよい。
　操作用表示部６０は、車両９０を遠隔操作する操作者のためのディスプレイであり、例えば、車両９０の運転席から見える視野を模擬するように構成される。操作用入力部６２は、車両９０を遠隔操作するための運転操作をするための装置であり、例えば、運転席に設けられるハンドル、アクセル、ブレーキ、シフトレバーなどを模擬するように構成される。操作用入力部６２は、車両９０の前照灯、クラクション、ウィンカー、ハザードランプ、ワイパー、ドア開閉、窓開閉、エアコン、オーディオなどを操作できるように構成されてもよい。
　操作者情報取得部６４は、操作者に関する操作者情報を取得するための各種機器であり、例えば、操作者を撮像するためのカメラと、操作者の音声を取得するためのマイクとを含む。操作者情報取得部６４は、操作者の年齢、性別、運転特性、操作者に対する評価といったプロフィール情報を取得してもよく、例えば、プロフィール情報が記憶されるデータベース（不図示）などからプロフィール情報を取得してもよい。操作者の運転特性として、例えば、急ブレーキが多い、車間距離が短い傾向がある、赤信号に変化するタイミングで停車しない傾向があるといった情報が記憶される。また、操作者に対する乗客からの評価として、運転技能の高さや、乗員に対する話し方や態度の良し悪しといった点が評価され、操作者情報として記憶される。
　車室内情報提示部６６は、操作側受信部５２が受信する車室内情報または車室内情報に基づく情報を操作者に提示する。車室内情報提示部６６は、ディスプレイやスピーカを含み、車室内情報または車室内情報に基づく情報を操作者に視覚的または聴覚的に提示する。車室内情報提示部６６は、例えば、車両９０の室内の映像を表示したり、車両９０の室内の音声を出力したり、車両９０の温度、湿度、二酸化炭素濃度などを表示したりする。車室内情報提示部６６は、車両９０の乗員の状態を提示してもよいし、操作者情報の要否を提示してもよい。
　つづいて、車両遠隔操作システム１０の動作について説明する。車載通信装置１２は、車両９０の走行情報を取得し、取得した走行情報を遠隔操作装置５０に送信する。遠隔操作装置５０は、車載通信装置１２から走行情報、たとえば車両９０の周囲画像を受信して操作用表示部６０に表示させ、操作用入力部６２を通じて操作者が遠隔操作できるようにする。遠隔操作装置５０は、操作用入力部６２の操作、たとえばハンドル操作に基づいて、操作指令情報を生成し、例えばハンドルを右に１０度回転させるなどの操作指令情報を車載通信装置１２に送信する。車載通信装置１２は、受信した操作指令情報を車両制御ＥＣＵ３２に送信し、操作指令情報に基づく車両９０の走行が実現されるようにする。
　車載通信装置１２は、さらに車両９０の車室内情報を取得する。車載通信装置１２は、取得した車室内情報に基づいて、乗員の状態を推定したり、乗員の会話内容を分析したりすることで、操作者情報の要否を判定する。車載通信装置１２は、取得した車室内情報、推定した乗員の状態に関する情報、操作者情報の要否に関する情報を遠隔操作装置５０に送信する。遠隔操作装置５０は、受信した操作者情報の要否に基づいて、車載通信装置１２への操作者情報の送信を制御する。遠隔操作装置５０は、操作者情報が必要であれば、操作者情報を車載通信装置１２に送信し、操作者情報が不要であれば、操作者情報を車載通信装置１２に送信しないようにする。遠隔操作装置５０は、受信した車室内情報や乗員の状態に関する情報を操作者に提示することで、車室内の状況に応じて操作者が車両９０の乗員を適切にサポートできるようにする。
　本実施の形態によれば、車室内の状況に応じて操作者情報の要否が判定され、その判定結果に基づいて操作者情報の送信が制御されるため、操作者のサポートが必要と考えられる状況下において乗員を適切にサポートできる。例えば、乗員が寝ている状態や乗員が会話や動画視聴などを楽しんでいる状態において、操作者情報を提示してしまうことで乗員の睡眠や会話を妨げてしまうことを防ぐことができる。一方、乗員が運転操作に対して不安を感じていたり、経路説明や観光案内といった操作者のサポートを必要としていたりする場合に操作者情報を提示することで、乗員のニーズに応えることができる。これにより、遠隔操作される車両を利用する乗員の利便性を向上させることができる。
　本実施の形態によれば、車室内の状況に応じて操作者情報の要否が判定されるため、操作者が車室内の画像や音声を逐次確認し、操作者が声をかけるべきか否かを判断するための労力を軽減できる。これにより、操作者が運転操作に集中しやすい環境を作ることができ、操作者の利便性を向上させることができる。
　本実施の形態によれば、操作者のプロフィール情報を提示することで、プロフィール情報が提示されないために操作者がどのような人物か分からない場合と比べて、乗員の不安を軽減することができる。また、急加速や急制動が多い傾向にあるものの目的地により早く到着できる技能を操作者が有する場合に、急加速などで乗員が不安や驚きを感じたときにプロフィール情報を提示することで、何ら情報が提示されない場合と比べて、乗員の不安や不満を軽減することができる。
　本実施の形態によれば、車室内情報または車室内情報に基づく情報の一部を遠隔操作装置５０に送信しないようにすることで、車載通信装置１２から遠隔操作装置５０に送信されるデータ量を小さくし、通信トラフィックの増大を抑制するとともに、通信に要する通信時間を短縮できる。例えば、車室内や乗員を撮像する画像データなどの比較的サイズの大きいデータを遠隔操作装置５０に送信しないようにし、車載通信装置１２にて乗員状態を推定したり、操作者情報の要否を判定したりするエッジ処理を実行することで、推定された乗員の状態や操作者情報の要否に関する情報といったサイズの小さいデータに変換して送信できる。これにより、遠隔操作に不可欠な走行情報および操作指令情報の通信をより確実にしつつ、車室内の状況を操作者に通知できる。
　本実施の形態によれば、乗員の状態や操作者情報の要否に関する情報が操作者に通知されるため、乗員のサポートが必要となるタイミングで、操作者は車両９０を遠隔操作により安全に停車させることができる。また、車両９０の停車後においては、走行情報や操作指令情報の通信が不要となるため、車室内を撮像した画像データや操作者を撮像した画像データといったサイズの大きなデータを通信しやすい状況となる。これにより、停車した状態において操作者と乗員が互いの画像を見ながら会話することができ、乗員に対してきめ細やかな対応が可能となる。
　図２は、車載通信装置１２の通信方法の流れを示すフローチャートである。走行情報取得部１４は、走行情報を取得し（Ｓ１０）、車室内情報取得部１６は、車室内情報を取得する（Ｓ１２）。リクエスト判定部２２は、車室内情報に基づいて操作者情報の要否を判定する（Ｓ１４）。操作者情報が必要と判定された場合（Ｓ１６のＹ）、車両側送信部２４は、走行情報を送信するとともに、操作者情報のリクエスト情報を送信する（Ｓ１８）。車両側受信部２６は、操作指令情報と操作者情報を受信し（Ｓ２０）、提示制御部２８は、受信した操作者情報を車室内に提示させる（Ｓ２２）。一方、操作者情報が不要と判定された場合（Ｓ１６のＮ）、車両側送信部２４は、走行情報を送信する一方で、操作者情報のリクエスト情報を送信しないようにする（Ｓ２４）。車両側受信部２６は、操作指令情報を受信する（Ｓ２６）。
　図３は、別の実施の形態に係る車両遠隔操作システム１１０の機能構成を示すブロック図である。車両遠隔操作システム１１０は、車載通信装置１１２と、遠隔操作装置１５０とを備える。本実施の形態では、車載通信装置１１２に乗員状態推測部１８、音声認識部２０およびリクエスト判定部２２が設けられず、代わりに遠隔操作装置１５０に乗員状態推測部１７０およびリクエスト判定部１７２が設けられる。本実施の形態について、上述の実施の形態との相違点を中心に説明する。
　車載通信装置１１２は、走行情報取得部１４、車室内情報取得部１６、車両側送信部１２４、車両側受信部２６および提示制御部２８を含む。走行情報取得部１４、車室内情報取得部１６、車両側受信部２６および提示制御部２８は、上述の実施の形態と同様に構成される。車両側送信部１２４は、走行情報取得部１４が取得する走行情報と、車室内情報取得部１６が取得する車室内情報とを遠隔操作装置１５０に常時送信するよう構成される。車両側送信部１２４は、車室内の状況や乗員の状態に拘わらず、車室内情報を遠隔操作装置１５０に送信する。
　遠隔操作装置１５０は、操作側受信部５２、操作側送信部５４、遠隔操作制御部５６、操作者情報制御部１５８、操作用表示部６０、操作用入力部６２、操作者情報取得部６４および車室内情報提示部６６を含む。遠隔操作装置１５０は、操作者情報制御部１５８を除いて、上述の実施の形態と同様に構成される。操作者情報制御部１５８は、乗員状態推測部１７０と、リクエスト判定部１７２とを有する。
　乗員状態推測部１７０は、操作側受信部５２が受信する車室内情報に基づいて車両９０の乗員の状態を推測する。乗員状態推測部１７０は、操作側受信部５２が受信する走行情報に基づいて車両９０の乗員の状態を推測してもよく、走行情報と車室内情報の双方に基づいて車両９０の状態を推測してもよい。乗員状態推測部１７０は、例えば、上述の実施の形態に係る乗員状態推測部１８と同様に構成されることができる。
　リクエスト判定部１７２は、操作側受信部５２が受信する車室内情報や乗員状態推測部１７０が推測する乗員の状態に基づいて、操作者情報の要否を判定する。リクエスト判定部１７２は、例えば、上述の実施の形態に係るリクエスト判定部２２と同様に構成されることができる。
　操作者情報制御部１５８は、リクエスト判定部１７２の判定結果に基づいて、操作側送信部５４に操作者情報を送信させる。操作者情報制御部１５８は、リクエスト判定部１７２により操作者情報が必要であると判定される場合、操作側送信部５４に操作者情報を送信させる。一方、リクエスト判定部１７２により操作者情報が不要であると判定される場合、操作側送信部５４に操作者情報を送信させないようにする。
　本実施の形態においても、車室内の状況や乗員の状態に応じて操作者情報の要否が判定され、その判定結果に基づいて操作者情報の送信が制御されるため、操作者のサポートが必要と考えられる状況下において乗員を適切にサポートできる。
　本実施の形態の変形例として、乗員状態推測部１８が車載通信装置１２に設けられ、リクエスト判定部１７２が遠隔操作装置５０に設けられてもよい。また、乗員状態推測部やリクエスト判定部の一部が車載通信装置１２に設けられ、乗員状態推測部やリクエスト判定部の残りが遠隔操作装置５０に設けられてもよい。この場合、車載通信装置１２の車両側送信部２４は、車室内情報取得部１６が取得した車室内情報と、車室内情報に基づく情報として乗員状態推測部１８が推測した乗員の状態に関する情報との少なくともいずれかを含む情報を遠隔操作装置５０に向けて送信する。
　以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
　本発明によれば、遠隔操作される車両の乗員への対応を支援できる。
　１０…車両遠隔操作システム、１２…車載通信装置、１４…走行情報取得部、１６…車室内情報取得部、１８…乗員状態推測部、２０…音声認識部、２２…リクエスト判定部、２４…車両側送信部、２６…車両側受信部、２８…提示制御部、５０…遠隔操作装置、５２…操作側受信部、５４…操作側送信部、５８…操作者情報制御部、９０…車両。

Claims (9)

  1. 　遠隔操作される車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、
    　前記車両の室内に関する車室内情報を取得する車室内情報取得部と、
    　前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記車両を遠隔操作するための遠隔操作装置に送信する送信部と、
    　前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信する受信部と、
    　前記操作者情報を前記車両の室内に提示させる提示制御部と、を備えることを特徴とする車載通信装置。
  2. 　前記車室内情報に基づいて前記車両の乗員の状態を推測する乗員状態推測部をさらに備え、
    　前記送信部は、前記車室内情報に基づく情報として、前記推測された前記乗員の状態に関する情報を送信することを特徴とする請求項１に記載の車載通信装置。
  3. 　推測された前記乗員の状態に基づいて、前記操作者情報の送信を前記遠隔操作装置に対してリクエストするか否かを判定するリクエスト判定部をさらに備え、
    　前記送信部は、前記操作者情報の送信をリクエストすると判定された場合、前記遠隔操作装置にリクエスト情報を送信することを特徴とする請求項２に記載の車載通信装置。
  4. 　前記乗員状態推測部は、前記乗員の発言内容を解析する音声認識部を含み、
    　前記リクエスト判定部は、前記音声認識部の解析に基づいて前記操作者情報の送信を前記遠隔操作装置に対してリクエストするか否かを判定することを特徴とする請求項３に記載の車載通信装置。
  5. 　前記乗員状態推測部は、さらに前記走行情報に基づいて前記乗員の状態を推測することを特徴とする請求項２から４のいずれか一項に記載の車載通信装置。
  6. 　前記送信部は、前記走行情報に基づいて前記遠隔操作装置に送信する情報を選択することを特徴とする請求項１から５のいずれか一項に記載の車載通信装置。
  7. 　遠隔操作される車両に搭載される車載通信装置と、
    　前記車両を遠隔操作するための遠隔操作装置と、を備える車両遠隔操作システムであって、
    　前記車載通信装置は、
    　　前記車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、
    　　前記車両の室内に関する車室内情報を取得する車室内情報取得部と、
    　　前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記遠隔操作装置に送信する車両側送信部と、
    　　前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信する車両側受信部と、
    　　前記操作者情報を前記車両の室内に提示させる提示制御部と、を含み、
    　前記遠隔操作装置は、
    　　前記車室内情報または前記車室内情報に基づく情報を前記車載通信装置から受信する操作側受信部と、
    　　前記車室内情報に基づく情報、および、前記車室内情報に基づいて前記車両の乗員の状態を推測する乗員状態推測部が推測した乗員の状態に関する情報の少なくともいずれかに基づいて前記操作者情報の送信を制御する操作者情報制御部と、
    　　前記操作者情報制御部の制御にしたがって前記操作者情報を前記車載通信装置に送信する操作側送信部と、を含むことを特徴とする車両遠隔操作システム。
  8. 　遠隔操作される車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得するステップと、
    　前記車両の室内に関する車室内情報を取得するステップと、
    　前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記車両を遠隔操作するための遠隔操作装置に送信するステップと、
    　前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信するステップと、
    　前記操作者情報を前記車両の室内に提示するステップと、を備えることを特徴とする通信方法。
  9. 　遠隔操作される車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得する機能と、
    　前記車両の室内に関する車室内情報を取得する機能と、
    　前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記車両を遠隔操作するための遠隔操作装置に送信する機能と、
    　前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信する機能と、
    　前記操作者情報を前記車両の室内に提示する機能と、をコンピュータに実現させることを特徴とするプログラム。
PCT/JP2020/020366 2019-06-12 2020-05-22 車載通信装置、車両遠隔操作システム、通信方法およびプログラム Ceased WO2020250645A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019109217A JP2020201792A (ja) 2019-06-12 2019-06-12 車載通信装置、車両遠隔操作システム、通信方法およびプログラム
JP2019-109217 2019-06-12

Publications (1)

Publication Number Publication Date
WO2020250645A1 true WO2020250645A1 (ja) 2020-12-17

Family

ID=73743474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020366 Ceased WO2020250645A1 (ja) 2019-06-12 2020-05-22 車載通信装置、車両遠隔操作システム、通信方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2020201792A (ja)
WO (1) WO2020250645A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024141407A (ja) * 2023-03-29 2024-10-10 トヨタ自動車株式会社 車両用表示装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7589071B2 (ja) * 2021-03-09 2024-11-25 日産自動車株式会社 遠隔指令制御装置及び遠隔指令制御方法
JP7100326B1 (ja) * 2021-03-30 2022-07-13 長瀬産業株式会社 検知システム及び空間利用システム
JP2024019885A (ja) * 2022-08-01 2024-02-14 トヨタ自動車株式会社 通信制御方法、通信システム、及び送信側装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195580A (ja) * 2005-01-11 2006-07-27 Toyota Motor Corp 緊急通報システム
US20140229568A1 (en) * 2013-02-08 2014-08-14 Giuseppe Raffa Context-rich communication between a device and a vehicle
WO2018087879A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 遠隔操作システム、交通システム、および遠隔操作方法
JP2018077649A (ja) * 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
WO2018087880A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195580A (ja) * 2005-01-11 2006-07-27 Toyota Motor Corp 緊急通報システム
US20140229568A1 (en) * 2013-02-08 2014-08-14 Giuseppe Raffa Context-rich communication between a device and a vehicle
JP2018077649A (ja) * 2016-11-09 2018-05-17 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
WO2018087879A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 遠隔操作システム、交通システム、および遠隔操作方法
WO2018087880A1 (ja) * 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024141407A (ja) * 2023-03-29 2024-10-10 トヨタ自動車株式会社 車両用表示装置
JP7841466B2 (ja) 2023-03-29 2026-04-07 トヨタ自動車株式会社 車両用表示装置

Also Published As

Publication number Publication date
JP2020201792A (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
US11835954B2 (en) Driving control apparatus, driving control method, and program
JP7764919B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに車両
JP7060031B2 (ja) 運転者監視システム
JP6976089B2 (ja) 運転支援装置および運転支援方法
US10902742B2 (en) Method and device for evaluating driving behavior
CN108137052B (zh) 驾驶控制装置、驾驶控制方法和计算机可读介质
KR101730321B1 (ko) 운전자 보조 장치 및 그 제어방법
JP7068986B2 (ja) エージェントシステム、エージェント制御方法、およびプログラム
WO2020250645A1 (ja) 車載通信装置、車両遠隔操作システム、通信方法およびプログラム
US10666901B1 (en) System for soothing an occupant in a vehicle
JP7119846B2 (ja) 車両の走行制御方法及び走行制御装置
WO2007105792A1 (ja) 監視装置および監視方法、制御装置および制御方法、並びにプログラム
CN108688674A (zh) 车辆驾驶支援系统以及车辆驾驶支援方法
US10674003B1 (en) Apparatus and system for identifying occupants in a vehicle
JP2017158149A (ja) 遠隔操作システム、車両及び遠隔操作装置
JP2016076037A (ja) 車両用情報提示装置
JP2018049601A (ja) 運転席と少なくとも一つの乗員席とを備える車両、及び、交代運転者及び又は少なくとも一人の同乗者に現在経験されている運転状況についての情報を提供する方法
CN111976594B (zh) 用于控制无人车的方法和装置
JP2020020987A (ja) 車内システム
KR101850857B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
JP2019012046A (ja) 通知装置、通知システムおよび通知方法
JP2019164519A (ja) 表示制御装置および表示制御方法
JP2020086905A (ja) 情報提供装置及び車載装置
JP2020045019A (ja) 車両用表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20821660

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20821660

Country of ref document: EP

Kind code of ref document: A1