WO2021112005A1 - 車内監視システム、車内監視装置、及び車内監視プログラム - Google Patents

車内監視システム、車内監視装置、及び車内監視プログラム Download PDF

Info

Publication number
WO2021112005A1
WO2021112005A1 PCT/JP2020/044235 JP2020044235W WO2021112005A1 WO 2021112005 A1 WO2021112005 A1 WO 2021112005A1 JP 2020044235 W JP2020044235 W JP 2020044235W WO 2021112005 A1 WO2021112005 A1 WO 2021112005A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
unit
remote
recognition
determination unit
Prior art date
Application number
PCT/JP2020/044235
Other languages
English (en)
French (fr)
Inventor
淳一郎 舩橋
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202080084452.6A priority Critical patent/CN114762017B/zh
Publication of WO2021112005A1 publication Critical patent/WO2021112005A1/ja
Priority to US17/804,973 priority patent/US20220289129A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L58/00—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles
    • B60L58/10—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries
    • B60L58/12—Methods or circuit arrangements for monitoring or controlling batteries or fuel cells, specially adapted for electric vehicles for monitoring or controlling batteries responding to state of charge [SoC]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Definitions

  • This disclosure relates to an in-vehicle monitoring system, an in-vehicle monitoring device, and an in-vehicle monitoring program.
  • Patent Document 1 In order to prevent accidents and crimes in vehicles of public transportation where a large number of people ride, a camera image or the like is processed to grasp the situation.
  • An object of the present disclosure is to provide an in-vehicle monitoring device, an in-vehicle monitoring system, and an in-vehicle monitoring program that can accurately monitor the inside of a vehicle even when the remaining energy is insufficient.
  • the in-vehicle monitoring system includes an in-vehicle device mounted on the vehicle and an in-vehicle monitoring support device, and the in-vehicle device includes an energy acquisition unit, an in-vehicle acquisition unit, a transition determination unit, and an in-vehicle recognition unit.
  • the in-vehicle monitoring support device includes a remote communication unit, a remote recognition unit, and a remote determination unit, and the energy acquisition unit includes the in-vehicle determination unit, an in-vehicle communication unit, and an in-vehicle control unit.
  • the in-vehicle acquisition unit acquires sensor information regarding an object inside the vehicle, and the transition determination unit remotely determines the remaining energy, which is the remaining amount of energy used by the device.
  • the in-vehicle recognition unit determines whether or not to perform the processing and determines that the transition determination unit does not perform the remote processing
  • the in-vehicle recognition unit recognizes the object inside the vehicle based on the sensor information and the in-vehicle recognition unit recognizes the object inside the vehicle.
  • the determination unit determines the situation inside the vehicle based on the recognition result by the in-vehicle recognition unit, and when the in-vehicle communication unit determines that the transition determination unit performs remote processing, the in-vehicle communication unit uses the sensor information. It is transmitted to the in-vehicle monitoring support device, the remote communication unit receives the sensor information, and the remote recognition unit recognizes the object inside the vehicle based on the sensor information received by the remote communication unit.
  • the remote determination unit determines the situation inside the vehicle based on the recognition result by the remote recognition unit, and the remote communication unit transmits the determination result of the remote determination unit to the vehicle-mounted device.
  • the in-vehicle communication unit receives the determination result of the remote determination unit, and the in-vehicle control unit controls the inside of the vehicle based on the determination result of the in-vehicle determination unit or the determination result of the remote determination unit. It is composed.
  • the in-vehicle monitoring device is an in-vehicle monitoring device mounted on a vehicle, and includes an energy acquisition unit, an in-vehicle acquisition unit, a transition determination unit, an in-vehicle recognition unit, an in-vehicle judgment unit, and in-vehicle communication.
  • the in-vehicle acquisition unit includes a unit and an in-vehicle control unit, the energy acquisition unit acquires the remaining amount of energy which is the remaining amount of energy used by the in-vehicle monitoring device, and the in-vehicle acquisition unit acquires sensor information regarding an object inside the vehicle.
  • the transition determination unit determines whether or not to perform remote processing based on the remaining energy, and the vehicle-mounted recognition unit determines that the transition determination unit does not perform remote processing
  • the vehicle-mounted determination unit recognizes an object inside the vehicle based on the sensor information, determines the situation inside the vehicle based on the recognition result by the vehicle-mounted recognition unit, and the vehicle-mounted communication unit determines the situation inside the vehicle.
  • the transition determination unit determines to perform remote processing
  • the sensor information is transmitted to the in-vehicle monitoring support device that performs the same processing as the recognition by the in-vehicle recognition unit and the determination by the in-vehicle determination unit, and the in-vehicle communication unit.
  • the in-vehicle control unit Receives the determination result of the situation inside the vehicle by the in-vehicle monitoring support device, and the in-vehicle control unit refers to the inside of the vehicle based on the determination result of the in-vehicle determination unit or the determination result of the in-vehicle monitoring support device. It is configured to perform control.
  • the energy acquisition unit acquires the remaining energy amount, which is the remaining amount of energy used by the computer, and the in-vehicle acquisition unit acquires the sensor information regarding the object inside the vehicle.
  • the transition determination unit determines whether or not to perform remote processing based on the remaining energy, and the in-vehicle recognition unit determines that the transition determination unit does not perform remote processing, it is based on the sensor information.
  • the vehicle-mounted determination unit recognizes the object inside the vehicle, determines the situation inside the vehicle based on the recognition result by the vehicle-mounted recognition unit, the vehicle-mounted communication unit performs remote processing by the transition determination unit.
  • the sensor information is transmitted to the in-vehicle monitoring support device that performs the same processing as the recognition by the in-vehicle recognition unit and the determination by the in-vehicle determination unit, and the in-vehicle communication unit uses the in-vehicle monitoring support device.
  • a computer that receives the determination result of the situation inside the vehicle and causes the in-vehicle control unit to control the inside of the vehicle based on the determination result of the in-vehicle determination unit or the determination result of the in-vehicle monitoring support device. It is a program to be executed by.
  • the energy acquisition unit acquires the remaining energy amount, which is the remaining amount of energy used by the computer, and the in-vehicle acquisition unit is the target inside the vehicle.
  • the sensor information about the object is acquired, and the transition determination unit determines whether or not to perform remote processing based on the remaining energy.
  • the in-vehicle recognition unit determines that the transition determination unit does not perform remote processing
  • the in-vehicle recognition unit recognizes the object inside the vehicle based on the sensor information
  • the in-vehicle determination unit recognizes the object based on the recognition result by the in-vehicle recognition unit.
  • the in-vehicle communication unit receives the judgment result of the situation inside the vehicle by the in-vehicle monitoring support device, and the in-vehicle control unit is based on the judgment result of the in-vehicle judgment unit or the judgment result of the in-vehicle monitoring support device. , Control the inside of the vehicle.
  • the sensor information is transmitted to the in-vehicle monitoring support device that performs the same processing as the recognition by the in-vehicle cognitive unit and the in-vehicle judgment unit, and the in-vehicle monitoring support device.
  • the in-vehicle monitoring system According to the in-vehicle monitoring system, the in-vehicle monitoring device, and the in-vehicle monitoring program of the present disclosure, it is possible to accurately perform in-vehicle monitoring even when the remaining energy is insufficient.
  • the drawing is as follows. It is a block diagram which shows the structure of an in-vehicle monitoring system. It is a block diagram which shows the hardware composition of an in-vehicle device. It is a block diagram which shows the functional structure of an in-vehicle device. It is a block diagram which shows the hardware composition of the in-vehicle monitoring support device. It is a block diagram which shows the functional structure of an in-vehicle monitoring support device. It is a flowchart which shows the vehicle-in-vehicle monitoring processing routine which concerns on 1st Embodiment.
  • FIG. 1 is a block diagram showing a configuration of an in-vehicle monitoring system 1 according to the first embodiment of the present disclosure.
  • the in-vehicle monitoring system 1 according to the first embodiment of the present disclosure includes an in-vehicle device 10 mounted on the vehicle 100, an in-vehicle monitoring support device 20, a base station 60, and a network 70.
  • an in-vehicle device 10 mounted on the vehicle 100
  • an in-vehicle monitoring support device 20 mounted on the vehicle 100
  • an in-vehicle monitoring support device 20 mounted on the vehicle 100
  • an in-vehicle monitoring support device 20 mounted on the vehicle 100
  • an in-vehicle monitoring support device 20 mounted on the vehicle 100
  • an in-vehicle monitoring support device 20 mounted on the vehicle 100
  • a base station 60
  • a network 70 a network 70.
  • the in-vehicle monitoring system 1 will be described by taking as an example a case where the vehicle 100 equipped with the on-board unit 10 is performing automatic driving.
  • the vehicle 100 is a vehicle capable of carrying an object, for example, a bus when the object is a person, and a truck when the object is an object (including an animal).
  • an object for example, a bus when the object is a person, and a truck when the object is an object (including an animal).
  • a case where the object is a person and the vehicle 100 is a bus will be described as an example.
  • the base station 60 is a wireless base station that is connected to the network 70 and communicates with the vehicle-mounted device 10 by wireless communication.
  • the network 70 is a public network such as the Internet and a wide area Ethernet network. That is, the on-board unit 10 and the in-vehicle monitoring support device 20 are configured to be able to communicate with each other via the base station 60 and the network 70.
  • the vehicle 100 is equipped with an energy measuring device and a sensor (not shown) that can be connected to the on-board unit 10 by wire or wirelessly.
  • the energy measuring device is a device that measures the remaining amount of energy used by the on-board unit 10.
  • the energy measuring device monitors the energy used by the vehicle-mounted device 10, for example, as disclosed in Japanese Patent No. 6191349.
  • the energy includes various energies such as electricity inside the battery, the amount of gasoline, and hydrogen.
  • a sensor is a device that acquires information inside a vehicle.
  • the sensor for example, a camera, a thermometer, a vibration sensor, a laser radar, an ultrasonic sensor, a millimeter wave sensor, or the like can be adopted.
  • the energy is electricity and the sensor is a camera that photographs the inside of the vehicle 100 will be described as an example.
  • the energy measuring device and the camera pass the remaining energy and the captured image to the vehicle-mounted device 10.
  • the on-board unit 10 executes automatic driving control.
  • the configuration of the vehicle-mounted device 10 will be described with reference to FIGS. 2 and 3.
  • FIG. 2 is a block diagram showing a hardware configuration of the vehicle-mounted device 10 according to the present embodiment.
  • the in-vehicle device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, a display unit 16, and an antenna 17.
  • the configurations are connected to each other via a bus 19 so as to be communicable with each other.
  • the CPU 11 is a central arithmetic processing unit that executes various programs and controls each part. That is, the CPU 11 reads the program from the ROM 12 or the storage 14, and executes the program using the RAM 13 as a work area. The CPU 11 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 12 or the storage 14.
  • the in-vehicle monitoring program for executing the in-vehicle monitoring process is stored in the ROM 12 or the storage 14.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores a program or data as a work area.
  • the storage 14 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 15 includes a pointing device such as a mouse, a keyboard, and a voice input device, and is used to perform various inputs.
  • the display unit 16 is, for example, a liquid crystal display or a speaker, and displays or reproduces various types of information.
  • the display unit 16 may adopt a touch panel method and function as an input unit 15.
  • the antenna 17 is a wireless communication antenna for wireless communication with other devices, and standards such as LTE, 5G, and Wi-Fi (registered trademark) are used.
  • FIG. 3 is a block diagram showing a functional configuration of the vehicle-mounted device 10 according to the present embodiment.
  • the on-board unit 10 includes an energy acquisition unit 101, an on-board acquisition unit 102, a transition determination unit 103, an on-board recognition unit 104, an on-board determination unit 105, and an on-board communication unit. It is configured to include 106, an in-vehicle control unit 107, and an output unit 108.
  • the energy acquisition unit 101 acquires the remaining amount of energy, which is the remaining amount of energy used by the on-board unit 10, from the energy measuring device. Then, the energy acquisition unit 101 passes the acquired remaining energy amount to the transition determination unit 103.
  • the vehicle-mounted acquisition unit 102 acquires sensor information regarding an object inside the vehicle 100. Specifically, the vehicle-mounted acquisition unit 102 acquires an image captured by a camera that photographs the inside of the vehicle 100 at a predetermined cycle. Then, the in-vehicle acquisition unit 102 passes the acquired video to the transition determination unit 103.
  • the transition determination unit 103 determines whether or not to perform remote processing based on the remaining energy. Specifically, the transition determination unit 103 divides the remaining energy into, for example, three levels (High, Mid, Low), and whether or not the in-vehicle monitoring support device 20 performs remote processing according to the level. , And judge the content of remote processing.
  • the level of the remaining energy is, for example, Low when the remaining energy is lower than the first threshold, Mid when the remaining energy is equal to or higher than the first threshold and equal to or lower than the second threshold. When the remaining amount is higher than the second threshold value, it can be set to High.
  • the in-vehicle device 10 is used to monitor the inside of the vehicle. Specifically, the vehicle-mounted recognition unit 104 and the vehicle-mounted judgment unit 105 determine recognition and the situation. In this case, the transition determination unit 103 passes the sensor information to the vehicle-mounted recognition unit 104.
  • the transition determination unit 103 passes the sensor information to the vehicle-mounted communication unit 106 and causes the in-vehicle monitoring support device 20 to transmit the sensor information. Further, when the energy remaining level is Mid, the transition determination unit 103 entrusts only the function of the vehicle-mounted determination unit 105 to the in-vehicle monitoring support device 20.
  • the transition determination unit 103 orders the in-vehicle recognition unit 104 to pass the sensor information to the in-vehicle recognition unit 104 and the in-vehicle recognition unit 104 to pass the sensor information and the recognition result to the in-vehicle communication unit 106. That is, the transition determination unit 103 causes the vehicle-mounted communication unit 106 to transmit the sensor information and the recognition result to the in-vehicle monitoring support device 20.
  • the vehicle-mounted recognition unit 104 recognizes the object inside the vehicle 100 based on the sensor information. Specifically, when the level of the remaining energy is Mid or High, the in-vehicle recognition unit 104 processes the transition determination unit 103 to recognize a person in the vehicle 100 from the image which is the sensor information by remote processing. It is determined that the above is not performed, and the process of recognizing the person in the vehicle 100 from each image in the video is performed.
  • the cognitive means for example, in addition to Reference 1 below, any cognitive means can be adopted. [Reference 1] S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," Advances in Neural Information Processing Systems 28, May 2015 , pp.91-99.
  • the vehicle-mounted recognition unit 104 passes the video and the recognition result to the vehicle-mounted communication unit 106, and the transition determination unit 103 passes the video and the recognition result to the vehicle-mounted communication unit 106. If it is not instructed to pass it to 106, it is passed to the vehicle-mounted determination unit 105.
  • the in-vehicle determination unit 105 determines that the transition determination unit 103 does not perform remote processing for the determination processing, the situation inside the vehicle 100 is based on the recognition result by the in-vehicle recognition unit 104 and the current scene of the vehicle 100. To judge.
  • the in-vehicle determination unit 105 first acquires the current scene from the in-vehicle control unit 107.
  • the current scene is a scene in which the vehicle 100 is currently placed, for example, a scene such as waiting, normal during operation, emergency during operation, or stopped.
  • a scene such as waiting, normal during operation, emergency during operation, or stopped.
  • the current scene the case of normal operation and the case of emergency operation will be described as an example.
  • the vehicle-mounted determination unit 105 determines whether the condition inside the vehicle 100 is normal, caution required, or emergency based on the recognition result by the vehicle-mounted recognition unit 104. To do. Specifically, the vehicle-mounted determination unit 105 detects the posture of a person inside the vehicle 100 at a plurality of time points by a method such as human body posture estimation (Reference 2) with respect to the recognition result by the vehicle-mounted recognition unit 104.
  • Reference 2 A. Toshev and C. Szegedy, "DeepPose: Human pose estimation via deep neural networks," Proc. Computer Vision and Pattern Recognition 2014, Columbus, USA, June 2014, pp.3476-3483.
  • the vehicle-mounted determination unit 105 determines whether the person recognized inside the vehicle 100 is in the normal posture or not in the normal posture from the detected postures at a plurality of time points.
  • the normal posture is, for example, a posture such as "sitting" or "standing on a handrail or strap" in a bus.
  • the vehicle-mounted determination unit 105 determines that the situation inside the vehicle 100 is normal. Further, the vehicle-mounted determination unit 105 determines that the situation inside the vehicle 100 is extremely high when the detected posture is not the normal posture. Then, the vehicle-mounted determination unit 105 passes the determination result to the vehicle-mounted control unit 107.
  • the vehicle-mounted determination unit 105 similarly, even when the current scene is in operation, whether the person recognized inside the vehicle 100 is in a normal posture based on the recognition result by the vehicle-mounted recognition unit 104. Or, it is determined whether the posture is normal. If the determination result is urgent, the in-vehicle determination unit 105 passes the determination result to the in-vehicle control unit 107. The vehicle-mounted determination unit 105 further passes the determination result to the vehicle-mounted communication unit 106. This is because if the judgment result in the case of an emergency during operation is emergency, it is necessary to verify the current situation in more detail. In the present embodiment, since detailed verification uses a lot of energy consumption, the vehicle interior monitoring support device 20 is used to verify the situation inside the vehicle 100 in more detail. Further, if the determination result is not very high, the vehicle-mounted determination unit 105 passes the determination result to the vehicle-mounted control unit 107.
  • the in-vehicle communication unit 106 transmits the data passed from each processing unit to the in-vehicle monitoring support device 20. Specifically, the in-vehicle communication unit 106 transmits the acquired data among the sensor information, the recognition result, and the determination result to the in-vehicle monitoring support device 20.
  • the in-vehicle communication unit 106 transmits the sensor information or the recognition result to the in-vehicle monitoring support device 20
  • the in-vehicle communication unit 106 receives the determination result by the remote determination unit 203 from the in-vehicle monitoring support device 20. Then, the vehicle-mounted communication unit 106 passes the received determination result to the vehicle-mounted control unit 107.
  • the in-vehicle control unit 107 controls the inside of the vehicle 100 based on the determination result of the in-vehicle determination unit 105 or the determination result of the remote determination unit 203. Specifically, the in-vehicle control unit 107 controls to call attention or give a response instruction based on the determination result of the in-vehicle determination unit 105 or the remote determination unit 203.
  • the in-vehicle control unit 107 determines whether or not control of the inside of the vehicle 100 is necessary based on the determination result of the in-vehicle determination unit 105 or the determination result of the remote determination unit 203 when the current scene is normal during operation. To do. More specifically, when the determination result is normal, the vehicle-mounted control unit 107 determines that control of the inside of the vehicle 100 is unnecessary. The control is a special control related to in-vehicle monitoring, and is different from other controls such as normal vehicle control. If the judgment result is very large, the vehicle-mounted control unit 107 determines that control of the inside of the vehicle 100 is necessary.
  • the vehicle-mounted control unit 107 determines the content of the attention alert according to the posture as control according to the detected posture.
  • the correspondence between the posture of the vehicle-mounted control unit 107 and the alert can be realized, for example, by creating a correspondence table in advance. For example, when the vehicle-mounted determination unit 105 detects a posture in which a person is walking in the vehicle 100 during operation, it is determined to call attention to sit down. Then, the content of the control is passed to the output unit 108.
  • the in-vehicle control unit 107 determines whether or not control of the inside of the vehicle 100 is necessary based on the determination result of the in-vehicle determination unit 105 or the determination result of the remote determination unit 203 when the current scene is in operation. To do. More specifically, when the determination result is normal, the vehicle-mounted control unit 107 determines that control of the inside of the vehicle 100 is unnecessary. If the judgment result is very large, the vehicle-mounted control unit 107 determines that control of the inside of the vehicle 100 is necessary. When control is required, the vehicle-mounted control unit 107 determines the content of the response according to the posture as control according to the detected posture.
  • the correspondence between the posture of the vehicle-mounted control unit 107 and the correspondence can be realized, for example, by creating a correspondence table in advance. For example, when a person is holding a blade in the vehicle 100 in operation by the vehicle-mounted determination unit 105, it is determined to take measures to display the blade so as to be stowed away. Then, the content of the control is passed to the output unit 108.
  • the output unit 108 outputs the contents of the vehicle interior control performed by the vehicle-mounted control unit 107. Specifically, the output unit 108 performs at least one of displaying the alert and reproducing the voice data of the alert if the content of the vehicle interior control is the alert. Further, the output unit 108 similarly displays the corresponding instruction and reproduces the voice data of the corresponding instruction even when the contents of the vehicle interior control correspond to each other.
  • the in-vehicle monitoring support device 20 provides driving support for the vehicle to automatically drive in the in-vehicle monitoring system according to the embodiment of the present disclosure.
  • the configuration of the in-vehicle monitoring support device 20 according to the embodiment of the present disclosure will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a block diagram showing a hardware configuration of the in-vehicle monitoring support device 20 according to the present embodiment.
  • the in-vehicle monitoring support device 20 includes a CPU 11, a ROM 12, a RAM 13, a storage 14, an input unit 15, a display unit 16, and a communication interface (I / F) 18.
  • the configurations are connected to each other via a bus 19 so as to be communicable with each other.
  • the same hardware as the on-board unit 10 will not be described.
  • the in-vehicle monitoring support program for executing the in-vehicle monitoring support processing is stored in the ROM 12 or the storage 14.
  • the communication interface 18 is an interface for communicating with other devices, and for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark) are used.
  • FIG. 5 is a block diagram showing an example of the functional configuration of the in-vehicle monitoring support device 20.
  • the in-vehicle monitoring support device 20 according to the present embodiment has a remote communication unit 201, a remote recognition unit 202, a remote judgment unit 203, a remote verification unit 204, a support control unit 205, and an output. It is configured to include a part 206.
  • the remote communication unit 201 receives data from the vehicle-mounted device 10. Specifically, the remote communication unit 201 receives data transmitted from the vehicle-mounted communication unit 106, including at least one of the sensor information, the recognition result, and the determination result. When the remote communication unit 201 receives only the sensor information, the remote communication unit 201 passes the sensor information to the remote recognition unit 202 and the support control unit 205. When the remote communication unit 201 receives the sensor information and the recognition result, the remote communication unit 201 passes the sensor information and the recognition result to the remote determination unit 203. When the remote communication unit 201 receives the sensor information, the recognition result, and the judgment result, the remote communication unit 201 passes the sensor information and the recognition result to the remote verification unit 204.
  • the remote communication unit 201 transmits the determination result by the remote determination unit 203 to the vehicle-mounted device 10.
  • the remote recognition unit 202 recognizes an object inside the vehicle 100 based on the sensor information received by the remote communication unit 201. Specifically, the remote cognitive unit 202 recognizes the object in the same manner as the vehicle-mounted cognitive unit 104. At this time, the remote cognitive unit 202 can recognize the object by using a cognitive means with higher accuracy than the cognitive means used in the in-vehicle cognitive unit 104. For example, the object may be recognized by increasing the resolution of each image in the image as compared with the vehicle-mounted recognition unit 104. That is, since the remote cognitive unit 202 has no limitation on energy consumption as compared with the vehicle-mounted cognitive unit 104, it is possible to appropriately support the vehicle-mounted device 10 by using a higher-performance cognitive means.
  • recognition may be performed by a higher sampling rate, more images, more types of sensor information, or higher quality sensor information used by the in-vehicle recognition unit 104. Not only in recognition but also in the following judgment / verification, a method having higher performance than the judgment / verification in the vehicle-mounted device 10 may be used. Then, the remote cognitive unit 202 passes the cognitive result to the remote determination unit 203.
  • the remote determination unit 203 determines the situation inside the vehicle 100 based on the recognition result by the vehicle-mounted cognitive unit 104 or the cognitive result by the remote cognitive unit 202. Specifically, the remote determination unit 203 determines that the condition inside the vehicle 100 is normal or extremely based on the recognition result received by the remote communication unit 201 or the recognition result by the remote recognition unit 202. The determination of the remote determination unit 203 is the same as that of the vehicle-mounted determination unit 105. Then, when the determination result is normal, the remote determination unit 203 passes the determination result to the remote communication unit 201 and the support control unit 205. Further, when the judgment result is not very high, the remote judgment unit 203 passes the recognition result and the judgment result to the remote verification unit 204.
  • the remote verification unit 204 verifies the degree of the situation inside the vehicle 100 based on the recognition result of the remote recognition unit 202.
  • the remote verification unit 204 determines whether the condition inside the vehicle 100 is minor or serious based on the sensor information and the recognition result.
  • the remote verification unit 204 estimates the behavior of a person inside the vehicle 100 from each image of the video and the recognition result.
  • the verification method can be estimated by, for example, performing posture recognition in reference 2 above and using the method in reference 3.
  • the remote verification unit 204 determines whether the estimated behavior is minor or serious. For example, the remote verification unit 204 can list serious actions in advance, and can determine whether the actions are minor or serious depending on whether or not the estimated actions correspond to the actions included in the list. The remote verification unit 204 is not limited to this determination method, and other determination methods can be used. Then, the remote verification unit 204 passes the verification result to the support control unit 205.
  • the remote verification unit 204 verifies the degree of the situation inside the vehicle 100 based on the recognition result of the vehicle-mounted recognition unit 104 in the same manner when the judgment result of the vehicle-mounted judgment unit 105 is very high. Then, the remote verification unit 204 passes the verification result to the support control unit 205.
  • the support control unit 205 generates support information for providing support to the vehicle 100 according to the verification result by the remote verification unit 204. Specifically, the support control unit 205 generates support information according to the verification result and the behavior of a person inside the vehicle 100. For example, when the verification result is serious and the human behavior is " fallen", the support information "call the staff" is generated. Further, for example, when the verification result is insignificant, the support control unit 205 does not generate support information. This is because if it is minor, it may be left to the control by the vehicle-mounted control unit 107 by the vehicle-mounted device 10. Then, the support control unit 205 passes the generated support information to the output unit 206. Further, the support control unit 205 stores the data used for the verification and the verification result in the status management database (not shown).
  • the support control unit 205 stores the received sensor information, the recognition result by the remote recognition unit 202, the received recognition result, and the judgment result in the situation management database.
  • Various data stored in the status management database can be used for improving analysis accuracy and human confirmation.
  • the output unit 206 outputs the support information generated by the support control unit 205. For example, in the case of the support information of "calling a staff member", the support information is passed to a device (not shown) for calling the staff member (notifying the staff member).
  • FIG. 6 is a flowchart showing an in-vehicle monitoring processing routine of the vehicle-mounted device 10 according to the first embodiment of the present disclosure.
  • the timing of starting the process may be regular or arbitrary.
  • step S100 the energy acquisition unit 101 acquires the remaining amount of energy, which is the remaining amount of energy used by the vehicle-mounted device 10, from the energy measuring device.
  • step S101 the vehicle-mounted acquisition unit 102 acquires sensor information regarding an object inside the vehicle 100.
  • step S102 the transition determination unit 103 determines whether or not the remaining energy amount is lower than the first threshold value.
  • step S103 the vehicle-mounted recognition unit 104 recognizes the object inside the vehicle 100 based on the sensor information acquired in step S101. To do.
  • step S104 the transition determination unit 103 determines whether or not the remaining energy amount is lower than the second threshold value.
  • step S105 the vehicle-mounted determination unit 105 determines the internal situation of the vehicle 100 based on the recognition result obtained in step S103. ..
  • step S106 the vehicle-mounted control unit 107 determines whether or not the determination result obtained in step S105 is very high.
  • step S106 If the judgment result is not very good (NO in step S106 above), the process ends. On the other hand, when the determination result is very severe (YES in step S106), in step S107, the vehicle-mounted communication unit 106 has the sensor information acquired in step S101, the recognition result obtained in step S103, and the recognition result in step S105. The determination result obtained by the above is transmitted to the in-vehicle monitoring support device 20.
  • step S108 the vehicle-mounted control unit 107 controls the inside of the vehicle 100 based on the determination result obtained in step S105.
  • step S109 the output unit 108 outputs the content of the vehicle interior control performed by the vehicle-mounted control unit 107 in step S108, and ends the process.
  • step S110 the vehicle-mounted communication unit 106 transmits the sensor information acquired in step S101 to the in-vehicle monitoring support device 20.
  • step S111 the vehicle-mounted communication unit 106 has the sensor information acquired in step S101 and the recognition result obtained in step S103. To the in-vehicle monitoring support device 20.
  • step S112 the vehicle-mounted communication unit 106 receives the determination result by the remote determination unit 203.
  • step S113 the vehicle-mounted control unit 107 determines whether or not the determination result received in step S112 is very high.
  • step S113 If the judgment result is very severe (YES in step S113 above), the process proceeds to step S108. At this time, in step S108, the vehicle-mounted control unit 107 controls the inside of the vehicle 100 based on the determination result obtained in step S113. On the other hand, if the determination result is not very high (NO in step S113), the process ends.
  • FIG. 7 is a flowchart showing an in-vehicle monitoring support processing routine of the in-vehicle monitoring support device 20 according to the first embodiment of the present disclosure. The process is executed every time the remote communication unit 201 receives data from the vehicle-mounted device 10.
  • step S200 the remote communication unit 201 receives data from the vehicle-mounted device 10.
  • step S201 the remote communication unit 201 determines whether or not the received data includes the determination result.
  • step S201 If the judgment result is included (YES in step S201 above), the process proceeds to step S206.
  • step S202 the remote communication unit 201 determines whether or not the received data is only sensor information.
  • step S204 If it is not only sensor information (NO in step S202 above), the process proceeds to step S204.
  • step S203 the remote recognition unit 202 recognizes the object inside the vehicle 100 based on the sensor information received in step S200.
  • step S204 the remote determination unit 203 determines the internal situation of the vehicle 100 based on the recognition result received in step S200 or the recognition result obtained in step S203.
  • step S205 the remote communication unit 201 transmits the determination result obtained in step S204 to the vehicle-mounted device 10.
  • step S206 the remote verification unit 204 determines whether or not the determination result is urgent.
  • step S206 If the judgment result is not very high (NO in step S206 above), the process proceeds to step S208.
  • the remote verification unit 204 uses the vehicle based on the recognition result received in step S200 or the recognition result obtained in step S203. 100 Verify the degree of internal situation.
  • step S208 the support control unit 205 performs support control based on the data obtained in steps S200 to S207, and ends the process.
  • the in-vehicle monitoring system it is determined whether or not remote processing is performed based on the acquired remaining energy amount, and it is determined that remote processing is not performed.
  • the sensor information is recognized by the in-vehicle recognition unit and the judgment by the in-vehicle judgment unit.
  • the remaining energy is insufficient by transmitting to the in-vehicle monitoring support device that performs the same processing as above, receiving the judgment result of the situation inside the vehicle by the in-vehicle monitoring support device, and controlling the inside of the vehicle based on the judgment result. Even if this is the case, it is possible to accurately monitor the inside of the vehicle.
  • the sensor information is transmitted to the in-vehicle monitoring support device, and when the remaining energy is equal to or higher than the first threshold and equal to or lower than the second threshold, the recognition result is displayed.
  • the in-vehicle monitoring support device By transmitting to the in-vehicle monitoring support device, it is possible to perform in-vehicle monitoring with high accuracy while suppressing energy consumption according to the remaining energy.
  • the in-vehicle monitoring support device recognizes an object by using a cognitive means having a higher accuracy than the cognitive means used in the in-vehicle device 10, so that the in-vehicle device 10 performs in-vehicle monitoring with high accuracy while suppressing energy consumption. be able to.
  • the object is a forgotten item such as an umbrella. That is, cognition recognizes a lost item, and judgment determines the presence or absence of a lost item.
  • the sensor information acquired by the in-vehicle acquisition unit 102 is an image.
  • the in-vehicle acquisition unit 102 acquires an image immediately before the vehicle is stopped and an image while the vehicle is stopped from the camera. Then, the in-vehicle acquisition unit 102 passes the image immediately before the stop and the image during the stop as sensor information to the transition determination unit 103.
  • the transition determination unit 103 When the energy remaining level is High, the transition determination unit 103 passes the sensor information to the in-vehicle recognition unit 104. On the other hand, when the energy remaining level is Low, the transition determination unit 103 passes the sensor information to the vehicle-mounted communication unit 106 and causes the in-vehicle monitoring support device 20 to transmit the sensor information. Further, when the energy remaining level is Mid, the transition determination unit 103 entrusts only the function of the vehicle-mounted determination unit 105 to the in-vehicle monitoring support device 20.
  • the transition determination unit 103 orders the in-vehicle recognition unit 104 to pass the sensor information to the in-vehicle recognition unit 104 and the in-vehicle recognition unit 104 to pass the sensor information and the recognition result to the in-vehicle communication unit 106. That is, the transition determination unit 103 causes the vehicle-mounted communication unit 106 to transmit the sensor information and the recognition result to the in-vehicle monitoring support device 20.
  • the in-vehicle recognition unit 104 determines that the transition determination unit 103 does not perform remote processing
  • the in-vehicle recognition unit 104 recognizes the object inside the vehicle 100 based on the sensor information. Specifically, the vehicle-mounted recognition unit 104 recognizes the object by a method such as obtaining background subtraction between the image immediately before the stop and the image during the stop. Then, when the in-vehicle recognition unit 104 is instructed by the transition determination unit 103 to pass the recognition result to the in-vehicle communication unit 106, the in-vehicle recognition unit 104 passes the recognition result to the in-vehicle communication unit 106 and the transition determination unit 103 to the in-vehicle communication unit 106. If it is not instructed to, it is handed over to the in-vehicle judgment unit 105.
  • the in-vehicle determination unit 105 determines the internal situation of the vehicle 100 based on the recognition result by the in-vehicle recognition unit 104. Specifically, the in-vehicle determination unit 105 determines whether or not the lost item is important based on the recognition result. For example, with respect to the recognition result, the similarity with the image of the lost item is calculated for each of the important lost items acquired in advance, and if the similarity is equal to or higher than a predetermined value, it is determined that the lost item is an important lost item. To do. Important lost items are, for example, wallets and smartphones. Then, the vehicle-mounted determination unit 105 passes the determination result to the vehicle-mounted communication unit 106.
  • the in-vehicle communication unit 106 transmits the acquired data to the in-vehicle monitoring support device 20.
  • the remote communication unit 201 receives data from the vehicle-mounted device 10. When the remote communication unit 201 receives only the sensor information, the remote communication unit 201 passes the sensor information to the remote recognition unit 202. Further, when the remote communication unit 201 receives the sensor information and the recognition result, the remote communication unit 201 passes the sensor information and the recognition result to the remote determination unit 203. When the remote communication unit 201 receives the determination result, the remote communication unit 201 passes the sensor information, the recognition result, and the determination result to the support control unit 205.
  • the remote recognition unit 202 and the remote determination unit 203 perform the same processing as the in-vehicle recognition unit 104 and the in-vehicle judgment unit 105.
  • the vehicle-mounted determination unit 105 passes the determination result to the support control unit 205.
  • the support control unit 205 generates support information for providing support to the vehicle 100 based on the determination result. Specifically, the support control unit 205 generates support information that "arranges personnel to rush to the vehicle 100" when the determination result is serious. It can be expected that the personnel will quickly store lost items and speed up their return. On the other hand, if the judgment result is not serious, the lost item is registered in the lost item database (not shown). Then, the support control unit 205 passes the support information to the output unit 206.
  • the vehicle-mounted device 30 includes the energy acquisition unit 101, the vehicle-mounted acquisition unit 102, the transition determination unit 103, the vehicle-mounted recognition unit 104, the vehicle-mounted determination unit 105, and vehicle-mounted communication.
  • a unit 106, an in-vehicle control unit 107, and an output unit 108 are provided.
  • the transition determination unit 103 When the remaining energy amount is lower than the first threshold value, the transition determination unit 103 generates support request information for causing the in-vehicle monitoring support device 20 to make a recognition by the remote recognition unit 202 and a judgment by the remote determination unit 203. Further, the transition determination unit 103 provides support request information for causing the in-vehicle monitoring support device 20 to perform recognition by the remote recognition unit 202 when the remaining energy is equal to or higher than the first threshold value and is equal to or lower than the second threshold value. To generate. Then, the transition determination unit 103 passes the support request information to the in-vehicle communication unit 106.
  • the in-vehicle communication unit 106 transmits the support request information and the sensor information to the in-vehicle monitoring support device 20.
  • the in-vehicle communication unit 106 receives the recognition result by the remote recognition unit 202. Then, the in-vehicle communication unit 106 passes the received recognition result by the remote recognition unit 202 to the in-vehicle determination unit 105.
  • the in-vehicle determination unit 105 determines that the transition determination unit 103 performs remote processing
  • the in-vehicle determination unit 105 determines the internal situation of the vehicle 100 based on the recognition result by the remote recognition unit 202.
  • the in-vehicle monitoring support device 20 includes a remote communication unit 201, a remote recognition unit 202, a remote determination unit 203, a remote verification unit 204, a support control unit 205, and an output unit 206. It is composed.
  • the remote communication unit 201 receives the sensor information and the support request information transmitted from the vehicle-mounted communication unit 106. Then, the remote communication unit 201 passes the received support request information and sensor information to the remote recognition unit 202.
  • the remote cognitive unit 202 passes the recognition result to the remote communication unit 201.
  • the support request information is information for making the recognition by the remote recognition unit 202 and the judgment by the remote judgment unit 203
  • the remote recognition unit 202 passes the recognition result to the remote judgment unit 203.
  • the remote communication unit 201 transmits the recognition result by the remote recognition unit 202 to the vehicle-mounted device 10.
  • FIG. 8 is a flowchart showing an in-vehicle monitoring processing routine of the on-board unit 30 according to the second embodiment.
  • the same processing as the in-vehicle monitoring support processing routine according to the first embodiment is designated by the same reference numerals, and detailed description thereof will be omitted.
  • the timing of starting the process may be regular or arbitrary.
  • step S300 the transition determination unit 103 determines whether or not the remaining energy is equal to or less than the second threshold value.
  • step S301 the transition determination unit 103 tells the in-vehicle monitoring support device 20 when the remaining energy is lower than the first threshold value.
  • the support request information for making the recognition by the remote recognition unit 202 and the judgment by the remote judgment unit 203 is generated.
  • the transition determination unit 103 provides support request information for causing the in-vehicle monitoring support device 20 to perform recognition by the remote recognition unit 202 when the remaining energy is equal to or higher than the first threshold value and is equal to or lower than the second threshold value. To generate.
  • step S302 the in-vehicle communication unit 106 transmits the support request information and the sensor information to the in-vehicle monitoring support device 20.
  • step S303 the vehicle-mounted communication unit 106 receives the recognition result by the remote recognition unit 202 or the judgment result by the remote judgment unit 203.
  • step S304 the vehicle-mounted communication unit 106 determines whether or not the recognition result has been received.
  • the vehicle-mounted communication unit 106 passes the received recognition result by the remote recognition unit 202 to the vehicle-mounted determination unit 105, and proceeds to step S105.
  • the vehicle-mounted determination unit 105 determines the situation inside the vehicle 100 based on the recognition result by the remote recognition unit 202.
  • step S304 above when the recognition result is not received (when the determination result is received) (NO in step S304 above), the in-vehicle communication unit 106 passes the received determination result by the remote determination unit 203 to the in-vehicle control unit 107. The process proceeds to step S106.
  • FIG. 9 is a flowchart showing an in-vehicle monitoring support processing routine of the in-vehicle monitoring support device 40 according to the second embodiment.
  • the same processing as the in-vehicle monitoring support processing routine according to the first embodiment is designated by the same reference numerals, and detailed description thereof will be omitted.
  • the process is executed every time the remote communication unit 201 receives data from the vehicle-mounted device 10.
  • step S400 the remote communication unit 201 receives the sensor information and the support request information transmitted from the vehicle-mounted communication unit 106.
  • step S401 the remote cognitive unit 202 determines whether or not the support request information is information for causing the remote cognitive unit 202 to perform recognition.
  • step S401 If the information is not for recognition by the remote recognition unit 202 (NO in step S401 above), the process proceeds to step S204.
  • step S402 when the information is for the remote cognitive unit 202 to perform recognition (YES in step S401), in step S402, the remote communication unit 201 obtains the recognition result of the remote cognitive unit 202 obtained in step S203. , Transmit to the in-vehicle device 10.
  • the in-vehicle monitoring system it is determined whether or not remote processing is performed based on the acquired remaining energy amount, and when it is determined that remote processing is performed. If the remaining energy is lower than the first threshold, the in-vehicle monitoring support device is made to perform recognition by the remote cognitive unit and judgment by the remote judgment unit, and the remaining energy is equal to or higher than the first threshold and the second threshold.
  • the remote cognitive unit when the in-vehicle monitoring support device is made to perform recognition by the remote cognitive unit, the recognition result by the remote cognitive unit or the judgment result by the remote judgment unit is received, and the cognitive result by the remote cognitive unit is received, the remote recognition By judging the situation inside the vehicle based on the recognition result by the department and controlling the inside of the vehicle based on the judgment result, even if the remaining energy is insufficient, the inside of the vehicle can be monitored accurately. Can be done.
  • the transition determination unit 103 determines whether or not to perform remote processing using only the remaining energy, but the present invention is not limited to this. For example, it is possible to determine whether or not to perform remote processing by using the prospect of energy supply based on the operation plan acquired in advance. Specifically, even when the current level of remaining energy is low, if energy can be replenished at a nearby gas station or a place where electricity can be charged, the transition determination unit 103 performs remote processing. Judge not to do it.
  • energy replenishment includes replenishment with energy obtained by regenerative braking or the like.
  • the transition determination unit 103 determines that the remote processing is not performed immediately before or before the downhill even if the remaining energy is small (for example, the first threshold value or less). Further, the determination may be made according to the operation mode of the vehicle 100 (during forwarding, getting on / off, traveling, etc.). Further, when an emergency event (passenger moves, falls, abnormal behavior, etc.) occurs while the vehicle 100 is running, remote processing may be performed. In this case, by outsourcing the heavy calculation, a more detailed situation judgment can be made, and the situation data can be recorded in the in-vehicle monitoring support device 20 and applied to the situation judgment of another vehicle.
  • the verification of the internal condition of the vehicle 100 is performed only by the remote verification unit 204 of the in-vehicle monitoring support device 20, but the present invention is not limited to this.
  • the function of the remote verification unit 204 may be mounted on the vehicle-mounted device 10. In this case, if there is a sufficient amount of energy remaining, the vehicle-mounted device 10 may perform the verification, and if not, the in-vehicle monitoring support device 20 may perform the verification.
  • the transition determination unit 103 has decided to generate the support request information, but the present invention is not limited to this.
  • the remaining energy may be transmitted to the in-vehicle monitoring support device 20, and the in-vehicle monitoring support device 20 may be provided with a remote transfer determination unit.
  • the remote transfer determination unit causes the remote recognition unit 202 to perform recognition and the remote determination unit 203 to make a judgment, and the remaining energy amount is equal to or higher than the first threshold value. If it is equal to or less than the second threshold value, the remote cognitive unit 202 may make a determination to perform cognition.
  • the transition determination unit 103 may be configured to determine a range to be processed by the on-board unit and a range to be entrusted to the in-vehicle monitoring support device according to the remaining energy. Specifically, the level of the remaining energy is divided into four stages, and at the level with the least remaining energy, recognition and judgment are left to the in-vehicle monitoring support device, and at the next level, only the judgment is left to the in-vehicle monitoring support device. At the next level, only cognition is left to the in-vehicle monitoring support device, and at the level with the highest amount of remaining energy, the on-board unit may perform cognition and judgment. In this example, the case of only cognition and the case of only judgment may be reversed according to the energy consumption based on the processing load.
  • the vehicle-mounted control unit 107 is configured to control the temperature change in case of emergency
  • the output unit 108 is configured to output a temperature change command to the air conditioner (not shown) mounted on the vehicle 100. Good. It is useful not only when the vehicle 100 transports people, but also in trucks where fresh foods, frozen foods, livestock and the like are transported by automatic driving.
  • the object may be recognized, judged, and verified by voice by the methods described in References 4 and 5 below.
  • References 4 and 5 G. Hinton, L. Deng, Y. Dong, GEDahl, A. Mohamed, N. Jaitly, A. Senior, V. Vanhoucke, P. Nguyen, TNSainath and B. Kingsbury, "Deep neural networks for acoustic modeling in speech recognition, "IEEE Signal Processing Magazine, Vol.29, No.6, 2012, pp.82-97.
  • the transition determination unit 103 determines whether or not to perform remote processing according to the remaining energy amount, but the present invention is not limited to this. In addition to the remaining energy amount, whether or not to perform remote processing by comprehensively judging various information such as the outlook for energy supply based on the operation plan acquired in advance, the attributes of passengers, the difficulty of operation by automatic driving, etc. It may be a structure to judge.
  • the energy supply prospect is information on whether or not the vehicle 100 can be replenished with energy in the operation plan.
  • the standard for remote processing may not depend on the remaining energy level.
  • high-performance monitoring processing is performed by the in-vehicle monitoring support device 20 at an arbitrary timing, and monitoring processing is performed with the on-board unit 10 having low energy consumption at other timings. It can be configured to be.
  • the in-vehicle device 10 transmits the sensor information, the recognition result and the judgment result to the in-vehicle monitoring support device 20 at any time, and the in-vehicle monitoring support device 20 registers the sensor information, the recognition result and the judgment result in the situation management database. May be good.
  • various processors other than the CPU may execute the program executed by the CPU reading the software (program) in the above embodiment.
  • the processors include PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing FPGA (Field-Programmable Gate Array), and ASIC (Application Specific Integrated Circuit) for executing ASIC (Application Special Integrated Circuit).
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration designed exclusively for the purpose.
  • each of the above programs may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs and a combination of a CPU and an FPGA). Etc.).
  • the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the program is a non-temporary storage medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital entirely Disk Online Memory), and a USB (Universal Serial Bus) memory. It may be provided in the form. Further, each of the above programs may be downloaded from an external device via a network.
  • (Appendix 1) It is an in-vehicle monitoring device mounted on the vehicle. With memory With at least one processor connected to the memory Including The processor Acquires the remaining energy amount, which is the remaining amount of energy used by the in-vehicle monitoring device, and obtains the remaining amount of energy. Acquires sensor information about objects inside the vehicle, Based on the remaining energy amount, it is determined whether or not to perform remote processing, and When it is determined that remote processing is not performed, the object inside the vehicle is recognized based on the sensor information, and the object is recognized.
  • the situation inside the vehicle is judged, When it is determined that remote processing is to be performed, the sensor information is transmitted to the in-vehicle monitoring support device that performs the same processing as the recognition and the determination.
  • the in-vehicle monitoring support device Upon receiving the judgment result of the situation inside the vehicle by the in-vehicle monitoring support device, An in-vehicle monitoring device configured to control the inside of the vehicle based on the determination result.
  • (Appendix 2) Get the remaining energy, which is the remaining energy used by the computer, Acquires sensor information about objects inside the vehicle, Based on the remaining energy amount, it is determined whether or not to perform remote processing, and When it is determined that remote processing is not performed, the object inside the vehicle is recognized based on the sensor information, and the object is recognized. Based on the recognition result, the situation inside the vehicle is judged, When it is determined that remote processing is to be performed, the sensor information is transmitted to the in-vehicle monitoring support device that performs the same processing as the recognition and the determination.
  • a non-temporary storage medium that stores an in-vehicle monitoring program that causes a computer to execute control of the inside of the vehicle based on the determination result.
  • the remote communication unit receives sensor information about an object inside the vehicle from an in-vehicle monitoring device that monitors the inside of the vehicle, and receives the sensor information.
  • the remote recognition unit recognizes an object inside the vehicle based on the sensor information received by the remote communication unit.
  • the remote determination unit determines the situation inside the vehicle based on the recognition result by the remote recognition unit.
  • the remote communication unit is an in-vehicle monitoring support device that transmits a determination result of the remote determination unit to the in-vehicle monitoring device.
  • the energy acquisition unit of the on-board unit mounted on the vehicle acquires the remaining energy, which is the remaining amount of energy used by the on-board unit.
  • the vehicle-mounted acquisition unit of the vehicle-mounted device acquires sensor information regarding the object inside the vehicle, and obtains the sensor information.
  • the transition determination unit of the on-board unit determines whether or not to perform remote processing based on the remaining energy amount, and determines whether or not to perform remote processing.
  • the vehicle-mounted recognition unit of the vehicle-mounted device determines that the transition determination unit does not perform remote processing, it recognizes the object inside the vehicle based on the sensor information.
  • the vehicle-mounted determination unit of the vehicle-mounted device determines the internal situation of the vehicle based on the recognition result by the vehicle-mounted recognition unit.
  • the sensor information is transmitted to the in-vehicle monitoring support device.
  • the remote communication unit of the in-vehicle monitoring support device receives the sensor information and receives the sensor information.
  • the remote recognition unit of the in-vehicle monitoring support device recognizes the object inside the vehicle based on the sensor information received by the remote communication unit.
  • the remote determination unit of the in-vehicle monitoring support device determines the situation inside the vehicle based on the recognition result by the remote recognition unit.
  • the remote communication unit transmits the determination result of the remote determination unit to the vehicle-mounted device.
  • the in-vehicle communication unit receives the determination result of the remote determination unit, and receives the determination result.
  • An in-vehicle monitoring method in which an in-vehicle control unit of an in-vehicle device controls the inside of a vehicle based on a determination result of the in-vehicle determination unit or a determination result of the remote determination unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Thermal Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Power Engineering (AREA)
  • Sustainable Energy (AREA)
  • Sustainable Development (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Traffic Control Systems (AREA)

Abstract

移行判断部１０３が、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行わないと判断した場合、車載認知部１０４が、車両内部の対象物を認知し、車載判断部１０５が、認知結果に基づいて、車両内部の状況を判断し、遠隔処理を行うと判断した場合、車載通信部１０６が、センサ情報を、車載認知部による認知、及び車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、車内監視支援装置による車両内部の状況の判断結果を受信し、車載制御部１０７が、判断結果に基づいて、車両内部に対する制御を行う。

Description

車内監視システム、車内監視装置、及び車内監視プログラム 関連出願の相互参照
　本出願は、２０１９年１２月４日に出願された日本出願番号２０１９－２１９４５６号に基づくもので、ここにその記載内容を援用する。
　本開示は、車内監視システム、車内監視装置、及び車内監視プログラムに関する。
　自動運転車両において、車両内の防犯や事故防止のため、車内を監視する車内監視が研究されている。例えば、特許文献１では、多数の人が乗り合わせる公共交通機関の車両内の事故や犯罪の防止のため、カメラ映像等を処理して状況を把握している。
特開２０１６－０６２４１４号公報
　しかし、自動運転車両においては、監視システムが多様な監視を担う必要がある一方で、コスト・搭載条件・消費エネルギーの観点から、監視システムに搭載可能な機能の限界がある、という問題があった。また、監視システムに全ての機能を搭載した場合であっても、消費エネルギーが増大するため、自動運転車両が用いるエネルギーが不足してしまう虞がある。
　本開示は、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる車内監視装置、車内監視システム、及び車内監視プログラムを提供することを目的とする。
　本開示に係る車内監視システムは、車両に搭載された車載器と、車内監視支援装置とを含み、前記車載器は、エネルギー取得部と、車載取得部と、移行判断部と、車載認知部と、車載判断部と、車載通信部と、車載制御部とを含み、前記車内監視支援装置は、遠隔通信部と、遠隔認知部と、遠隔判断部とを含み、前記エネルギー取得部は、前記車載器が用いるエネルギーの残量であるエネルギー残量を取得し、前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車内監視支援装置に送信し、前記遠隔通信部は、前記センサ情報を受信し、前記遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、前記遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、前記遠隔通信部は、前記遠隔判断部の判断結果を、前記車載器に送信し、前記車載通信部は、前記遠隔判断部の判断結果を受信し、前記車載制御部は、前記車載判断部の判断結果又は前記遠隔判断部の判断結果に基づいて、前記車両内部に対する制御を行うように構成される。
　また、本開示に係る車内監視装置は、車両に搭載された車内監視装置であって、エネルギー取得部と、車載取得部と、移行判断部と、車載認知部と、車載判断部と、車載通信部と、車載制御部とを含み、前記エネルギー取得部は、前記車内監視装置が用いるエネルギーの残量であるエネルギー残量を取得し、前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、前記車載通信部は、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、前記車載制御部は、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行うように構成される。
　また、本開示に係る車内監視プログラムは、エネルギー取得部が、コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、車載取得部が、前記車両内部の対象物に関するセンサ情報を取得し、移行判断部が、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、車載認知部が、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、車載判断部が、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、車載通信部が、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、前記車載通信部が、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、車載制御部が、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行うことを含む処理をコンピュータに実行させるためのプログラムである。
　本開示に係る車内監視システム、車内監視装置、及び車内監視プログラムによれば、エネルギー取得部が、コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、車載取得部が、車両内部の対象物に関するセンサ情報を取得し、移行判断部が、エネルギー残量に基づいて、遠隔処理を行うか否かを判断する。
　そして、車載認知部が、移行判断部が遠隔処理を行わないと判断した場合、センサ情報に基づいて、車両内部の対象物を認知し、車載判断部が、車載認知部による認知結果に基づいて、車両内部の状況を判断し、車載通信部が、移行判断部が遠隔処理を行うと判断した場合、センサ情報を、車載認知部による認知、及び車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、車載通信部が、車内監視支援装置による車両内部の状況の判断結果を受信し、車載制御部が、車載判断部の判断結果又は車内監視支援装置の判断結果に基づいて、車両内部に対する制御を行う。
　このように、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行わないと判断した場合、車両内部の対象物を認知し、認知結果に基づいて、車両内部の状況を判断し、遠隔処理を行うと判断した場合、センサ情報を、車載認知部による認知、及び車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、車内監視支援装置による車両内部の状況の判断結果を受信し、判断結果に基づいて、車両内部に対する制御を行うことにより、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
　本開示の車内監視システム、車内監視装置、及び車内監視プログラムによれば、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、下記の通りである。
車内監視システムの構成を示すブロック図である。 車載器のハードウェア構成を示すブロック図である。 車載器の機能構成を示すブロック図である。 車内監視支援装置のハードウェア構成を示すブロック図である。 車内監視支援装置の機能構成を示すブロック図である。 第１実施形態に係る車内監視処理ルーチンを示すフローチャートである。 第１実施形態に係る車内監視支援処理ルーチンを示すフローチャートである。 第２実施形態に係る車内監視処理ルーチンを示すフローチャートである。 第２実施形態に係る車内監視支援処理ルーチンを示すフローチャートである。
　以下、本開示の実施形態について図面を用いて説明する。
＜本開示の第１実施形態に係る車内監視システムの構成＞
　図１を参照して、本開示の実施形態に係る車内監視システム１について説明する。図１は、本開示の第１実施形態に係る車内監視システム１の構成を示すブロック図である。図１に示すように、本開示の第１実施形態に係る車内監視システム１は、車両１００に搭載された車載器１０と、車内監視支援装置２０と、基地局６０と、ネットワーク７０により構成される。なお、車内監視システム１は、車載器１０を搭載した車両１００が、自動運転を実施している場合を例に説明する。車両１００は、対象物を運搬可能な車両であり、例えば対象物が人であるにはバス、対象物が物（動物を含む）である場合にはトラックである。本開示では、対象物が人、車両１００がバスである場合を例に説明する。
　基地局６０は、ネットワーク７０に接続され、無線通信により車載器１０と通信を行う無線基地局である。ネットワーク７０は、インターネットや広域イーサ網等の公衆網である。すなわち、車載器１０と、車内監視支援装置２０とは、基地局６０及びネットワーク７０を介して通信可能に構成される。
　また、車両１００には、車載器１０と有線又は無線により接続可能なエネルギー計測装置及びセンサ（図示しない）が搭載されている。エネルギー計測装置は、車載器１０の使用するエネルギーの残量を計測する装置である。エネルギー計測装置は、例えば、特許６１９１３４９号公報に開示されているように、車載器１０が用いるエネルギーを監視している。エネルギーとしては、例えばバッテリー内部の電気、ガソリンの量、水素等種々のエネルギーである。センサは、車内の情報を取得する装置である。センサとしては、例えば、カメラ、温度計、振動センサ、レーザレーダ、超音波センサ、ミリ波センサ等を採用することができる。本開示では、エネルギーが電気、センサが車両１００の内部を撮影するカメラである場合を例に説明する。エネルギー計測装置及びカメラは、エネルギー残量及び撮影した画像を、車載器１０に渡す。
　車載器１０は、自動運転制御を実行する。図２及び図３を参照して、車載器１０の構成について説明する。
　図２は、本実施形態に係る車載器１０のハードウェア構成を示すブロック図である。図２に示すように、車載器１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及びアンテナ１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、車内監視処理を実行するための車内監視プログラムが記憶されている。
　ＲＯＭ１２は、各種プログラム及び各種データを記憶する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
　入力部１５は、マウス等のポインティングデバイス、キーボード、及び音声入力デバイスを含み、各種の入力を行うために使用される。表示部１６は、例えば、液晶ディスプレイ又はスピーカーであり、各種の情報を表示又は再生する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。アンテナ１７は、他の機器と無線通信するための無線通信アンテナであり、例えば、ＬＴＥ、５Ｇ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
　図３は、本実施形態に係る車載器１０の機能構成を示すブロック図である。図３に示すように、本実施形態に係る車載器１０は、エネルギー取得部１０１と、車載取得部１０２と、移行判断部１０３と、車載認知部１０４と、車載判断部１０５と、車載通信部１０６と、車載制御部１０７と、出力部１０８とを備えて構成される。
　エネルギー取得部１０１は、エネルギー計測装置から、車載器１０が用いるエネルギーの残量であるエネルギー残量を取得する。そして、エネルギー取得部１０１は、取得したエネルギー残量を、移行判断部１０３に渡す。
　車載取得部１０２は、車両１００内部の対象物に関するセンサ情報を取得する。具体的には、車載取得部１０２は、車両１００の内部を撮影するカメラが撮影した映像を、所定周期で取得する。そして、車載取得部１０２は、取得した映像を、移行判断部１０３に渡す。
　移行判断部１０３は、エネルギー残量に基づいて、遠隔処理を行うか否かを判断する。具体的には、移行判断部１０３は、エネルギー残量を、例えば３段階（Ｈｉｇｈ、Ｍｉｄ、Ｌｏｗ）のレベルに分けて、レベルに応じて、車内監視支援装置２０による遠隔処理を行うか否か、及び遠隔処理の内容を判断する。エネルギー残量のレベルは、例えば、エネルギー残量が第１閾値よりも低い場合には、Ｌｏｗ、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合にはＭｉｄ、エネルギー残量が第２閾値よりも高い場合にはＨｉｇｈとすることができる。
　エネルギー残量のレベルがＨｉｇｈである場合、エネルギーを監視に使用する十分なエネルギーがある。このため、車載器１０により車内監視を実行する。具体的には、車載認知部１０４及び車載判断部１０５により、認知及び状況の判断を行う。この場合、移行判断部１０３は、センサ情報を、車載認知部１０４に渡す。
　一方、エネルギー残量のレベルがＭｉｄやＬｏｗである場合、監視にエネルギーを使用することは、リスクが高い。このため、監視機能の一部を車内監視支援装置２０に任せる。監視機能を構成する車載認知部１０４及び車載判断部１０５の少なくとも何れかの機能を、車内監視支援装置２０に任せる。より具体的には、移行判断部１０３は、エネルギー残量のレベルがＬｏｗである場合、車載通信部１０６に、センサ情報を渡し、当該センサ情報を車内監視支援装置２０に送信させる。また、移行判断部１０３は、エネルギー残量のレベルがＭｉｄである場合、車載判断部１０５の機能のみを車内監視支援装置２０に任せる。この場合、移行判断部１０３は、センサ情報を、車載認知部１０４に渡すと共に、車載認知部１０４に、センサ情報と認知結果とを、車載通信部１０６に渡すように命じる。すなわち、移行判断部１０３は、車載通信部１０６に、センサ情報と認知結果とを、車内監視支援装置２０に送信させる。
　車載認知部１０４は、移行判断部１０３が遠隔処理を行わないと判断した場合、センサ情報に基づいて、車両１００内部の対象物を認知する。具体的には、車載認知部１０４は、エネルギー残量のレベルがＭｉｄ又はＨｉｇｈである場合には、移行判断部１０３は遠隔処理により、センサ情報である映像から車両１００内の人を認知する処理を行わないと判断したものとして、映像内の各画像から車両１００内の人を認知する処理を行う。認知手段は、例えば下記参考文献１の他、任意の認知手段を採用することができる。
［参考文献１］S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards real-time object detection with region proposal networks," Advances in Neural Information Processing Systems 28, May 2015, pp.91-99.
　そして、車載認知部１０４は、映像と、認知結果とを、移行判断部１０３により車載通信部１０６に渡すように命じられている場合、車載通信部１０６に渡し、移行判断部１０３により車載通信部１０６に渡すように命じられていない場合、車載判断部１０５に渡す。
　車載判断部１０５は、移行判断部１０３が、判断処理について遠隔処理を行わないと判断した場合、車載認知部１０４による認知結果と、車両１００の現在のシーンとに基づいて、車両１００内部の状況を判断する。
　具体的には、車載判断部１０５は、まず、車載制御部１０７から、現在のシーンを取得する。現在のシーンとは、車両１００が現在置かれている場面であり、例えば待機中、運行中平常、運行中非常、停車中等の場面である。本開示では、現在のシーンとして、運行中平常と運行中非常との場合を例に説明する。
　車載判断部１０５は、現在のシーンが運行中平常である場合、車載認知部１０４による認知結果に基づいて、車両１００内部の状況が、平常、要注意、及び非常の何れかであるかを判断する。具体的には、車載判断部１０５は、車載認知部１０４による認知結果に対して、例えば人体姿勢推定（参考文献２）等の手法により、複数時点の車両１００内部の人の姿勢を検出する。
［参考文献２］A. Toshev and C. Szegedy, "DeepPose: Human pose estimation via deep neural networks," Proc. Computer Vision and Pattern Recognition 2014, Columbus, USA, June 2014, pp.3476-3483.
　次に、車載判断部１０５は、検出した複数時点の姿勢から、車両１００内部において認知された人が、平常時の姿勢であるか、又は平常時の姿勢で無いかを判定する。平常時の姿勢とは、例えばバス内で「着席」、「手すり又はつり革につかまって立っている」等の姿勢である。車載判断部１０５は、検出した姿勢が平常時の姿勢である場合、車両１００内部の状況が平常であると判断する。また、車載判断部１０５は、検出した姿勢が平常時の姿勢でない場合、車両１００内部の状況が非常であると判断する。そして、車載判断部１０５は、判断結果を、車載制御部１０７に渡す。
　また、車載判断部１０５は、現在のシーンが運行中非常である場合も同様に、車載認知部１０４による認知結果に基づいて、車両１００内部において認知された人が、平常時の姿勢であるか、又は平常時の姿勢で無いかを判定する。車載判断部１０５は、判断結果が非常であれば、判断結果を車載制御部１０７に渡す。車載判断部１０５は、更に、判断結果を、車載通信部１０６に渡す。運行中非常である場合の判断結果が非常であれば、より詳細に現在の状況を検証する必要があるからである。本実施形態では、詳細な検証は消費エネルギーを多く使うため、車内監視支援装置２０により、車両１００内部の状況をより詳細に検証させる。また、車載判断部１０５は、判断結果が非常でなければ、判断結果を、車載制御部１０７に渡す。
　車載通信部１０６は、各処理部から渡されたデータを、車内監視支援装置２０に送信する。具体的には、車載通信部１０６は、センサ情報、認知結果、及び判断結果のうち、取得したデータを、車内監視支援装置２０に送信する。
　また、車載通信部１０６は、センサ情報又は認知結果を車内監視支援装置２０に送信した場合、車内監視支援装置２０から、遠隔判断部２０３による判断結果を受信する。そして、車載通信部１０６は、受信した判断結果を、車載制御部１０７に渡す。
　車載制御部１０７は、車載判断部１０５の判断結果又は遠隔判断部２０３の判断結果に基づいて、車両１００内部に対する制御を行う。具体的には、車載制御部１０７は、車載判断部１０５又は遠隔判断部２０３の判断結果に基づいて、注意喚起、又は対応指示を行うように制御する。
　例えば、車載制御部１０７は、現在のシーンが運行中平常である場合、車載判断部１０５の判断結果又は遠隔判断部２０３の判断結果に基づいて、車両１００内部に対する制御が必要か否かを判定する。より具体的には、判断結果が、平常である場合、車載制御部１０７は、車両１００内部に対する制御は不要であると判定する。なお、当該制御は、車内監視に関する特別な制御であり、通常の車両制御等の他の制御とは異なる。また、判断結果が非常である場合、車載制御部１０７は、車両１００内部に対する制御が必要であると判定する。制御が必要である場合、車載制御部１０７は、制御として姿勢に応じた注意喚起の内容を、検出された姿勢に応じて決定する。車載制御部１０７の姿勢と注意喚起との対応付けは、例えば予め対応表を作成しておくことで実現可能である。例えば、車載判断部１０５により運行中に人が車両１００内を歩行している姿勢が検出された場合、着座するように注意喚起を行う旨を決定する。そして、制御の内容を、出力部１０８に渡す。
　また、車載制御部１０７は、現在のシーンが運行中非常である場合、車載判断部１０５の判断結果又は遠隔判断部２０３の判断結果に基づいて、車両１００内部に対する制御が必要か否かを判定する。より具体的には、判断結果が、平常である場合、車載制御部１０７は、車両１００内部に対する制御は不要であると判定する。また、判断結果が非常である場合、車載制御部１０７は、車両１００内部に対する制御が必要であると判定する。制御が必要である場合、車載制御部１０７は、制御として姿勢に応じた対応の内容を、検出された姿勢に応じて決定する。車載制御部１０７の姿勢と対応との対応付けは、例えば予め対応表を作成しておくことで実現可能である。例えば、車載判断部１０５により運行中の車両１００内において人が刃物を把持している場合、刃物をしまうように表示する対応を行う旨を決定する。そして、制御の内容を、出力部１０８に渡す。
　出力部１０８は、車載制御部１０７が行う車室制御の内容を出力する。具体的には、出力部１０８は、車室制御の内容が注意喚起であれば、注意喚起を表示すること、及び注意喚起の音声データを再生することの少なくとも何れかを行う。また、出力部１０８は、車室制御の内容が対応の場合も同様に、対応の指示を表示すること、及び対応の指示の音声データを再生することの少なくとも何れかを行う。
　車内監視支援装置２０は、本開示の実施形態に係る車内監視システムにおける車両が自動運転を行うための走行支援を行う。図４及び図５を参照して、本開示の実施形態に係る車内監視支援装置２０の構成について説明する。図４は、本実施形態に係る車内監視支援装置２０のハードウェア構成を示すブロック図である。図４に示すように、車内監視支援装置２０は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１８を有する。各構成は、バス１９を介して相互に通信可能に接続されている。なお、車載器１０と同様のハードウェアについては説明を省略する。車内監視支援装置２０では、ＲＯＭ１２又はストレージ１４には、車内監視支援処理を実行するための車内監視支援プログラムが記憶されている。
　通信インタフェース１８は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
　次に、車内監視支援装置２０の機能構成について説明する。図５は、車内監視支援装置２０の機能構成の例を示すブロック図である。図５に示すように、本実施形態に係る車内監視支援装置２０は、遠隔通信部２０１と、遠隔認知部２０２と、遠隔判断部２０３と、遠隔検証部２０４と、支援制御部２０５と、出力部２０６とを備えて構成される。
　遠隔通信部２０１は、車載器１０からデータを受信する。具体的には、遠隔通信部２０１は、車載通信部１０６から送信された、センサ情報、認知結果、及び判断結果の少なくとも何れかを含むデータを受信する。遠隔通信部２０１は、センサ情報のみを受信した場合、当該センサ情報を、遠隔認知部２０２及び支援制御部２０５に渡す。また、遠隔通信部２０１は、センサ情報及び認知結果を受信した場合、当該センサ情報及び認知結果を、遠隔判断部２０３にわたす。また、遠隔通信部２０１は、センサ情報、認知結果及び判断結果を受信した場合、当該センサ情報及び当該認知結果を遠隔検証部２０４に渡す。
　また、遠隔通信部２０１は、遠隔判断部２０３による判断結果を、車載器１０に送信する。
　遠隔認知部２０２は、遠隔通信部２０１が受信したセンサ情報に基づいて、車両１００内部の対象物を認知する。具体的には、遠隔認知部２０２は、車載認知部１０４と同様に、対象物を認知する。このとき、遠隔認知部２０２は、車載認知部１０４で用いる認知手段よりも精度の高い認知手段を用いて、対象物を認知することができる。例えば、車載認知部１０４よりも映像内の各画像の解像度を上げて、対象物を認知すればよい。すなわち、遠隔認知部２０２は、車載認知部１０４よりもエネルギー消費に制限が無いため、より高性能な認知手段を用いることで、車載器１０を適切に支援可能となるのである。他に、より高いサンプリングレート、より多い画像、より多種類のセンサ情報や車載認知部１０４が用いるより高品質なセンサ情報により、認知を行うようにしてもよい。なお、認知に限らず、下記の判断・検証においても、車載器１０における判断・検証よりも高性能な手法を用いてもよい。そして、遠隔認知部２０２は、認知結果を、遠隔判断部２０３に渡す。
　遠隔判断部２０３は、車載認知部１０４による認知結果又は遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況を判断する。具体的には、遠隔判断部２０３は、遠隔通信部２０１が受信した認知結果又は遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況が平常又は非常であると判断する。遠隔判断部２０３の判断は、車載判断部１０５と同様である。そして、遠隔判断部２０３は、判断結果が平常である場合、判断結果を、遠隔通信部２０１及び支援制御部２０５に渡す。また、遠隔判断部２０３は、判断結果が非常でない場合、認知結果及び判断結果を遠隔検証部２０４に渡す。
　遠隔検証部２０４は、遠隔判断部２０３の判断結果が非常である場合、遠隔認知部２０２の認知結果に基づいて、車両１００内部の状況の非常の程度を検証する。
　具体的には、遠隔検証部２０４は、センサ情報と認知結果とに基づいて、車両１００内部の状況が、軽微及び重大の何れかであるかを判断する。遠隔検証部２０４は、映像の各画像と、認知結果とから、車両１００内部の人の行動を推定する。検証方法は、例えば上記参考文献２により姿勢認識を行い、参考文献３の手法を用いることで推定することができる。
［参考文献３］鈴木智之、青木義満、“行動遷移映像における姿勢特徴を中心とする学習を用いた時系列行動認識”、精密工学会誌　８３巻１２号、２０１７、ｐｐ．１１５６－１１６５。
　次に、遠隔検証部２０４は、推定した行動が、軽微及び重大の何れかであるか判断する。遠隔検証部２０４は、例えば、予め重大な行動をリスト化しておき、リストに含まれる行動に推定した行動が該当するか否かにより、軽微であるか重大であるかを判断することができる。この判断方法に限定されず、遠隔検証部２０４は、他の判断方法を用いることができる。そして、遠隔検証部２０４は、検証結果を、支援制御部２０５に渡す。
　また、遠隔検証部２０４は、車載判断部１０５の判断結果が非常である場合も同様に、車載認知部１０４の認知結果に基づいて、車両１００内部の状況の非常の程度を検証する。そして、遠隔検証部２０４は、検証結果を、支援制御部２０５に渡す。
　支援制御部２０５は、遠隔検証部２０４による検証結果に応じて、車両１００に対する支援を行うための支援情報を生成する。具体的には、支援制御部２０５は、検証結果と車両１００内部の人の行動とに応じた支援情報を生成する。例えば、検証結果が重大であり、かつ、人の行動が「倒れている」場合、「係員を呼び出す」という支援情報を生成する。また、例えば、検証結果が軽微である場合には、支援制御部２０５は、支援情報を生成しない。軽微である場合、車載器１０による車載制御部１０７による制御に任せればよいためである。そして、支援制御部２０５は、生成した支援情報を、出力部２０６に渡す。また、支援制御部２０５は、検証に用いたデータ及び検証結果を、状況管理データベース（図示しない）に格納する。
　また、支援制御部２０５は、受信したセンサ情報及び遠隔認知部２０２による認知結果、又は受信した認知結果と、判断結果とを、状況管理データベースに格納する。状況管理データベースに格納された各種データは、解析精度の向上や人による確認に用いることができる。
　出力部２０６は、支援制御部２０５により生成された支援情報を出力する。例えば、「係員を呼び出す」という支援情報の場合、係員を呼び出す（係員に通知する）ための装置（図示しない）に当該支援情報を渡す。
＜本開示の第１実施形態に係る車内監視システムの作用＞
　図６は、本開示の第１実施形態に係る車載器１０の車内監視処理ルーチンを示すフローチャートである。処理の開始のタイミングは定期でも任意のタイミングでもよい。
　ステップＳ１００において、エネルギー取得部１０１は、エネルギー計測装置から、車載器１０が用いるエネルギーの残量であるエネルギー残量を取得する。
　ステップＳ１０１において、車載取得部１０２は、車両１００内部の対象物に関するセンサ情報を取得する。
　ステップＳ１０２において、移行判断部１０３は、エネルギー残量が第１閾値よりも低いか否かを判定する。
　エネルギー残量が第１閾値よりも低くない場合（上記ステップＳ１０２のＮＯ）、ステップＳ１０３において、車載認知部１０４は、上記ステップＳ１０１により取得したセンサ情報に基づいて、車両１００内部の対象物を認知する。
　ステップＳ１０４において、移行判断部１０３は、エネルギー残量が第２閾値よりも低いか否かを判定する。
　エネルギー残量が第２閾値よりも低くない場合（上記ステップＳ１０４のＮＯ）ステップＳ１０５において、車載判断部１０５は、上記ステップＳ１０３により得られた認知結果に基づいて、車両１００内部の状況を判断する。
　ステップＳ１０６において、車載制御部１０７は、上記ステップＳ１０５により得られた判断結果が非常であるか否かを判定する。
　判断結果が非常でない場合（上記ステップＳ１０６のＮＯ）、処理を終了する。一方、判断結果が非常である場合（上記ステップＳ１０６のＹＥＳ）、ステップＳ１０７において、車載通信部１０６は、上記ステップＳ１０１により取得したセンサ情報、上記ステップＳ１０３により得られた認知結果、及び上記ステップＳ１０５により得られた判断結果を、車内監視支援装置２０に送信する。
　ステップＳ１０８において、車載制御部１０７は、上記ステップＳ１０５により得られた判断結果に基づいて、車両１００内部に対する制御を行う。
　ステップＳ１０９において、出力部１０８は、上記ステップＳ１０８による車載制御部１０７が行う車室制御の内容を出力し、処理を終了する。
　一方、エネルギー残量が第１閾値よりも低い場合（上記ステップＳ１０２のＹＥＳ）、ステップＳ１１０において、車載通信部１０６は、上記ステップＳ１０１により取得したセンサ情報を、車内監視支援装置２０に送信する。
　また、エネルギー残量が第２閾値よりも低い場合（上記ステップＳ１０４のＹＥＳ）、ステップＳ１１１において、車載通信部１０６は、上記ステップＳ１０１により取得したセンサ情報と、上記ステップＳ１０３により得られた認知結果とを車内監視支援装置２０に送信する。
　ステップＳ１１２において、車載通信部１０６は、遠隔判断部２０３による判断結果を受信する。
　ステップＳ１１３において、車載制御部１０７は、上記ステップＳ１１２により受信した判断結果が非常であるか否かを判定する。
　判断結果が非常である場合（上記ステップＳ１１３のＹＥＳ）、ステップＳ１０８に進む。このとき、ステップＳ１０８において、車載制御部１０７は、上記ステップＳ１１３により得られた判断結果に基づいて、車両１００内部に対する制御を行う。一方、判断結果が非常でない場合（上記ステップＳ１１３のＮＯ）、処理を終了する。
　図７は、本開示の第１実施形態に係る車内監視支援装置２０の車内監視支援処理ルーチンを示すフローチャートである。遠隔通信部２０１が車載器１０からデータを受信する度に処理が実行される。
　ステップＳ２００において、遠隔通信部２０１は、車載器１０からデータを受信する。
　ステップＳ２０１において、遠隔通信部２０１は、受信したデータに判断結果が含まれるか否かを判定する。
　判断結果が含まれる場合（上記ステップＳ２０１のＹＥＳ）、ステップＳ２０６に進む。
　一方、判断結果が含まれない場合（上記ステップＳ２０１のＮＯ）、ステップＳ２０２において、遠隔通信部２０１は、受信したデータがセンサ情報のみ否かを判定する。
　センサ情報のみでない場合（上記ステップＳ２０２のＮＯ）、ステップＳ２０４に進む。
　一方、センサ情報のみである場合（上記ステップＳ２０２のＹＥＳ）、ステップＳ２０３において、遠隔認知部２０２は、上記ステップＳ２００により受信したセンサ情報に基づいて、車両１００内部の対象物を認知する。
　ステップＳ２０４において、遠隔判断部２０３は、上記ステップＳ２００により受信した認知結果又は上記ステップＳ２０３により得られた認知結果に基づいて、車両１００内部の状況を判断する。
　ステップＳ２０５において、遠隔通信部２０１は、上記ステップＳ２０４により得られた判断結果を、車載器１０に送信する。
　ステップＳ２０６において、遠隔検証部２０４は、判断結果が非常であるか否かを判定する。
　判断結果が非常でない場合（上記ステップＳ２０６のＮＯ）、ステップＳ２０８に進む。一方、判断結果が非常である場合（上記ステップＳ２０６のＹＥＳ）、ステップＳ２０７において、遠隔検証部２０４は、上記ステップＳ２００により受信した認知結果又は上記ステップＳ２０３により得られた認知結果に基づいて、車両１００内部の状況の非常の程度を検証する。
　ステップＳ２０８において、支援制御部２０５は、上記ステップＳ２００～Ｓ２０７により得られたデータに基づいて、支援制御を行い、処理を終了する。
　以上説明したように、本開示の第１実施形態に係る車内監視システムによれば、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行わないと判断した場合、車両内部の対象物を認知し、認知結果に基づいて、車両内部の状況を判断し、遠隔処理を行うと判断した場合、センサ情報を、車載認知部による認知、及び車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、車内監視支援装置による車両内部の状況の判断結果を受信し、判断結果に基づいて、車両内部に対する制御を行うことにより、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
　また、エネルギー残量が第１閾値よりも低い場合、センサ情報を、車内監視支援装置に送信し、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、認知結果を車内監視支援装置に送信させることにより、エネルギー残量に応じたエネルギーの消費を抑えつつ、精度よく車内監視を行うことができる。
　また、車内監視支援装置が、車載器１０で用いる認知手段よりも精度の高い認知手段を用いて、対象物を認知することにより、車載器１０ではエネルギー消費を抑えつつ、精度よく車内監視を行うことができる。
＜他のシーンの例＞
　上述の実施形態では、現在のシーンが行中平常と運行中非常との場合を例に説明したが、これに限定されるものではない。何れかの場合のみで実装してもよいし、他のシーンの場合のみを実装しても、他のシーンを組み合わせて実装してもよい。他のシーンの場合として、シーンが停車中のみの場合を説明する。なお、上記車内監視システム１と同様の構成であり、機能ブロックの処理の内容がシーンに応じて異なることになるため、同一の符号を用いて説明する。特に言及しない点については、上記実施形態と同様の構成である。
　シーンが停車中の場合、例えば、車両１００に人が乗降するような場合が考えられる。この場合、傘等の忘れ物を対象物とする。すなわち、認知では忘れ物を認知し、判断では忘れ物の有無を判断する。
　具体的には、車載取得部１０２が取得するセンサ情報は、画像である。車載取得部１０２は、停車直前の画像と、停車中の画像とをカメラから取得する。そして、車載取得部１０２は、停車直前の画像と、停車中の画像とをセンサ情報として、移行判断部１０３に渡す。
　移行判断部１０３は、エネルギー残量のレベルがＨｉｇｈである場合、センサ情報を、車載認知部１０４に渡す。一方、移行判断部１０３は、エネルギー残量のレベルがＬｏｗである場合、車載通信部１０６に、センサ情報を渡し、当該センサ情報を車内監視支援装置２０に送信させる。また、移行判断部１０３は、エネルギー残量のレベルがＭｉｄである場合、車載判断部１０５の機能のみを車内監視支援装置２０に任せる。この場合、移行判断部１０３は、センサ情報を、車載認知部１０４に渡すと共に、車載認知部１０４に、センサ情報と認知結果とを、車載通信部１０６に渡すように命じる。すなわち、移行判断部１０３は、車載通信部１０６に、センサ情報と認知結果とを、車内監視支援装置２０に送信させる。
　車載認知部１０４は、移行判断部１０３が遠隔処理を行わないと判断した場合、センサ情報に基づいて、車両１００内部の対象物を認知する。具体的には、車載認知部１０４は、停車直前の画像と、停車中の画像との背景差分を求める等の手法により、対象物を認知する。そして、車載認知部１０４は、認知結果を、移行判断部１０３により車載通信部１０６に渡すように命じられている場合、車載通信部１０６に渡し、移行判断部１０３により車載通信部１０６に渡すように命じられていない場合、車載判断部１０５に渡す。
　車載判断部１０５は、移行判断部１０３が、判断処理について遠隔処理を行わないと判断した場合、車載認知部１０４による認知結果に基づいて、車両１００内部の状況を判断する。具体的には、車載判断部１０５は、認知結果に基づいて、落とし物が重要か否かを判断する。例えば、認知結果に対して、予め取得した重要な落とし物の各々について、当該落とし物の画像との類似度を算出し、類似度が所定値以上であれば、当該落とし物が重要な落とし物であると判断する。重要な落とし物とは、例えば、財布やそしスマートフォン等である。そして、車載判断部１０５は、判断結果を、車載通信部１０６に渡す。
　車載通信部１０６は、取得したデータを、車内監視支援装置２０に送信する。
　遠隔通信部２０１は、車載器１０からデータを受信する。遠隔通信部２０１は、センサ情報のみを受信した場合、当該センサ情報を、遠隔認知部２０２に渡す。また、遠隔通信部２０１は、センサ情報と認知結果とを受信した場合、センサ情報と認知結果とを遠隔判断部２０３に渡す。また、遠隔通信部２０１は、判断結果を受信した場合、センサ情報と認知結果と判断結果とを支援制御部２０５に渡す。
　遠隔認知部２０２及び遠隔判断部２０３は、車載認知部１０４及び車載判断部１０５と同様の処理を行う。車載判断部１０５は、判断結果を、支援制御部２０５に渡す。
　支援制御部２０５は、判断結果に基づいて、車両１００に対する支援を行うための支援情報を生成する。具体的には、支援制御部２０５は、判断結果が重大である場合、「車両１００に駆け付ける人員を手配する」という支援情報を生成する。当該人員により、落とし物を素早く預かり、返却の速度を高めることが期待できる。一方、判断結果が重大でない場合、当該落とし物を、落とし物データベース（図示しない）に登録しておく。そして、支援制御部２０５は、支援情報を出力部２０６に渡す。
　以上説明したように、車両１００において様々なシーンにおいて、車両を監視する場合に応用することができ、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことが期待できる。
＜本開示の第２実施形態に係る車内監視システムの構成＞
　次に、第２実施形態に係る車内監視システム２の構成について説明する。なお、第１実施形態に係る車内監視システム１と同様の構成については、同一の符号を付して詳細な説明は省略する。第１実施形態では、車内監視支援装置２０に送信するデータにより、車内監視支援装置２０に任せる処理を決定した。第２実施形態では、車載器３０側で車内監視支援装置４０に任せる処理を決定する場合について説明する。
　図３に示すように、第２実施形態に係る車載器３０は、エネルギー取得部１０１と、車載取得部１０２と、移行判断部１０３と、車載認知部１０４と、車載判断部１０５と、車載通信部１０６と、車載制御部１０７と、出力部１０８とを備えて構成される。
　移行判断部１０３は、エネルギー残量が第１閾値よりも低い場合、車内監視支援装置２０に、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせるための支援要請情報を生成する。また、移行判断部１０３は、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、車内監視支援装置２０に、遠隔認知部２０２による認知を行わせるための支援要請情報を生成する。そして、移行判断部１０３は、支援要請情報を、車載通信部１０６に渡す。
　車載通信部１０６は、支援要請情報及びセンサ情報を、車内監視支援装置２０に送信する。
　また、車載通信部１０６は、遠隔認知部２０２による認知結果を受信する。そして、車載通信部１０６は、受信した遠隔認知部２０２による認知結果を、車載判断部１０５に渡す。
　車載判断部１０５は、移行判断部１０３が遠隔処理を行うと判断した場合、遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況を判断する。
　第２実施形態に係る車内監視支援装置２０は、遠隔通信部２０１と、遠隔認知部２０２と、遠隔判断部２０３と、遠隔検証部２０４と、支援制御部２０５と、出力部２０６とを備えて構成される。
　遠隔通信部２０１は、車載通信部１０６から送信されたセンサ情報及び支援要請情報を受信する。そして、遠隔通信部２０１は、遠隔認知部２０２に、受信した支援要請情報及びセンサ情報を渡す。
　遠隔認知部２０２は、支援要請情報が、遠隔認知部２０２による認知を行わせるための情報である場合、認知結果を遠隔通信部２０１に渡す。一方、遠隔認知部２０２は、支援要請情報が、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせるための情報である場合、認知結果を遠隔判断部２０３に渡す。
　遠隔通信部２０１は、遠隔認知部２０２による認知結果を、車載器１０に送信する。
＜本開示の第２実施形態に係る車内監視システムの作用＞
　図８は、第２実施形態に係る車載器３０の車内監視処理ルーチンを示すフローチャートである。なお、第１実施形態に係る車内監視支援処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。処理の開始のタイミングは定期でも任意のタイミングでもよい。
　ステップＳ３００において、移行判断部１０３は、エネルギー残量が第２閾値以下であるか否かを判定する。
　エネルギー残量が第２閾値以下でない場合（上記ステップＳ３００のＮＯ）、ステップＳ１０３に進む。一方、エネルギー残量が第２閾値以下である場合（上記ステップＳ３００のＹＥＳ）、ステップＳ３０１において、移行判断部１０３は、エネルギー残量が第１閾値よりも低い場合、車内監視支援装置２０に、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせるための支援要請情報を生成する。また、移行判断部１０３は、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、車内監視支援装置２０に、遠隔認知部２０２による認知を行わせるための支援要請情報を生成する。
　ステップＳ３０２において、車載通信部１０６は、支援要請情報及びセンサ情報を、車内監視支援装置２０に送信する。
　ステップＳ３０３において、車載通信部１０６は、遠隔認知部２０２による認知結果又は遠隔判断部２０３による判断結果を受信する。
　ステップＳ３０４において、車載通信部１０６は、認知結果を受信したか否かを判定する。認知結果を受信した場合（上記ステップＳ３０４のＹＥＳ）、車載通信部１０６は、受信した遠隔認知部２０２による認知結果を、車載判断部１０５に渡すし、ステップＳ１０５に進む。この場合、ステップＳ１０５において、車載判断部１０５は、遠隔認知部２０２による認知結果に基づいて、車両１００内部の状況を判断する。
　一方、認知結果を受信していない場合（判断結果を受信した場合）（上記ステップＳ３０４のＮＯ）、車載通信部１０６は、受信した遠隔判断部２０３による判断結果を、車載制御部１０７に渡し、ステップＳ１０６に進む。
　図９は、第２実施形態に係る車内監視支援装置４０の車内監視支援処理ルーチンを示すフローチャートである。なお、第１実施形態に係る車内監視支援処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。遠隔通信部２０１が車載器１０からデータを受信する度に処理が実行される。
　ステップＳ４００において、遠隔通信部２０１は、車載通信部１０６から送信されたセンサ情報及び支援要請情報を受信する。
　ステップＳ４０１において、遠隔認知部２０２は、支援要請情報が、遠隔認知部２０２による認知を行わせるための情報であるか否かを判定する。
　遠隔認知部２０２による認知を行わせるための情報でない場合（上記ステップＳ４０１のＮＯ）、ステップＳ２０４に進む。
　一方、遠隔認知部２０２による認知を行わせるための情報である場合（上記ステップＳ４０１のＹＥＳ）、ステップＳ４０２において、遠隔通信部２０１は、上記ステップＳ２０３により得られた遠隔認知部２０２の認知結果を、車載器１０に送信する。
　以上説明したように、本開示の第２実施形態に係る車内監視システムによれば、取得したエネルギー残量に基づいて、遠隔処理を行うか否かを判断し、遠隔処理を行うと判断した場合、エネルギー残量が第１閾値よりも低い場合、車内監視支援装置に、遠隔認知部による認知及び遠隔判断部による判断を行わせ、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、車内監視支援装置に、遠隔認知部による認知を行わせ、遠隔認知部による認知結果又は遠隔判断部による判断結果を受信し、遠隔認知部による認知結果を受信した場合、遠隔認知部による認知結果に基づいて、車両内部の状況を判断し、判断結果に基づいて、車両内部に対する制御を行うことにより、エネルギー残量が不足する場合であっても、精度よく車内監視を行うことができる。
　なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上記実施形態では、移行判断部１０３は、エネルギー残量のみを用いて遠隔処理を行うか否かを判断したが、これに限定されるものではない。例えば、予め取得した運行計画に基づいたエネルギー補給の見通しも用いて、遠隔処理を行うか否かを判断することができる。具体的には、現在のエネルギー残量のレベルが低い場合であっても、近くのガソリンスタンドや電気充電可能な場所等でエネルギーを補給することができる場合、移行判断部１０３は、遠隔処理を行わないと判断する。また、エネルギー補給には、回生ブレーキ等により得られるエネルギーによる補給も含まれる。例えば、運行計画に、前半が上り坂、後半が下り坂である走行ルートが含まれている場合、下り坂では回生ブレーキを用いたエネルギー補給が見通せる。この場合、移行判断部１０３は、下り坂の直前又は手前では、エネルギー残量が少ない（例えば第１閾値以下）であっても、遠隔処理を行わないと判断する。また、車両１００の運行モード（回送中、乗降中、走行中等）に応じて判断してもよい。また、非常イベント（乗客が車両１００の走行中に移動した、転倒した、異常行動があった等）が発生した場合に、遠隔処理を行うこととしてもよい。この場合、重い演算を外部に委託することにより、より詳細な状況判断をすることができると共に、状況データを車内監視支援装置２０に記録し、他の車両の状況判断に応用することができる。
　また、上述の実施形態では、車両１００内部の状況の検証を、車内監視支援装置２０の遠隔検証部２０４のみが行うものとして説明したが、これに限定されるものではない。遠隔検証部２０４の機能を車載器１０に搭載してもよい。この場合、十分なエネルギー残量がある場合には、車載器１０で検証を行い、そうでない場合に車内監視支援装置２０で検証を行う構成とすればよい。
　また、上述の第２実施形態では、移行判断部１０３が支援要請情報を生成することとしたが、これに限定されるものではない。例えば、車内監視支援装置２０にエネルギー残量を送信し、車内監視支援装置２０に遠隔移行判断部を設ける構成としてもよい。この場合、遠隔移行判断部が、エネルギー残量が第１閾値よりも低い場合、遠隔認知部２０２による認知及び遠隔判断部２０３による判断を行わせ、エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、遠隔認知部２０２による認知を行わせる判断を行えばよい。
　また、第１実施形態と第２実施形態とに係る車内監視システムを組み合わせた構成とすることもできる。例えば、移行判断部１０３は、エネルギー残量に応じて、車載器で処理する範囲と、車内監視支援装置に処理を任せる範囲とを決定する構成とすればよい。具体的には、エネルギー残量のレベルを４段階に分け、エネルギー残量が最も少ないレベルでは、認知と判断とを車内監視支援装置に任せ、その次のレベルでは、判断のみを車内監視支援装置に任せ、その次のレベルでは認知のみを車内監視支援装置に任せ、エネルギー残量が最も多いレベルでは、車載器が認知及び判断を行う構成とすればよい。なお、この例において、認知のみの場合と判断のみの場合とを、処理負荷に基づくエネルギー消費量に応じて、逆にしてもよい。
　また、センサが温度計である場合、温度が所定範囲内か否かで平常・非常を判断することができる。この場合、車載制御部１０７は、非常であれば温度変更を制御する構成とし、出力部１０８は、車両１００に搭載されたエアコン（図示しない）に対して温度変更命令を出力する構成とすればよい。人を車両１００が運搬する場合だけでなく、生鮮食品や冷凍食品、家畜等を自動運転により運搬するトラックにおいても有用である。
　また、上述の実施形態では、センサ情報が画像の場合を例に説明したが、これに限定されるものではない。音声を用いる場合、下記参考文献４、参考文献５に記載された手法等により、音声による対象の認知、判断、及び検証を行う構成とすればよい。
［参考文献４］G.Hinton, L.Deng, Y.Dong, G.E.Dahl, A.Mohamed, N.Jaitly, A.Senior, V.Vanhoucke, P.Nguyen, T.N.Sainath and B.Kingsbury, "Deep neural networks for acoustic modeling in speech recognition," IEEE Signal Processing Magazine, Vol.29, No.6, 2012, pp.82-97.
［参考文献５］Proc. the Detection and Classification of Acoustic Scenes and Events 2016 Workshop (DCASE2016), Budapest, Hungary, September 2016, pp.45-49.
　また、上述の実施形態では、移行判断部１０３は、エネルギー残量に応じて遠隔処理を行うか否かを判断したが、これに限定されるものではない。エネルギー残量の他に、予め取得した運行計画に基づいたエネルギー補給の見通し、乗客の属性、自動運転による運行の難易度等、様々な情報を総合判断して、遠隔処理を行うか否かを判断する構成としてもよい。エネルギー補給の見通しとは、車両１００が運行計画においてエネルギー補給可能であるか否かの情報である。
　また、遠隔処理を行う基準は、エネルギー残量によらない場合も可能である。例えば、常に車載器１０で行うのではなく、任意のタイミングでは、車内監視支援装置２０により高性能な監視処理を行い、他のタイミングではエネルギー消費の低い車載器１０での監視処理を行うこととする構成とすることができる。
　また、車載器１０が、センサ情報、認知結果及び判断結果を随時車内監視支援装置２０に送信し、車内監視支援装置２０が、状況管理データベースにセンサ情報、認知結果及び判断結果を登録する構成としてもよい。
　なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行したプログラムを、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各プログラムを、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、上記各プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　車両に搭載された車内監視装置であって、
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　前記車内監視装置が用いるエネルギーの残量であるエネルギー残量を取得し、
　車両内部の対象物に関するセンサ情報を取得し、
　前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
　遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
　認知結果に基づいて、前記車両内部の状況を判断し、
　遠隔処理を行うと判断した場合、前記センサ情報を、前記認知、及び前記判断と同様の処理を行う車内監視支援装置に送信し、
　前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
　前記判断結果に基づいて、前記車両内部に対する制御を行う
　ように構成されている車内監視装置。
　（付記項２）
　コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、
　車両内部の対象物に関するセンサ情報を取得し、
　前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
　遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
　認知結果に基づいて、前記車両内部の状況を判断し、
　遠隔処理を行うと判断した場合、前記センサ情報を、前記認知、及び前記判断と同様の処理を行う車内監視支援装置に送信し、
　前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
　前記判断結果に基づいて、前記車両内部に対する制御を行う
　ことをコンピュータに実行させる車内監視プログラムを記憶した非一時的記憶媒体。
　（付記項３）
　遠隔通信部と、遠隔認知部と、遠隔判断部とを含み、
　前記遠隔通信部は、車両内部の対象物に関するセンサ情報を、車両内部の監視を行う車内監視装置から受信し、
　前記遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、
　前記遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、
　前記遠隔通信部は、前記遠隔判断部の判断結果を、前記車内監視装置に送信する
　車内監視支援装置。
　（付記項４）
　車両に搭載された車載器のエネルギー取得部が、前記車載器が用いるエネルギーの残量であるエネルギー残量を取得し、
　前記車載器の車載取得部が、前記車両内部の対象物に関するセンサ情報を取得し、
　前記車載器の移行判断部が、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
　前記車載器の車載認知部が、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
　前記車載器の車載判断部が、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
　前記車載器の車載通信部が、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、車内監視支援装置に送信し、
　前記車内監視支援装置の遠隔通信部が、前記センサ情報を受信し、
　前記車内監視支援装置の遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、
　前記車内監視支援装置の遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、
　前記遠隔通信部が、前記遠隔判断部の判断結果を、前記車載器に送信し、
　前記車載通信部が、前記遠隔判断部の判断結果を受信し、
　前記車載器の車載制御部が、前記車載判断部の判断結果又は前記遠隔判断部の判断結果に基づいて、前記車両内部に対する制御を行う
　車内監視方法。
　本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構成に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (11)

  1. 　車両に搭載された車載器（１０、３０）と、車内監視支援装置（２０、４０）とを含み、
    　前記車載器は、エネルギー取得部（１０１）と、車載取得部（１０２）と、移行判断部（１０３）と、車載認知部（１０４）と、車載判断部（１０５）と、車載通信部（１０６）と、車載制御部（１０７）とを含み、
    　前記車内監視支援装置は、遠隔通信部（２０１）と、遠隔認知部（２０２）と、遠隔判断部（２０３）とを含み、
    　前記エネルギー取得部は、前記車載器が用いるエネルギーの残量であるエネルギー残量を取得し、
    　前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、
    　前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
    　前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    　前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    　前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車内監視支援装置に送信し、
    　前記遠隔通信部は、前記センサ情報を受信し、
    　前記遠隔認知部は、前記遠隔通信部が受信した前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    　前記遠隔判断部は、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    　前記遠隔通信部は、前記遠隔判断部の判断結果を、前記車載器に送信し、
    　前記車載通信部は、前記遠隔判断部の判断結果を受信し、
    　前記車載制御部は、前記車載判断部の判断結果又は前記遠隔判断部の判断結果に基づいて、前記車両内部に対する制御を行う
    　車内監視システム。
  2. 　前記車載認知部は、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    　前記車載判断部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    　前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記車載認知部による認知結果を、前記車内監視支援装置に送信し、
    　前記遠隔通信部は、前記認知結果を受信し、
    　前記遠隔判断部は、前記遠隔通信部が受信した前記認知結果に基づいて、前記車両内部の状況を判断する
    　請求項１記載の車内監視システム。
  3. 　前記移行判断部は、前記エネルギー残量が第１閾値よりも低い場合、前記車載通信部に、前記センサ情報を、前記車内監視支援装置に送信させ、前記エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、前記車載通信部に、前記車載認知部による認知結果を、前記車内監視支援装置に送信させる
    　請求項２記載の車内監視システム。
  4. 　前記遠隔通信部は、前記遠隔認知部による認知結果を、前記車載器に送信し、
    　前記車載通信部は、前記遠隔認知部による認知結果を受信し、
    　前記車載判断部は、前記移行判断部が遠隔処理を行うと判断した場合、前記遠隔認知部による認知結果に基づいて、前記車両内部の状況を判断する
    　請求項１又は請求項２記載の車内監視システム。
  5. 　前記移行判断部は、前記エネルギー残量が第１閾値よりも低い場合、前記車内監視支援装置に、前記遠隔認知部による認知及び前記遠隔判断部による判断を行わせ、前記エネルギー残量が第１閾値以上であり、かつ、第２閾値以下である場合、前記車内監視支援装置に、前記遠隔認知部による認知を行わせる
    　請求項４記載の車内監視システム。
  6. 　前記移行判断部は、前記エネルギー残量と、予め取得した運行計画に基づいたエネルギー補給の見通しとに応じて、遠隔処理を行うか否かを判断する
    　請求項１～請求項５の何れか１項記載の車内監視システム。
  7. 　前記遠隔認知部は、前記車載認知部で用いる認知手段よりも精度の高い認知手段を用いて、対象物を認知する
    　請求項１～請求項６の何れか１項記載の車内監視システム。
  8. 　前記車内監視支援装置は、遠隔検証部（２０４）と、支援制御部（２０５）とを更に含み、
    　前記遠隔判断部は、前記車載認知部による認知結果又は前記遠隔認知部による認知結果に基づいて、前記車両内部の状況が平常又は非常であると判断し、
    　前記遠隔検証部は、前記遠隔判断部の判断結果が非常である場合、前記遠隔認知部の認知結果に基づいて、前記車両内部の状況の非常の程度を検証し、
    　前記支援制御部は、前記遠隔検証部による検証結果に応じて、前記車両に対する支援を行うための支援情報を生成する
    　請求項１～請求項６の何れか１項記載の車内監視システム。
  9. 　前記車載制御部は、前記車載判断部又は前記遠隔判断部の判断結果に基づいて、注意喚起、対応指示、及び温度変更の少なくとも１つを行う
    　請求項１～請求項８の何れか１項記載の車内監視システム。
  10. 　車両に搭載された車内監視装置であって、
    　エネルギー取得部と、車載取得部と、移行判断部と、車載認知部と、車載判断部と、車載通信部と、車載制御部とを含み、
    　前記エネルギー取得部は、前記車内監視装置が用いるエネルギーの残量であるエネルギー残量を取得し、
    　前記車載取得部は、前記車両内部の対象物に関するセンサ情報を取得し、
    　前記移行判断部は、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
    　前記車載認知部は、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    　前記車載判断部は、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    　前記車載通信部は、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、
    　前記車載通信部は、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
    　前記車載制御部は、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行う
    　車内監視装置。
  11. 　エネルギー取得部が、コンピュータが用いるエネルギーの残量であるエネルギー残量を取得し、
    　車載取得部が、前記車両内部の対象物に関するセンサ情報を取得し、
    　移行判断部が、前記エネルギー残量に基づいて、遠隔処理を行うか否かを判断し、
    　車載認知部が、前記移行判断部が遠隔処理を行わないと判断した場合、前記センサ情報に基づいて、前記車両内部の対象物を認知し、
    　車載判断部が、前記車載認知部による認知結果に基づいて、前記車両内部の状況を判断し、
    　車載通信部が、前記移行判断部が遠隔処理を行うと判断した場合、前記センサ情報を、前記車載認知部による認知、及び前記車載判断部による判断と同様の処理を行う車内監視支援装置に送信し、
    　前記車載通信部が、前記車内監視支援装置による前記車両内部の状況の判断結果を受信し、
    　車載制御部が、前記車載判断部の判断結果又は前記車内監視支援装置の判断結果に基づいて、前記車両内部に対する制御を行う
    　ことを含む処理をコンピュータに実行させるための車内監視プログラム。
PCT/JP2020/044235 2019-12-04 2020-11-27 車内監視システム、車内監視装置、及び車内監視プログラム WO2021112005A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080084452.6A CN114762017B (zh) 2019-12-04 2020-11-27 车内监视系统、车内监视装置以及存储介质
US17/804,973 US20220289129A1 (en) 2019-12-04 2022-06-01 Vehicle-interior monitoring system, vehicle-interior monitoring apparatus, and non-transitory computer-readable storage medium having vehicle-interior monitoring program stored thereon

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-219456 2019-12-04
JP2019219456A JP7188369B2 (ja) 2019-12-04 2019-12-04 車内監視システム、車内監視装置、及び車内監視プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/804,973 Continuation US20220289129A1 (en) 2019-12-04 2022-06-01 Vehicle-interior monitoring system, vehicle-interior monitoring apparatus, and non-transitory computer-readable storage medium having vehicle-interior monitoring program stored thereon

Publications (1)

Publication Number Publication Date
WO2021112005A1 true WO2021112005A1 (ja) 2021-06-10

Family

ID=76220218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044235 WO2021112005A1 (ja) 2019-12-04 2020-11-27 車内監視システム、車内監視装置、及び車内監視プログラム

Country Status (4)

Country Link
US (1) US20220289129A1 (ja)
JP (1) JP7188369B2 (ja)
CN (1) CN114762017B (ja)
WO (1) WO2021112005A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111184A1 (ja) * 2012-01-25 2013-08-01 三菱電機株式会社 監視装置およびナビゲーション装置
JP2017197150A (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019117449A (ja) * 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009161093A (ja) * 2008-01-09 2009-07-23 Nec Access Technica Ltd 車両セキュリティ遠隔監視システム
WO2014034710A1 (ja) * 2012-08-29 2014-03-06 株式会社ホンダアクセス 車両に設けられたバッテリを監視するシステム
JP6089923B2 (ja) * 2013-04-24 2017-03-08 株式会社デンソー 運転支援ユニット、運転支援装置、センサユニット、及び携帯端末
US20150369872A1 (en) * 2014-06-19 2015-12-24 Ford Global Technologies, Llc Distance to Empty Prediction with Long Term Distance Compensation
JP6835306B2 (ja) * 2016-04-14 2021-02-24 株式会社ユピテル 装置、車載機器およびシステム
CN107305372B (zh) * 2016-04-25 2020-06-19 岳秀兰 云计算网络架构的远程监控的电动汽车能源监控和补给网
JP6551332B2 (ja) * 2016-07-26 2019-07-31 トヨタ自動車株式会社 車両の走行可能距離算出システムおよび走行可能距離算出方法
JP2019131096A (ja) * 2018-02-01 2019-08-08 三菱電機株式会社 車両制御支援システムおよび車両制御支援装置
CN109712387B (zh) * 2018-09-26 2024-04-05 姜洪明 网约车、出租车的乘客和司机的安全保护系统
US20210191398A1 (en) * 2019-12-20 2021-06-24 Uber Technologies Inc. System and Methods for Automated Detection of Vehicle Cabin Events for Triggering Remote Operator Assistance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013111184A1 (ja) * 2012-01-25 2013-08-01 三菱電機株式会社 監視装置およびナビゲーション装置
JP2017197150A (ja) * 2016-04-28 2017-11-02 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019117449A (ja) * 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム

Also Published As

Publication number Publication date
JP2021089561A (ja) 2021-06-10
CN114762017A (zh) 2022-07-15
CN114762017B (zh) 2024-02-27
US20220289129A1 (en) 2022-09-15
JP7188369B2 (ja) 2022-12-13

Similar Documents

Publication Publication Date Title
US11383663B2 (en) Vehicle control method, vehicle control system, vehicle control device, passenger watching-over method, passenger watching-over system, and passenger watching-over device
JP7307782B2 (ja) 車両の占有率確認方法およびシステム
US11145043B2 (en) Using unmanned aerial vehicles to inspect autonomous vehicles
US20170154513A1 (en) Systems And Methods For Automatic Detection Of An Occupant Condition In A Vehicle Based On Data Aggregation
CN110103852B (zh) 用于自主车辆中的碰撞检测的系统和方法
US10994745B2 (en) Information estimating system, information estimating method and recording medium
US10474423B2 (en) Systems and methods for soundscape selection in autonomous vehicles
CN110997418A (zh) 车辆占用管理系统和方法
CN110895738A (zh) 驾驶评价装置、驾驶评价系统、驾驶评价方法及存储介质
US11708041B2 (en) Vehicle and passenger transportation system
US20220305988A1 (en) Passenger Protection Method and Apparatus
US11577751B2 (en) Control device for vehicle and occupant transportation system
JP2019160242A (ja) 通信装置およびスケジュール作成方法
JP2024513294A (ja) 置き忘れられたモバイルデバイスの検出および管理
CN111724617B (zh) 运行控制装置以及车辆
US20200204674A1 (en) System and method for determining a safe return to a vehicle
EP4180297A1 (en) Automatic driving control method and apparatus
JP2022104907A (ja) 車両内の乗員を監視し、乗員の活動を検出するためのカメラシステム
CN106394166A (zh) 在电气化车辆充电期间可选择的车厢调节
WO2021112005A1 (ja) 車内監視システム、車内監視装置、及び車内監視プログラム
US11292307B2 (en) Suspension fault diagnostics and prognostics using pitch and roll model
US20230401979A1 (en) Driving diagnostic device, driving diagnostic system, machine learning device and generation method of learned model
US11094026B2 (en) System and method for determining a safe return to a vehicle
JP7439695B2 (ja) 情報処理装置、情報処理システム、プログラム及び情報処理方法
JP7476854B2 (ja) 情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895907

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20895907

Country of ref document: EP

Kind code of ref document: A1