WO2020054030A1 - 車内監視情報生成制御装置及び車内監視情報生成制御方法 - Google Patents

車内監視情報生成制御装置及び車内監視情報生成制御方法 Download PDF

Info

Publication number
WO2020054030A1
WO2020054030A1 PCT/JP2018/034017 JP2018034017W WO2020054030A1 WO 2020054030 A1 WO2020054030 A1 WO 2020054030A1 JP 2018034017 W JP2018034017 W JP 2018034017W WO 2020054030 A1 WO2020054030 A1 WO 2020054030A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
monitoring information
unit
vehicle monitoring
image
Prior art date
Application number
PCT/JP2018/034017
Other languages
English (en)
French (fr)
Inventor
英樹 福原
良孝 脇阪
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/034017 priority Critical patent/WO2020054030A1/ja
Priority to US17/269,070 priority patent/US11854274B2/en
Priority to JP2020546632A priority patent/JP6820133B2/ja
Priority to DE112018007886.8T priority patent/DE112018007886B4/de
Priority to CN201880097218.XA priority patent/CN112673405A/zh
Publication of WO2020054030A1 publication Critical patent/WO2020054030A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates

Definitions

  • the present invention relates to a vehicle interior monitoring information generation control device and a vehicle interior monitoring information generation control method.
  • Non-Patent Document 1 in a demonstration test of a traffic service utilizing an unmanned driving vehicle, in order to enable passengers to get on with confidence, the position and state of the traveling unmanned driving vehicle are grasped in real time. It is disclosed that a remote control center capable of performing remote control is set up and remote control is performed at the remote control center.
  • An object of the present invention is to solve the above-mentioned problem, and an object of the present invention is to provide an in-vehicle monitoring information generation control device capable of performing in-vehicle monitoring in consideration of privacy of an occupant in an unmanned vehicle. .
  • An in-vehicle monitoring information generation control device includes: an image acquisition unit configured to acquire an image of an inside of an unmanned driving vehicle; an abnormality determination unit configured to determine whether an abnormality has occurred in the unmanned driving vehicle; Based on the image obtained by the obtaining unit, the in-vehicle monitoring information generating unit that generates the in-vehicle monitoring information that cannot identify the occupant in the unmanned driving vehicle reflected in the image and the determination result determined by the abnormality determining unit
  • a transmission control unit that transmits the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit to the outside of the unmanned driving vehicle when it is determined that no abnormality has occurred in the unmanned driving vehicle. is there.
  • FIG. 1 is a block diagram illustrating an example of a main part of an unmanned vehicle equipped with the in-vehicle monitoring information generation control device according to the first embodiment.
  • 2A and 2B are diagrams illustrating an example of a hardware configuration of the in-vehicle monitoring information generation control device according to the first embodiment.
  • FIG. 3 is a block diagram illustrating an example of a main part of an in-vehicle monitoring information generation unit in the in-vehicle monitoring information generation control device according to the first embodiment.
  • FIG. 4 is a block diagram illustrating an example of a main part of an in-vehicle monitoring information generation unit in the in-vehicle monitoring information generation control device according to the first embodiment.
  • FIG. 1 is a block diagram illustrating an example of a main part of an unmanned vehicle equipped with the in-vehicle monitoring information generation control device according to the first embodiment.
  • 2A and 2B are diagrams illustrating an example of a hardware configuration of the in-vehicle monitoring information generation
  • FIG. 5 is a flowchart illustrating an example of a process of the in-vehicle monitoring information generation control device according to the first embodiment.
  • FIG. 6 is a block diagram illustrating an example of a main part of an unmanned vehicle equipped with the in-vehicle monitoring information generation control device according to the modification of the first embodiment.
  • FIG. 7 is a flowchart illustrating an example of a process performed by the in-vehicle monitoring information generation control device according to the modification of the first embodiment.
  • FIG. 8 is a block diagram illustrating an example of a main part of an unmanned vehicle equipped with the in-vehicle monitoring information generation control device according to the second embodiment.
  • FIG. 9 is a block diagram illustrating an example of a main part of an in-vehicle monitoring information generation unit in the in-vehicle monitoring information generation control device according to the second embodiment.
  • FIG. 10 is an example of a mode determination table used when the mode determining unit in the in-vehicle monitoring information generation control device according to Embodiment 2 determines the mode of the in-vehicle monitoring information based on the throughput value estimated by the throughput value estimating unit.
  • FIG. FIG. 11 is a flowchart illustrating an example of a process of the in-vehicle monitoring information generation control device according to the second embodiment.
  • FIG. 10 is an example of a mode determination table used when the mode determining unit in the in-vehicle monitoring information generation control device according to Embodiment 2 determines the mode of the in-vehicle monitoring information based on the throughput value estimated by the throughput value estimating unit.
  • FIG. FIG. 11 is a flowchart illustrating an example of a process of
  • FIG. 12 is a block diagram illustrating an example of a main part of an in-vehicle monitoring information generation unit in the in-vehicle monitoring information generation control device according to Embodiment 3.
  • FIG. 13 is a flowchart illustrating an example of a process of the in-vehicle monitoring information generation control device according to the third embodiment.
  • FIG. 1 is a block diagram illustrating an example of a main part of an unmanned vehicle 1 on which an in-vehicle monitoring information generation control device 100 according to Embodiment 1 is mounted.
  • the unmanned driving vehicle 1 is, for example, a vehicle to which the technology classified as Level 5 of the automatic driving technology is applied, and means a vehicle that can autonomously run even when there is no occupant in the vehicle. I do.
  • the in-vehicle monitoring information generation control device 100 is mounted on the unmanned driving vehicle 1.
  • the unmanned driving vehicle 1 includes a vehicle interior monitoring information generation control device 100, an imaging device 11, a sensor 12, and a communication device 13.
  • the imaging device 11 captures an image of the inside of the unmanned driving vehicle 1.
  • the imaging device 11 is, for example, a camera installed in the unmanned driving vehicle 1.
  • the imaging device 11 outputs data indicating a captured image (hereinafter, simply referred to as “image” including “data indicating an image”) to the in-vehicle monitoring information generation control device 100.
  • the sensor 12 outputs detection information for the in-vehicle monitoring information generation control device 100 to determine whether an abnormality has occurred in the unmanned vehicle 1.
  • the sensor 12 is, for example, an infrared sensor, an ultrasonic sensor, or a volume sensor.
  • the sensor 12 may be a biological sensor that outputs information indicating the occupant's heart rate or blood pressure.
  • the biological sensor is attached to a seat belt, a seat, or the like.
  • the communication device 13 has a communication function for transmitting in-vehicle monitoring information such as image information output by the in-vehicle monitoring information generation control device 100 to the outside of the unmanned driving vehicle 1.
  • the communication device 13 has a communication function for transmitting the in-vehicle monitoring information to, for example, an external device or an external system provided outside the unmanned driving vehicle 1.
  • the external device is, for example, a remote monitoring device, and the external system is, for example, a remote monitoring system.
  • the communication device 13 transmits the in-vehicle monitoring information to the outside of the unmanned vehicle 1 using a wireless public line such as LTE (Long Term Evolution), for example.
  • LTE Long Term Evolution
  • the in-vehicle monitoring information generation control device 100 generates in-vehicle monitoring information based on an image acquired from the imaging device 11, and generates the in-vehicle monitoring information based on the state of the unmanned driving vehicle 1 determined based on the detection information acquired from the sensor 12. The monitoring information is transmitted to the outside of the unmanned driving vehicle 1 via the communication device 13.
  • the in-vehicle monitoring information generation control device 100 includes an image acquisition unit 101, an abnormality determination unit 102, an in-vehicle monitoring information generation unit 103, and a transmission control unit 104.
  • the image acquisition unit 101 acquires an image of the inside of the unmanned driving vehicle 1 from the imaging device 11.
  • the abnormality determination unit 102 determines whether an abnormality has occurred in the unmanned driving vehicle 1. For example, the abnormality determination unit 102 acquires detection information from the sensor 12, and determines whether an abnormality has occurred in the unmanned driving vehicle 1 based on the acquired detection information. More specifically, for example, based on detection information acquired from a detection sensor such as an infrared sensor or an ultrasonic sensor, the abnormality determination unit 102 determines the posture or operation of the occupant of the driverless vehicle 1 by a well-known pattern matching method. Is determined to be in a predetermined abnormal state, thereby determining whether an abnormality has occurred in the unmanned driving vehicle 1.
  • a detection sensor such as an infrared sensor or an ultrasonic sensor
  • the abnormality determination unit 102 determines, for example, whether or not the volume in the unmanned driving vehicle 1 is higher than a predetermined volume based on the detection information acquired from the volume sensor. In step 1, it is determined whether an abnormality has occurred. Further, for example, based on the detection information acquired from the biological sensor, the abnormality determination unit 102 determines whether the physical condition of the occupant of the unmanned driving vehicle 1 is based on whether a value indicating a heart rate, a blood pressure, or the like is larger than a predetermined value. It is determined whether or not an abnormality has occurred in the unmanned driving vehicle 1 by determining whether or not is good, or whether or not the occupant is in an excited state.
  • the method by which the abnormality determination unit 102 determines whether an abnormality has occurred in the unmanned driving vehicle 1 is not limited to the above-described method. For example, it may be determined whether an abnormality has occurred in the unmanned driving vehicle 1 based on a plurality of types of detection information acquired from a plurality of types of sensors 12 having different detection methods. Further, for example, the in-vehicle monitoring information generation control device 100 is connected to an in-vehicle network such as a CAN (Controller Area Network) in the unmanned driving vehicle 1, and the abnormality determination unit 102 appropriately uses various signals acquired from the in-vehicle network. Then, it may be determined whether or not an abnormality has occurred in the unmanned driving vehicle 1.
  • CAN Controller Area Network
  • the abnormality determination unit 102 analyzes the image using a well-known image analysis technique and determines a predetermined abnormal state. May be determined by comparing the pattern with the known pattern matching method using a well-known pattern matching method.
  • the abnormality determination unit 102 determines whether an abnormality has occurred based on the image acquired by the image acquisition unit 101, the abnormality determination unit 102 is connected to the image acquisition unit 101 (however, This connection is not shown in FIG. 1).
  • the abnormality determination unit 102 determines whether an abnormality has occurred based on an image of the inside of the unmanned driving vehicle 1, the abnormality determination unit 102 is directly connected to the imaging device 11. (However, this connection relationship is not shown in FIG. 1).
  • the abnormality determination unit 102 obtains a voice signal from a voice input device (not shown) such as a microphone, performs voice recognition using a well-known voice recognition technology based on the obtained voice signal, and obtains a result of voice recognition. It may be determined whether or not an abnormality has occurred in the unmanned driving vehicle 1 by comparing with a voice pattern indicating a predetermined abnormal state. Further, for example, the abnormality determination unit 102 determines whether an abnormality has occurred in the unmanned driving vehicle 1 by appropriately combining the above-described methods of determining whether or not an abnormality has occurred in the unmanned operation vehicle 1. May be.
  • the in-vehicle monitoring information generation unit 103 Based on the image acquired by the image acquisition unit 101, the in-vehicle monitoring information generation unit 103 simply refers to the occupant in the unmanned driving vehicle 1 (hereinafter, the occupant in the unmanned driving vehicle 1 referred to as The in-vehicle monitoring information that cannot identify the “occupant” is generated. The details of the in-vehicle monitoring information generation unit 103 will be described later.
  • the transmission control unit 104 transmits the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103. It is transmitted to the outside of the unmanned driving vehicle 1. More specifically, the transmission control unit 104 performs transmission control for transmitting the in-vehicle monitoring information, and transmits the information to the outside of the unmanned driving vehicle 1 via the communication device 13. When it is determined that no abnormality has occurred in the unmanned driving vehicle 1, the transmission control unit 104 transmits the in-vehicle monitoring information to the outside of the unmanned driving vehicle 1. When it is determined that an abnormality has occurred in the unmanned driving vehicle 1, the transmission control unit 104 transmits an abnormality monitoring image based on the image acquired by the image acquisition unit 101 to the outside of the unmanned driving vehicle 1. .
  • the abnormal time monitoring image is an image acquired by the image acquiring unit 101.
  • the abnormal time monitoring image is not limited to the image acquired by the image acquiring unit 101, and may be, for example, an image generated by processing the image.
  • the monitoring image at the time of the abnormality is a resizing process that changes the image size of the image acquired by the image acquiring unit 101, and it is estimated that an abnormality has occurred in the image.
  • the image is generated by performing a cropping process of cutting out a position or a superimposition process of adding information indicating a position where it is estimated that an abnormality has occurred in the image.
  • the in-vehicle monitoring information is information that cannot identify the occupant
  • the abnormal time monitoring image is preferably an image that can identify the occupant.
  • FIGS. 2A and 2B are diagrams illustrating an example of a hardware configuration of a main part of the in-vehicle monitoring information generation control device 100 according to the first embodiment.
  • the in-vehicle monitoring information generation control device 100 is configured by a computer, and the computer has a processor 201 and a memory 202.
  • the memory 202 stores a program for causing the computer to function as the image acquisition unit 101, the abnormality determination unit 102, the in-vehicle monitoring information generation unit 103, and the transmission control unit 104.
  • the processor 201 reads and executes the program stored in the memory 202, the functions of the image acquisition unit 101, the abnormality determination unit 102, the in-vehicle monitoring information generation unit 103, and the transmission control unit 104 are realized.
  • the in-vehicle monitoring information generation control device 100 may include a processing circuit 203.
  • the functions of the image acquisition unit 101, the abnormality determination unit 102, the in-vehicle monitoring information generation unit 103, and the transmission control unit 104 may be realized by the processing circuit 203.
  • the vehicle monitoring information generation control device 100 may include a processor 201, a memory 202, and a processing circuit 203 (not shown). In this case, some of the functions of the image acquisition unit 101, the abnormality determination unit 102, the in-vehicle monitoring information generation unit 103, and the transmission control unit 104 are realized by the processor 201 and the memory 202, and the remaining functions are processed. It may be realized by the circuit 203.
  • the processor 201 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • microprocessor a microcontroller
  • DSP Digital Signal Processor
  • the memory 202 uses, for example, a semiconductor memory or a magnetic disk. More specifically, the memory 202 includes a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Memory Only), and an EEPROM (Electrical Memory). State @ Drive) or HDD (Hard @ Disk @ Drive) or the like.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory a flash memory
  • EPROM Erasable Programmable Read Memory Only
  • EEPROM Electrical Memory
  • State @ Drive or HDD (Hard @ Disk @ Drive) or the like.
  • the processing circuit 203 includes, for example, an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), an FPGA (Field-Programmable Gate System Array), and an SoC (Sig-Lag-Sig-Lag-Site-Leg-Site-Ligital-Array-Sig-System-Sig-System-Sig-Leg-Sig-System-Sig-Leg-Sig-System-Sig-System-Sig-Leg-Sig-System). Is used.
  • the in-vehicle monitoring information generating unit 103 generates, based on an image acquired from the image acquiring unit 101, in-vehicle monitoring information that cannot identify an occupant in the image. I do.
  • FIG. 3 is a block diagram illustrating an example of a main part of the in-vehicle monitoring information generation unit 103 in the in-vehicle monitoring information generation control device 100 according to the first embodiment.
  • the in-vehicle monitoring information generation unit 103 includes, for example, an image analysis unit 131 and an image processing unit 132.
  • the image analysis unit 131 detects, for example, a region of the face of the occupant in the image acquired by the image acquisition unit 101 by a known method.
  • the image processing unit 132 performs image deformation processing, contour extraction processing, or the like on a region of the occupant's face detected by the image analysis unit 131 in the image acquired by the image acquisition unit 101, for example, by a known method. .
  • the image deformation process is a process of performing, for example, a mosaic process or a blur process on an occupant's face region in an image to deform the image.
  • the contour extraction process is a process of performing, for example, a blackening process or a mask process on an occupant face region in an image to extract only the occupant face contour.
  • the image processing unit 132 performs, for example, deformed image information obtained by performing the above-described image deformation processing on the image obtained by the image obtaining unit 101 or contour image information obtained by performing the above-described outline extraction processing on the image obtained by the image obtaining unit 101. Is output as in-vehicle monitoring information.
  • FIG. 4 is a block diagram illustrating an example of a main part of the in-vehicle monitoring information generation unit 103 in the in-vehicle monitoring information generation control device 100 according to the first embodiment.
  • the in-vehicle monitoring information generation unit 103 includes, for example, an image analysis unit 133 and a person identification information generation unit 134.
  • the image analysis unit 133 for example, identifies the occupant in the image based on the image acquired by the image acquisition unit 101 by a known method.
  • the image analysis unit 133 identifies the gender, age, or physique of the occupant in the image.
  • the person identification information generation unit 134 generates person identification information in accordance with a predetermined format based on the identification result of the occupant identified by the image analysis unit 133, and outputs the generated information as in-vehicle monitoring information.
  • FIG. 5 is a flowchart illustrating an example of a process performed by the in-vehicle monitoring information generation control device 100 according to the first embodiment.
  • step ST501 the image acquisition unit 101 acquires an image of the inside of the unmanned driving vehicle 1 from the imaging device 11, as described above.
  • step ST502 the in-vehicle monitoring information generating unit 103 generates the in-vehicle monitoring information based on the image acquired by the image acquiring unit 101, as described above, in which the occupant shown in the image cannot be specified.
  • step ST503 the abnormality determination unit 102 determines whether an abnormality has occurred in the unmanned driving vehicle 1 as described above.
  • step ST503 when the abnormality determination unit 102 determines that no abnormality has occurred in the unmanned driving vehicle 1, in step ST504, the transmission control unit 104 transmits the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103 as described above. The monitoring information is transmitted to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100 ends the process of the flowchart, returns to the process of step ST501, and repeatedly executes the process of the flowchart.
  • step ST503 when the abnormality determination unit 102 determines that an abnormality has occurred in the unmanned driving vehicle 1, in step ST505, the transmission control unit 104 performs, based on the image acquired by the image acquisition unit 101, as described above. The abnormal state monitoring image is transmitted to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100 ends the process of the flowchart, returns to the process of step ST501, and repeatedly executes the process of the flowchart.
  • step ST503 may be appropriately and repeatedly executed in the background process while the flowchart shown in FIG. 5 is being executed.
  • the in-vehicle monitoring information generation control device 100 includes the image acquisition unit 101 that acquires an image of the inside of the unmanned driving vehicle 1 and the abnormality that determines whether an abnormality has occurred in the unmanned driving vehicle 1.
  • a determination unit 102 an in-vehicle monitoring information generation unit 103 that generates in-vehicle monitoring information that cannot identify an occupant in the unmanned driving vehicle 1 that is captured in the image based on the image acquired by the image acquisition unit 101,
  • the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103 is output to the outside of the unmanned driving vehicle 1.
  • a transmission control unit 104 for transmitting to
  • the in-vehicle monitoring information generation control device 100 can perform in-vehicle monitoring in consideration of the privacy of the occupant in the unmanned vehicle 1.
  • the abnormality determination unit 102 may determine not only whether or not an abnormality has occurred in the unmanned driving vehicle 1 but also determine the content of the abnormality that has occurred in the unmanned driving vehicle 1. More specifically, for example, the abnormality determination unit 102 may determine whether the abnormality occurring in the unmanned driving vehicle 1 is due to poor physical condition of the occupant. Whether or not the occurring abnormality is due to the poor physical condition of the occupant is determined, for example, by a voice recognition result performed based on the voice signal acquired by the abnormality determining unit 102 and a predetermined voice pattern indicating the poor physical condition of the occupant. Can be determined by comparing.
  • the transmission control unit 104 replaces the abnormal condition monitoring image with the in-vehicle image when the abnormality occurring in the unmanned driving vehicle 1 is due to poor physical condition of the occupant.
  • the monitoring information may be transmitted to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100 can perform in-vehicle monitoring in consideration of the privacy of the occupant when the abnormality occurring in the unmanned driving vehicle 1 is due to the occupant's poor physical condition. it can.
  • FIG. 6 is a block diagram illustrating an example of a main part of the unmanned driving vehicle 1 on which the in-vehicle monitoring information generation control device 100a according to the modification of the first embodiment is mounted.
  • the in-vehicle monitoring information generation control device 100a is different from the in-vehicle monitoring information generation control device 100 in that the in-vehicle monitoring information generation unit 103a and the transmission control unit 104a in the in-vehicle monitoring information generation control device 100a are different from each other.
  • the operation is different from the operations of the in-vehicle monitoring information generation unit 103 and the transmission control unit 104 in the in-vehicle monitoring information generation control device 100.
  • the same components as those in the in-vehicle monitoring information generation control device 100 are denoted by the same reference numerals, and redundant description will be omitted. That is, the description of the configuration in FIG. 6 to which the same reference numerals as those in FIG. 1 are given is omitted.
  • the in-vehicle monitoring information generation control device 100a is mounted on the unmanned driving vehicle 1.
  • the unmanned driving vehicle 1 includes an in-vehicle monitoring information generation control device 100a, an imaging device 11, a sensor 12, and a communication device 13.
  • the in-vehicle monitoring information generation control device 100a generates in-vehicle monitoring information based on an image obtained from the imaging device 11, and generates the in-vehicle monitoring information based on the state of the unmanned driving vehicle 1 determined based on the detection information obtained from the sensor 12.
  • the monitoring information is transmitted to the outside of the unmanned driving vehicle 1 via the communication device 13.
  • the in-vehicle monitoring information generation control device 100a includes an image acquisition unit 101, an abnormality determination unit 102, an in-vehicle monitoring information generation unit 103a, and a transmission control unit 104a.
  • the in-vehicle monitoring information generation unit 103a based on the determination result determined by the abnormality determination unit 102, determines that no abnormality has occurred in the unmanned vehicle 1 based on the image acquired by the image acquisition unit 101.
  • the in-vehicle monitoring information that cannot identify the occupant in the image is generated.
  • the process in which the in-vehicle monitoring information generation unit 103a generates the in-vehicle monitoring information based on the image acquired from the image acquisition unit 101 is the same as the in-vehicle monitoring information generation unit 103 in the in-vehicle monitoring information generation control device 100. Omitted.
  • the transmission control unit 104a transmits the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103a to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation unit 103a generates in-vehicle monitoring information when it is determined that no abnormality has occurred in the unmanned driving vehicle 1 based on the determination result determined by the abnormality determination unit 102.
  • the transmission control unit 104a transmits the in-vehicle monitoring information to the outside of the unmanned driving vehicle 1.
  • the transmission control unit 104a Since the in-vehicle monitoring information is generated when it is determined that no abnormality has occurred in the unmanned driving vehicle 1, the transmission control unit 104a also determines whether or not the abnormality has occurred in the unmanned driving vehicle 1. The monitoring information is transmitted to the outside of the unmanned driving vehicle 1. When there is no in-vehicle monitoring information to be transmitted, that is, when it is determined that an abnormality has occurred in the unmanned driving vehicle 1, the transmission control unit 104 a performs an abnormal time monitoring image based on the image acquired by the image acquiring unit 101. Is transmitted to the outside of the unmanned driving vehicle 1.
  • the functions of the image acquisition unit 101a, the abnormality determination unit 102, the in-vehicle monitoring information generation unit 103a, and the transmission control unit 104a in the in-vehicle monitoring information generation control device 100a according to the modification of the first embodiment are the same as those in the first embodiment.
  • 2A and 2B may be realized by the processor 201 and the memory 202 in the hardware configuration illustrated in FIGS. 2A and 2B, or may be realized by the processing circuit 203.
  • FIG. 7 is a flowchart illustrating an example of processing of the in-vehicle monitoring information generation control device 100a according to the modification of the first embodiment.
  • step ST701 the image acquisition unit 101 acquires an image of the inside of the unmanned driving vehicle 1 from the imaging device 11, as described above.
  • step ST702 abnormality determination section 102 determines whether or not abnormality has occurred in unmanned driving vehicle 1 as described above.
  • step ST702 when the abnormality determination unit 102 determines that no abnormality has occurred in the unmanned driving vehicle 1, in step ST703, the in-vehicle monitoring information generation unit 103a transmits the image acquired by the image acquisition unit 101 as described above. , The in-vehicle monitoring information that cannot identify the occupant in the image is generated. After the process of step ST703, the in-vehicle monitoring information generation control device 100a executes the process of step ST704 described later. In step ST702, when the abnormality determination unit 102 determines that an abnormality has occurred in the unmanned driving vehicle 1, the in-vehicle monitoring information generation control device 100a executes the process of step ST704 described later.
  • the transmission control unit 104a determines whether to transmit the in-vehicle monitoring information.
  • the determination of whether to transmit the in-vehicle monitoring information in the transmission control unit 104a is performed based on, for example, whether or not there is in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103a.
  • the transmission control unit 104a determines that the in-vehicle monitoring information is to be transmitted when there is the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103a. It is determined that monitoring information is not transmitted.
  • the determination of whether to transmit the in-vehicle monitoring information in the transmission control unit 104a may be performed based on, for example, whether or not an abnormality has occurred in the unmanned driving vehicle 1 determined by the abnormality determination unit 102. . That is, when it is determined that no abnormality has occurred in the unmanned driving vehicle 1, the transmission control unit 104a determines to transmit the in-vehicle monitoring information, and determines that the abnormality has occurred in the unmanned driving vehicle 1. If so, it may be determined that the in-vehicle monitoring information is not transmitted.
  • step ST704 when the transmission control unit 104a determines that the in-vehicle monitoring information is to be transmitted, in step ST705, the transmission control unit 104a transmits the in-vehicle monitoring information generated by the in-vehicle monitoring information generating unit 103a to the unmanned vehicle as described above. 1 outside.
  • the in-vehicle monitoring information generation control device 100a ends the process of the flowchart, returns to the process of step ST701, and repeatedly executes the process of the flowchart.
  • step ST704 when the transmission control unit 104a determines that the in-vehicle monitoring information is not to be transmitted, in step ST706, the transmission control unit 104a performs, as described above, for example, the abnormal time monitoring based on the image acquired by the image acquiring unit 101. The image is transmitted to the outside of the driverless vehicle 1.
  • the in-vehicle monitoring information generation control device 100a ends the processing of the flowchart, returns to the processing of step ST701, and repeatedly executes the processing of the flowchart.
  • step ST702 may be appropriately and repeatedly executed in the background process while the flowchart shown in FIG. 7 is being executed.
  • the in-vehicle monitoring information generation control device 100a is configured so that the in-vehicle monitoring information generation unit 103a does not generate unnecessary in-vehicle monitoring information when an abnormality occurs in the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100a performs processing while the abnormality occurs in the unmanned driving vehicle 1 as compared with the in-vehicle monitoring information generation control device 100 according to the first embodiment. Can be simplified.
  • FIG. Embodiment 2 will be described with reference to FIG.
  • FIG. 8 is a block diagram illustrating an example of a main part of the unmanned driving vehicle 1 on which the in-vehicle monitoring information generation control device 100b according to the second embodiment is mounted.
  • the in-vehicle monitoring information generation control device 100b according to the second embodiment is different from the in-vehicle monitoring information generation control device 100 according to the first embodiment in the in-vehicle monitoring information generation control device 100b according to the second embodiment.
  • the operation of the generation unit 103b is different from the operation of the in-vehicle monitoring information generation unit 103 in the in-vehicle monitoring information generation control device 100 according to the first embodiment.
  • the configuration of the in-vehicle monitoring information generation control device 100b according to the second embodiment is different from the configuration of the in-vehicle monitoring information generation control device 100 according to the first embodiment in the throughput value estimating unit 105 and the mode determining unit 106. Has been added.
  • the same components as those in the in-vehicle monitoring information generation control device 100 according to the first embodiment are denoted by the same reference numerals, and redundant description will be omitted. That is, the description of the configuration in FIG. 8 to which the same reference numerals as those in FIG. 1 are given is omitted.
  • the in-vehicle monitoring information generation control device 100b is mounted on the unmanned driving vehicle 1.
  • the unmanned driving vehicle 1 includes an in-vehicle monitoring information generation control device 100b, an imaging device 11, a sensor 12, and a communication device 13a.
  • the in-vehicle monitoring information generation control device 100b generates in-vehicle monitoring information based on the image obtained from the imaging device 11, and generates the in-vehicle monitoring information in accordance with the state of the unmanned vehicle 1 determined based on the detection information obtained from the sensor 12.
  • the monitoring information is transmitted to the outside of the unmanned driving vehicle 1 via the communication device 13.
  • the in-vehicle monitoring information generation control device 100b includes an image acquisition unit 101, an abnormality determination unit 102, an in-vehicle monitoring information generation unit 103b, a transmission control unit 104, a throughput value estimation unit 105, and a mode determination unit 106.
  • the throughput value estimation unit 105 estimates a throughput value indicating a data transfer amount per unit time when the transmission control unit 104 transmits the in-vehicle monitoring information to the outside of the unmanned vehicle 1. More specifically, for example, the throughput value estimation unit 105 determines the throughput based on the radio wave condition or the communication condition of the communication device 13a used when the transmission control unit 104 transmits the in-vehicle monitoring information to the outside of the unmanned driving vehicle 1. Estimate the value.
  • the throughput value estimating unit 105 estimates the throughput value based on the radio wave condition of the communication device 13a
  • the throughput value estimating unit 105 includes, for example, the communication device 13a provided in advance in the throughput value estimating unit 105, and The throughput value is estimated using a lookup table in which the radio field intensity value received from the base station and the expected throughput value are associated with each other.
  • the method by which the throughput value estimation unit 105 estimates the throughput value based on the radio wave condition of the communication device 13a is not limited to the above-described method.
  • the throughput value may be estimated based on a radio field intensity value received from the base station and a predetermined calculation formula.
  • the throughput value estimating unit 105 estimates the throughput value based on the communication status of the communication device 13a
  • the throughput value estimating unit 105 determines, for example, the communication status of the in-vehicle monitoring information transmitted via the communication device 13a. Based on this, the current throughput value is estimated.
  • the method by which the throughput value estimation unit 105 estimates the throughput value based on the communication status of the communication device 13a is not limited to the above-described method.
  • the in-vehicle monitoring information generation control device 100b includes, for example, a unit that acquires position information of a point where the unmanned driving vehicle 1 is traveling,
  • the throughput value may be estimated based on the communication status of the communication device 13a. Further, for example, the throughput value estimating unit 105 determines the location, date, time, or weather condition where the unmanned driving vehicle 1 is traveling, and the date, time, weather condition, and throughput when the unmanned driving vehicle 1 has traveled at the location in the past.
  • the throughput value may be estimated by predicting the value or the information indicating the radio field intensity by artificial intelligence technology such as deep learning.
  • the throughput value estimating unit 105 is information indicating the status of communication terminals present around the point where the unmanned driving vehicle 1 is traveling, or a period before the throughput value estimating unit 105 estimates the throughput value.
  • the throughput value may be estimated by prediction using technology.
  • the mode determining unit 106 determines the mode of the in-vehicle monitoring information generated by the in-vehicle monitoring information generating unit 103b based on the throughput value estimated by the throughput value estimating unit 105.
  • the in-vehicle monitoring information generating unit 103b generates the in-vehicle monitoring information based on the mode determined by the mode determining unit 106. Details of the mode determining unit 106 and the in-vehicle monitoring information generating unit 103b will be described later.
  • the transmission control unit 104 transmits the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103b. It is transmitted to the outside of the unmanned driving vehicle 1. More specifically, the transmission control unit 104 transmits the in-vehicle monitoring information to the outside of the unmanned driving vehicle 1 via the communication device 13a.
  • the transmission control unit 104 has been described in the first embodiment and will not be described.
  • the image acquisition unit 101, the abnormality determination unit 102, the in-vehicle monitoring information generation unit 103b, the transmission control unit 104, the throughput value estimation unit 105, and the mode determination unit 106 Each function may be realized by the processor 201 and the memory 202 in the hardware configuration illustrated in FIGS. 2A and 2B in the first embodiment, or may be realized by the processing circuit 203. May be.
  • mode determining section 106 determines the mode of the in-vehicle monitoring information based on the throughput value estimated by throughput value estimating section 105, and mode determining section 103b determines the mode of the in-vehicle monitoring information. Processing for generating in-vehicle monitoring information based on the mode determined by unit 106 will be described.
  • FIG. 9 is a block diagram illustrating an example of a main part of the in-vehicle monitoring information generation unit 103b in the in-vehicle monitoring information generation control device 100b according to the second embodiment.
  • the same configuration as the in-vehicle monitoring information generation unit 103 in the in-vehicle monitoring information generation control device 100 according to the first embodiment Are denoted by the same reference numerals, and redundant description will be omitted. That is, the description of the configuration in FIG. 9 to which the same reference numerals as those in FIG. 3 or FIG.
  • the in-vehicle monitoring information generation unit 103b includes, for example, an image analysis unit 131, an image processing unit 132, an image analysis unit 133, a person identification information generation unit 134, and an in-vehicle monitoring information generation control unit 135.
  • the in-vehicle monitoring information generation unit 103b includes, for example, the image analysis unit 131, the image processing unit 132, the image analysis unit 133, and the person identification information generation unit 134.
  • the processed deformed image information, the outline image information obtained by performing the above-described outline extraction processing on the image acquired by the image acquisition unit 101, and the image identified by the image acquired by the image acquisition unit 101 appear on the image.
  • the occupant person identification information can be selectively generated.
  • the in-vehicle monitoring information generating unit 103b outputs any of the generated deformed image information, contour image information, or person identification information as in-vehicle monitoring information based on the mode determined by the mode determining unit 106.
  • the in-vehicle monitoring information generation control unit 135 controls, for example, the image analysis unit 131, the image processing unit 132, the image analysis unit 133, and the person identification information generation unit 134 based on the mode determined by the mode determination unit 106, One of the deformed image information, the outline image information, and the person identification information is output. The details of the in-vehicle monitoring information generation control unit 135 will be described later.
  • FIG. 10 illustrates a mode determination used by mode determining section 106 in vehicle interior monitoring information generation control device 100b according to Embodiment 2 when determining the mode of vehicle interior monitoring information based on the throughput value estimated by throughput value estimating section 105. It is a figure showing an example of a table.
  • the mode determining unit 106 is configured based on, for example, the throughput value estimated by the throughput value estimating unit 105, a preset first threshold, a second threshold preset to a value smaller than the first threshold, and a mode determining table. Then, the mode of the in-vehicle monitoring information is determined.
  • the mode determination unit 106 determines that the throughput is “high”, and when the throughput value is equal to or more than the second threshold and smaller than the first threshold, the throughput is “medium”. Is determined, and when the throughput value is smaller than the second threshold value, the throughput is determined to be “low”. For example, the mode determination unit 106 compares the determined “high”, “medium”, or “low” of the throughput with “high”, “medium”, and “low” indicated in the throughput in the mode determination table. Then, the mode of the in-vehicle monitoring information is determined to a mode corresponding to the determined “high”, “medium”, or “low” of the throughput.
  • the mode determining unit 106 determines the transformed image information having the largest data amount among the transformed image information, the contour image information, and the person identification information in the vehicle monitoring information.
  • the mode of the in-vehicle monitoring information is determined as follows. For example, when the determined throughput is “medium”, the mode determination unit 106 monitors the inside of the vehicle for contour image information having the next largest data amount after the deformed image information among the deformed image information, the contour image information, and the person identification information.
  • the mode of the in-vehicle monitoring information is determined to be the information.
  • the mode determination unit 106 sets the person identification information having the smallest data amount among the deformed image information, the contour image information, and the person identification information as the in-vehicle monitoring information.
  • the mode of the in-vehicle monitoring information is determined.
  • the in-vehicle monitoring information generation control unit 135 causes the image processing unit 132 to perform a mosaic process or a blur process on the occupant's face area detected by the image analysis unit 131 in the image acquired by the image acquisition unit 101. And the like so as to execute the image deformation processing such as.
  • the in-vehicle monitoring information generation control unit 135 controls the image analyzing unit 131 and the image processing unit 132 to execute the processing. More specifically, for example, the in-vehicle monitoring information generation control unit 135 causes the image processing unit 132 to blacken or mask the occupant's face area detected by the image analysis unit 131 in the image acquired by the image acquisition unit 101. Control is performed to execute contour extraction processing such as processing. In addition, for example, when the mode determined by the mode determining unit 106 is the person identification information, the in-vehicle monitoring information generation control unit 135 controls the image analysis unit 133 and the person identification information generating unit 134 to execute the processing. .
  • FIG. 11 is a flowchart illustrating an example of processing of the in-vehicle monitoring information generation control device 100b according to the second embodiment.
  • step ST1101 the image obtaining unit 101 obtains an image of the inside of the unmanned driving vehicle 1 from the imaging device 11, as described above.
  • step ST1102 the throughput value estimating unit 105 determines the throughput value indicating the data transfer amount per unit time when the transmission control unit 104 transmits the in-vehicle monitoring information to the outside of the unmanned vehicle 1 as described above. Is estimated.
  • step ST1103 mode determining section 106 determines the mode of the in-vehicle monitoring information generated by in-vehicle monitoring information generating section 103b based on the throughput value estimated by throughput value estimating section 105, as described above.
  • step ST1104 the in-vehicle monitoring information generation unit 103b generates the in-vehicle monitoring information based on the mode determined by the mode determination unit 106, as described above.
  • step ST1105 abnormality determination section 102 determines whether or not abnormality has occurred in unmanned driving vehicle 1 as described above.
  • step ST1105 when the abnormality determination unit 102 determines that no abnormality has occurred in the unmanned driving vehicle 1, in step ST1106, the transmission control unit 104 determines the in-vehicle information generated by the in-vehicle monitoring information generation unit 103b as described above. The monitoring information is transmitted to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100b ends the process of the flowchart, returns to the process of step ST1101, and repeatedly executes the process of the flowchart.
  • step ST1105 when the abnormality determination unit 102 determines that an abnormality has occurred in the unmanned driving vehicle 1, in step ST1107, the transmission control unit 104 performs, based on the image acquired by the image acquisition unit 101, as described above. The abnormal state monitoring image is transmitted to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100b ends the process of the flowchart, returns to the process of step ST1101, and repeatedly executes the process of the flowchart.
  • steps ST1102 and ST1105 may be appropriately repeated in the background processing while the flowchart shown in FIG. 11 is being executed.
  • the in-vehicle monitoring information generation control device 100b includes the image acquisition unit 101 that acquires an image of the inside of the unmanned driving vehicle 1 and the abnormality that determines whether an abnormality has occurred in the unmanned driving vehicle 1.
  • a determination unit 102 an in-vehicle monitoring information generating unit 103b that generates in-vehicle monitoring information that cannot identify an occupant in the unmanned driving vehicle 1 shown in the image based on the image acquired by the image acquiring unit 101,
  • the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103b is output to the outside of the unmanned driving vehicle 1.
  • a throughput value indicating the data transfer amount per unit time when the transmission control unit 104 transmits the in-vehicle monitoring information to the outside of the unmanned driving vehicle 1 A throughput value estimating unit 105 for estimating, and a mode determining unit 106 for determining a mode of the in-vehicle monitoring information generated by the in-vehicle monitoring information generating unit 103b based on the throughput value estimated by the throughput value estimating unit 105.
  • the monitoring information generating unit 103b generates the in-vehicle monitoring information based on the mode determined by the mode determining unit 106.
  • the in-vehicle monitoring information generation control device 100b sets the information according to the throughput value indicating the data transfer amount per unit time when transmitting the in-vehicle monitoring information to the outside of the unmanned driving vehicle 1, It is possible to perform in-vehicle monitoring in consideration of the occupant's privacy.
  • FIG. Embodiment 3 will be described with reference to FIG.
  • FIG. 12 is a block diagram illustrating an example of a main part of an unmanned driving vehicle 1 on which the in-vehicle monitoring information generation control device 100c according to Embodiment 3 is mounted.
  • the in-vehicle monitoring information generation control device 100c according to the third embodiment is compared with the in-vehicle monitoring information generation control device 100b according to the second embodiment to estimate the throughput value in the in-vehicle monitoring information generation control device 100c according to the third embodiment.
  • the operation of the unit 105a is different from the operation of the throughput value estimation unit 105 in the in-vehicle monitoring information generation control device 100b according to the second embodiment.
  • the configuration of the in-vehicle monitoring information generation control device 100c according to Embodiment 3 is different from the configuration of the in-vehicle monitoring information generation control device 100b according to Embodiment 2 in that the position information acquisition unit 107 and the other vehicle information acquisition unit are different. 108 has been added.
  • the same components as those in the in-vehicle monitoring information generation control device 100b according to the second embodiment are denoted by the same reference numerals, and redundant description will be omitted. That is, the description of the configuration in FIG. 8 to which the same reference numerals as those in FIG. 8 are given is omitted.
  • the in-vehicle monitoring information generation control device 100c is mounted on the unmanned driving vehicle 1 that runs by unmanned driving.
  • the unmanned driving vehicle 1 includes a vehicle interior monitoring information generation control device 100c, an imaging device 11, a sensor 12, and a communication device 13b.
  • the in-vehicle monitoring information generation control device 100c generates in-vehicle monitoring information based on the image obtained from the imaging device 11, and generates the in-vehicle monitoring information according to the state of the unmanned driving vehicle 1 determined based on the detection information obtained from the sensor 12.
  • the monitoring information is transmitted to the outside of the unmanned driving vehicle 1 via the communication device 13.
  • the in-vehicle monitoring information generation control device 100c includes an image acquisition unit 101, an abnormality determination unit 102, an in-vehicle monitoring information generation unit 103b, a transmission control unit 104, a throughput value estimation unit 105a, a mode determination unit 106, a position information acquisition unit 107, and others.
  • the vehicle information acquisition unit 108 is provided.
  • the position information acquisition unit 107 acquires position information indicating the position where the unmanned driving vehicle 1 travels. More specifically, for example, the position information acquisition unit 107 obtains position information indicating a position where the unmanned driving vehicle 1 travels from an automatic driving system (not shown) mounted on the unmanned driving vehicle 1 traveling by unmanned driving. To get.
  • the method by which the position information acquisition unit 107 acquires the position information indicating the position where the unmanned driving vehicle 1 travels is not limited to the method described above.
  • the position information acquisition unit 107 indicates a position where the unmanned driving vehicle 1 travels based on a navigation signal acquired from a navigation signal receiver (not shown) that receives a navigation signal such as a GPS signal from a navigation satellite. Position information may be generated.
  • the other-vehicle information acquisition unit 108 transmits the radio wave condition of a communication device (not shown) mounted on another vehicle (not shown) traveling at a position within a predetermined range from the position at which the unmanned driving vehicle 1 travels or Acquire other vehicle information indicating the communication status. More specifically, for example, the other-vehicle information acquisition unit 108 transmits the position information indicating the position where the unmanned driving vehicle 1 travels acquired by the position information acquisition unit 107 to the location of the unmanned driving vehicle 1 via the communication device 13b.
  • the information is transmitted to an external device or an external system such as a remote monitoring device or a remote monitoring system provided outside, and the other vehicle information acquisition unit 108 transmits the unmanned vehicle 1 from the external device or the external system via the communication device 13b.
  • Other vehicle information indicating a radio wave condition or a communication condition of a communication device mounted on another vehicle traveling at a position within a predetermined range from the traveling position is acquired.
  • the position within a predetermined range from the position where the unmanned driving vehicle 1 travels is more specifically, for example, within a region surrounded by a circle with a radius of 300 meters centered on the position where the unmanned driving vehicle 1 travels. It is a certain position.
  • the position within a predetermined range from the position where the unmanned driving vehicle 1 travels is not limited to the above-mentioned point.
  • a position within a predetermined range from a position where the unmanned driving vehicle 1 travels is a position on a route where the unmanned driving vehicle 1 is scheduled to run, and a position within a predetermined range from a position where the unmanned driving vehicle 1 runs. It may be.
  • the method by which the other vehicle information acquisition unit 108 acquires the other vehicle information is not limited to the above-described method.
  • the other-vehicle information acquisition unit 108 may acquire other-vehicle information from another vehicle by a known inter-vehicle communication technology.
  • the throughput value estimating unit 105a calculates the throughput value based on the radio wave condition or the communication condition of the unmanned driving vehicle 1 and the radio wave condition or the communication condition of the other vehicle included in the other vehicle information acquired by the other vehicle information acquiring unit 108. Is estimated. More specifically, for example, the throughput value estimating unit 105a compares the radio wave condition or the communication condition of the unmanned driving vehicle 1 with the radio wave condition or the communication condition of another vehicle, and based on the worse radio wave condition or the communication condition. To estimate the throughput value.
  • the method by which the throughput value estimating unit 105a estimates the throughput value based on the radio wave condition or communication condition of the unmanned driving vehicle 1 and the radio wave condition or communication condition of another vehicle is not limited to the above-described method.
  • the radio wave condition or communication status in the unmanned driving vehicle 1 and the radio wave condition or communication status in another vehicle for example, based on the distance between the unmanned driving vehicle 1 and the other vehicle, the radio wave condition or The throughput value may be estimated based on the communication status.
  • the processor 201 and the memory 202 may be realized by the processor 201 and the memory 202 in the hardware configuration illustrated in FIGS. 2A and 2B in the first embodiment.
  • it may be realized by the processing circuit 203.
  • FIG. 13 is a flowchart illustrating an example of processing of the in-vehicle monitoring information generation control device 100c according to the third embodiment.
  • step ST1301 the image acquisition unit 101 acquires an image of the inside of the unmanned driving vehicle 1 from the imaging device 11, as described above.
  • step ST1302 position information obtaining section 107 obtains position information of the point where unmanned driving vehicle 1 travels as described above.
  • step ST1303, as described above, the other vehicle information acquisition unit 108 determines the radio wave condition of the communication device mounted on the other vehicle traveling at a position within a predetermined range of the position where the unmanned driving vehicle 1 travels. Alternatively, other vehicle information indicating the communication status is acquired.
  • step ST1304 the throughput value estimating unit 105a determines the throughput value indicating the data transfer amount per unit time when the transmission control unit 104 transmits the in-vehicle monitoring information to the outside of the unmanned vehicle 1 as described above. Is estimated.
  • step ST1305 mode determining section 106 determines the mode of the in-vehicle monitoring information generated by in-vehicle monitoring information generating section 103b based on the throughput value estimated by throughput value estimating section 105a, as described above.
  • step ST1306 the in-vehicle monitoring information generating unit 103b generates the in-vehicle monitoring information based on the mode determined by the mode determining unit 106, as described above.
  • step ST1307 abnormality determination section 102 determines whether or not abnormality has occurred in unmanned vehicle 1 as described above.
  • step ST1307 when abnormality determination section 102 determines that no abnormality has occurred in unmanned driving vehicle 1, in step ST1308, transmission control section 104 transmits the vehicle interior generated by vehicle interior monitoring information generation section 103b as described above. The monitoring information is transmitted to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100c ends the process of the flowchart, returns to the process of step ST1301, and repeatedly executes the process of the flowchart.
  • step ST1307 when the abnormality determination unit 102 determines that an abnormality has occurred in the unmanned driving vehicle 1, in step ST1309, the transmission control unit 104 performs, based on the image acquired by the image acquisition unit 101, as described above.
  • the abnormal state monitoring image is transmitted to the outside of the unmanned driving vehicle 1.
  • the in-vehicle monitoring information generation control device 100c ends the process of the flowchart, returns to the process of step ST1301, and repeatedly executes the process of the flowchart.
  • steps ST1301, ST1302, ST1304, and ST1307 may be appropriately repeated in the background processing while the flowchart shown in FIG. 13 is being executed.
  • the in-vehicle monitoring information generation control device 100c includes an image acquisition unit 101 that acquires an image of the unmanned driving vehicle 1 and an abnormality that determines whether an abnormality has occurred in the unmanned driving vehicle 1.
  • a determination unit 102 an in-vehicle monitoring information generating unit 103b that generates in-vehicle monitoring information that cannot identify an occupant in the unmanned driving vehicle 1 shown in the image based on the image acquired by the image acquiring unit 101,
  • the in-vehicle monitoring information generated by the in-vehicle monitoring information generation unit 103b is output to the outside of the unmanned driving vehicle 1.
  • the other vehicle information acquisition unit 108 that acquires other vehicle information indicating the radio wave condition or the communication condition of the communication device mounted on another vehicle traveling at a position within a predetermined range of the traveling position, the throughput value
  • the estimating unit 105a estimates the throughput value based on the radio wave condition or the communication condition of the unmanned driving vehicle 1 and the radio wave condition or the communication condition of the other vehicle included in the other vehicle information acquired by the other vehicle information acquiring unit 108. Then, the in-vehicle monitoring information generating unit 103b generates the in-ve
  • the in-vehicle monitoring information generation control device 100c can more accurately estimate the throughput value indicating the data transfer amount per unit time when transmitting the in-vehicle monitoring information to the outside of the unmanned driving vehicle 1. Can be.
  • any combination of the embodiments can be freely combined, or any component of each embodiment can be modified, or any component can be omitted in each embodiment. .
  • the in-vehicle monitoring information generation control device can be applied to an unmanned vehicle.
  • Unmanned driving vehicle 11 Imaging device, 12 Sensor, 13, 13a, 13b Communication device, 100, 100a, 100b, 100c In-vehicle monitoring information generation control device, 101 Image acquisition unit, 102 Abnormality determination unit, 103, 103a, 103b In-vehicle Monitoring information generating unit, 104, 104a ⁇ transmission control unit, 105, 105a ⁇ throughput value estimating unit, 106, mode determining unit, 107, positional information obtaining unit, 108, other vehicle information obtaining unit, 131, 133, image analyzing unit, 132, image processing unit, 134 ⁇ person identification information generation unit, 135 ⁇ in-car monitoring information generation control unit, 201 ⁇ processor, 202 ⁇ memory, 203 ⁇ processing circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Alarm Systems (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

車内監視情報生成制御装置（１００）は、無人運転車両（１）の中を撮影した画像を取得する画像取得部（１０１）と、無人運転車両（１）において異常が発生しているか否かを判定する異常判定部（１０２）と、画像取得部（１０１）が取得した画像に基づいて、当該画像に写った無人運転車両（１）の中にいる乗員を特定し得ない車内監視情報を生成する車内監視情報生成部（１０３）と、異常判定部（１０２）が判定した判定結果に基づいて、無人運転車両（１）において異常が発生していないと判定されている場合、車内監視情報生成部（１０３）が生成した車内監視情報を無人運転車両（１）の外部に送信する送信制御部（１０４）と、を備えた。

Description

車内監視情報生成制御装置及び車内監視情報生成制御方法
　この発明は、車内監視情報生成制御装置及び車内監視情報生成制御方法に関するものである。
　無人運転車両を活用した交通手段の提供が検討されている。
　例えば、非特許文献１には、無人運転車両を活用した交通サービスの実証実験において、乗客が安心して乗車できるようにするため、走行中の無人運転車両の位置及び状態等をリアルタイムで把握することが可能な遠隔管制センターを設置し、遠隔管制センターにて遠隔管制を行うことが開示されている。
"日産自動車とDeNA、無人運転車両を活用した交通サービス 「Easy Ride」の実証実験を開始"、［online］、２０１８年２月２３日、株式会社ディー・エヌ・エー、［２０１８年７月２４日検索］、インターネット〈URL：http://dena.com/jp/press/2018/02/23/1/〉
　走行中の無人運転車両の状態をリアルタイムで把握する場合、無人運転車両に設置された車内撮影用の撮像装置が撮影した画像を遠隔管制センター等に送信することが考えられる。しかし、無人運転車両の中に乗員がいる場合、撮像装置が撮影した車内の画像を遠隔管制センター等に送信すると、当該乗員のプライバシーが損なわれる可能性があるという問題点があった。
　この発明は、上述の問題点を解決するためのもので、無人運転車両の中にいる乗員のプライバシーに配慮した車内監視を行うことができる車内監視情報生成制御装置を提供することを課題としている。
　この発明に係る車内監視情報生成制御装置は、無人運転車両の中を撮影した画像を取得する画像取得部と、無人運転車両において異常が発生しているか否かを判定する異常判定部と、画像取得部が取得した画像に基づいて、当該画像に写った無人運転車両の中にいる乗員を特定し得ない車内監視情報を生成する車内監視情報生成部と、異常判定部が判定した判定結果に基づいて、無人運転車両において異常が発生していないと判定されている場合、車内監視情報生成部が生成した車内監視情報を無人運転車両の外部に送信する送信制御部と、を備えたものである。
　この発明によれば、無人運転車両の中にいる乗員のプライバシーに配慮した車内監視を行うことができる。
図１は、実施の形態１に係る車内監視情報生成制御装置が搭載された無人運転車両の要部の一例を示すブロック図である。 図２Ａ及び図２Ｂは、実施の形態１に係る車内監視情報生成制御装置のハードウェア構成の一例を示す図である。 図３は、実施の形態１に係る車内監視情報生成制御装置における車内監視情報生成部の要部の一例を示すブロック図である。 図４は、実施の形態１に係る車内監視情報生成制御装置における車内監視情報生成部の要部の一例を示すブロック図である。 図５は、実施の形態１に係る車内監視情報生成制御装置の処理の一例を説明するフローチャートである。 図６は、実施の形態１の変形例に係る車内監視情報生成制御装置が搭載された無人運転車両の要部の一例を示すブロック図である。 図７は、実施の形態１の変形例に係る車内監視情報生成制御装置の処理の一例を説明するフローチャートである。 図８は、実施の形態２に係る車内監視情報生成制御装置が搭載された無人運転車両の要部の一例を示すブロック図である。 図９は、実施の形態２に係る車内監視情報生成制御装置における車内監視情報生成部の要部の一例を示すブロック図である。 図１０は、実施の形態２に係る車内監視情報生成制御装置における態様決定部がスループット値推定部により推定されたスループット値に基づいて車内監視情報の態様を決定する際に用いる態様決定テーブルの一例を示す図である。 図１１は、実施の形態２に係る車内監視情報生成制御装置の処理の一例を説明するフローチャートである。 図１２は、実施の形態３に係る車内監視情報生成制御装置における車内監視情報生成部の要部の一例を示すブロック図である。 図１３は、実施の形態３に係る車内監視情報生成制御装置の処理の一例を説明するフローチャートである。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係る車内監視情報生成制御装置１００が搭載された無人運転車両１の要部の一例を示すブロック図である。
　無人運転車両１は、例えば、自動運転技術のレベル５に分類される技術が適用された車両であって、車両内に全く乗員がいない状態であっても自律的に走行が可能な車両を意味する。
　車内監視情報生成制御装置１００は、無人運転車両１に搭載されている。
　無人運転車両１は、車内監視情報生成制御装置１００、撮像装置１１、センサ１２、及び通信機器１３を備える。
　撮像装置１１は、無人運転車両１の中を撮影する。撮像装置１１は、例えば、無人運転車両１の中に設置されたカメラである。撮像装置１１は、撮影した画像を示すデータ（以下、「画像を示すデータ」を含めて、単に「画像」という。）を、車内監視情報生成制御装置１００に出力する。
　センサ１２は、車内監視情報生成制御装置１００が無人運転車両１において異常が発生しているか否かを判定するための検知情報を出力する。センサ１２は、例えば、赤外線センサ、超音波センサ、又は音量センサである。また、センサ１２は、乗員の心拍又は血圧等を示す情報を出力する生体センサであっても良い。生体センサは、シートベルト、座席等に取り付けられたものである。
　通信機器１３は、車内監視情報生成制御装置１００が出力する画像情報等の車内監視情報を、無人運転車両１の外部に送信するための通信機能を有する。通信機器１３は、より具体的には、車内監視情報を、例えば、無人運転車両１の外部に設けられた外部装置又は外部システムに送信するための通信機能を有する。外部装置とは、例えば、遠隔監視装置であり、外部システムとは、例えば、遠隔監視システムである。通信機器１３は、例えば、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）等の無線公衆回線を用いて、車内監視情報を、無人運転車両１の外部に送信する。
　車内監視情報生成制御装置１００は、撮像装置１１から取得した画像に基づいて車内監視情報を生成し、センサ１２から取得した検知情報に基づいて判定される無人運転車両１の状態に応じて、車内監視情報を、無人運転車両１の外部に通信機器１３を介して送信する。
　車内監視情報生成制御装置１００は、画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３、及び送信制御部１０４を備える。
　画像取得部１０１は、無人運転車両１の中が写った画像を、撮像装置１１から取得する。
　異常判定部１０２は、無人運転車両１において異常が発生しているか否かを判定する。
　例えば、異常判定部１０２は、センサ１２から検知情報を取得し、取得した検知情報に基づいて無人運転車両１において異常が発生しているか否かを判定する。
　より具体的には、例えば、異常判定部１０２は、赤外線センサ又は超音波センサ等の検知センサから取得した検知情報に基づいて、周知のパターンマッチング法により無人運転車両１の乗員の姿勢又は動作等が予め定められた異常状態であるか否かを判定することで、無人運転車両１において異常が発生しているか否かを判定する。
　また、例えば、異常判定部１０２は、音量センサから取得した検知情報に基づいて、例えば、無人運転車両１内の音量が予め定められた音量より大きいか否かを判定することで、無人運転車両１において異常が発生しているか否かを判定する。
　また、例えば、異常判定部１０２は、生体センサから取得した検知情報に基づいて、例えば、心拍又は血圧等を示す値が予め定められた値より大きいか否かにより無人運転車両１の乗員における体調が良好であるか否か、又は乗員が興奮状態であるか否か等を判定することで、無人運転車両１において異常が発生しているか否かを判定する。
　異常判定部１０２が無人運転車両１において異常が発生しているか否かを判定する方法は、上述の方法に限定されるものではない。
　例えば、検知する方法が異なる複数種類のセンサ１２から取得した複数種類の検知情報に基づいて、無人運転車両１において異常が発生しているか否かを判定しても良い。
　また、例えば、車内監視情報生成制御装置１００を無人運転車両１内のＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の車載ネットワークに接続し、異常判定部１０２は、当該車載ネットワークから取得した種々の信号を適宜使用して、無人運転車両１において異常が発生しているか否かを判定しても良い。
　また、例えば、異常判定部１０２は、画像取得部１０１が取得した無人運転車両１の中が写った画像に基づいて、当該画像を周知の画像解析技術により解析した結果と予め定められた異常状態を示すパターンとを周知のパターンマッチング法により比較することで、無人運転車両１において異常が発生しているか否かを判定しても良い。なお、異常判定部１０２が、画像取得部１０１が取得した画像に基づいて、異常が発生しているか否かを判定する場合、異常判定部１０２は、画像取得部１０１と接続される（ただし、図１には、この接続関係は示されてない）。また、異常判定部１０２が、無人運転車両１の中が写った画像に基づいて、異常が発生しているか否かを判定する場合、異常判定部１０２は、撮像装置１１と直接接続されていても良い（ただし、図１には、この接続関係は示されてない）。
　また、例えば、異常判定部１０２は、マイク等の音声入力装置（不図示）から音声信号を取得し、取得した音声信号に基づいて周知の音声認識技術により音声認識を行い、音声認識した結果と予め定められた異常状態を示す音声パターンとを比較することで、無人運転車両１において異常が発生しているか否かを判定しても良い。
　また、例えば、異常判定部１０２は、上述の無人運転車両１において異常が発生しているか否かを判定する方法を適宜組み合わせて、無人運転車両１において異常が発生しているか否かを判定しても良い。
　車内監視情報生成部１０３は、画像取得部１０１が取得した画像に基づいて、当該画像に写った無人運転車両１の中にいる乗員（以下、無人運転車両１の中にいる乗員を、単に「乗員」という。）を特定し得ない車内監視情報を生成する。車内監視情報生成部１０３の詳細については後述する。
　送信制御部１０４は、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において異常が発生していないと判定されている場合、車内監視情報生成部１０３が生成した車内監視情報を無人運転車両１の外部に送信する。
　より具体的には、送信制御部１０４は、車内監視情報を送信する送信制御を行い、通信機器１３を介して無人運転車両１の外部に送信するものである。
　送信制御部１０４は、無人運転車両１において異常が発生していないと判定されている場合、車内監視情報を無人運転車両１の外部に送信する。また、送信制御部１０４は、無人運転車両１において異常が発生していると判定されている場合、画像取得部１０１が取得した画像に基づく異常時監視画像を無人運転車両１の外部に送信する。
　より具体的には、例えば、異常時監視画像は、画像取得部１０１が取得した画像である。
　異常時監視画像は、画像取得部１０１が取得した画像に限定されるものではなく、例えば、当該画像を加工して生成した画像であっても良い。
　より具体的には、例えば、異常時監視画像は、画像取得部１０１が取得した画像に対して、当該画像の画像サイズを変更するリサイズ処理、当該画像における異常が発生していると推定される位置を切り出すクロッピング処理、又は当該画像において異常が発生していると推定される位置を指し示す情報を付加する重畳処理等を施すことにより生成した画像である。なお、車内監視情報は、乗員を特定し得ない情報であるのに対して、異常時監視画像は、乗員を特定し得る画像であることが望ましい。
　図２Ａ及び図２Ｂを参照して、実施の形態１に係る車内監視情報生成制御装置１００の要部のハードウェア構成について説明する。
　図２Ａ及び図２Ｂは、実施の形態１に係る車内監視情報生成制御装置１００の要部のハードウェア構成の一例を示す図である。
　図２Ａに示す如く、車内監視情報生成制御装置１００はコンピュータにより構成されており、当該コンピュータはプロセッサ２０１及びメモリ２０２を有している。メモリ２０２には、当該コンピュータを画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３、及び送信制御部１０４として機能させるためのプログラムが記憶されている。メモリ２０２に記憶されているプログラムをプロセッサ２０１が読み出して実行することにより、画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３、及び送信制御部１０４の機能が実現される。
　また、図２Ｂに示す如く、車内監視情報生成制御装置１００は処理回路２０３により構成されても良い。この場合、画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３、及び送信制御部１０４の機能が処理回路２０３により実現されても良い。
　また、車内監視情報生成制御装置１００はプロセッサ２０１、メモリ２０２及び処理回路２０３により構成されても良い（不図示）。この場合、画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３、及び送信制御部１０４の機能のうちの一部の機能がプロセッサ２０１及びメモリ２０２により実現されて、残余の機能が処理回路２０３により実現されるものであっても良い。
　プロセッサ２０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）を用いたものである。
　メモリ２０２は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ２０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）又はＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などを用いたものである。
　処理回路２０３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）を用いたものである。
　図３及び図４を参照して、車内監視情報生成部１０３が、画像取得部１０１から取得した画像に基づいて、当該画像に写った乗員を特定し得ない車内監視情報を生成する処理について説明する。
　図３は、実施の形態１に係る車内監視情報生成制御装置１００における車内監視情報生成部１０３の要部の一例を示すブロック図である。
　車内監視情報生成部１０３は、例えば、画像解析部１３１及び画像加工部１３２を備える。
　画像解析部１３１は、例えば、周知の方法により、画像取得部１０１が取得した画像に写った乗員の顔の領域を検出する。
　画像加工部１３２は、例えば、周知の方法により、画像取得部１０１が取得した画像における画像解析部１３１が検出した乗員の顔の領域に対して、画像変形処理、又は、輪郭抽出処理等を施す。画像変形処理とは、画像における乗員の顔の領域に対して、例えば、モザイク処理、又はぼかし処理等を施して、画像を変形する処理である。また、輪郭抽出処理とは、画像における乗員の顔の領域に対して、例えば、黒塗り処理、又はマスク処理等を施して、乗員の顔の輪郭のみを抽出する処理である。画像加工部１３２は、画像取得部１０１が取得した画像に上述の画像変形処理を施した変形画像情報、又は、画像取得部１０１が取得した画像に上述の輪郭抽出処理を施した輪郭画像情報等を、車内監視情報として出力する。
　実施の形態１に係る車内監視情報生成制御装置１００における車内監視情報生成部１０３の要部の構成は、図３に示す構成とは限らず、例えば、図４に示す構成のものであっても良い。
　図４は、実施の形態１に係る車内監視情報生成制御装置１００における車内監視情報生成部１０３の要部の一例を示すブロック図である。
　車内監視情報生成部１０３は、例えば、画像解析部１３３及び人物識別情報生成部１３４を備える。
　画像解析部１３３は、例えば、画像取得部１０１が取得した画像に基づいて、周知の方法により、当該画像に写った乗員の識別を行う。より具体的には、例えば、画像解析部１３３は、当該画像に写った乗員の性別、年齢、又は体格等を識別する。
　人物識別情報生成部１３４は、例えば、画像解析部１３３が識別した乗員の識別結果に基づいて、予め決められたフォーマットに従い人物識別情報を生成し、車内監視情報として出力する。
　図５を参照して、実施の形態１に係る車内監視情報生成制御装置１００の動作について説明する。
　図５は、実施の形態１に係る車内監視情報生成制御装置１００の処理の一例を説明するフローチャートである。
　まず、ステップＳＴ５０１にて、画像取得部１０１は、上述のとおり、撮像装置１１から、無人運転車両１の中を撮影した画像を取得する。
　次に、ステップＳＴ５０２にて、車内監視情報生成部１０３は、上述のとおり、画像取得部１０１が取得した画像に基づいて、当該画像に写った乗員を特定し得ない車内監視情報を生成する。
　次に、ステップＳＴ５０３にて、異常判定部１０２は、上述のとおり、無人運転車両１において異常が発生しているか否かを判定する。
　ステップＳＴ５０３において、異常判定部１０２が無人運転車両１において異常が発生していないと判定した場合、ステップＳＴ５０４にて、送信制御部１０４は、上述のとおり、車内監視情報生成部１０３が生成した車内監視情報を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００は、ステップＳＴ５０４の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ５０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　ステップＳＴ５０３において、異常判定部１０２が無人運転車両１において異常が発生していると判定した場合、ステップＳＴ５０５にて、送信制御部１０４は、上述のとおり、画像取得部１０１が取得した画像に基づく異常時監視画像を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００は、ステップＳＴ５０５の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ５０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、ステップＳＴ５０３の処理は、図５に示すフローチャートが実行されている間、バックグランド処理にて、適宜繰り返して実行されるようにしても良い。
　以上のように、車内監視情報生成制御装置１００は、無人運転車両１の中を撮影した画像を取得する画像取得部１０１と、無人運転車両１において異常が発生しているか否かを判定する異常判定部１０２と、画像取得部１０１が取得した画像に基づいて、当該画像に写った無人運転車両１の中にいる乗員を特定し得ない車内監視情報を生成する車内監視情報生成部１０３と、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において異常が発生していないと判定されている場合、車内監視情報生成部１０３が生成した車内監視情報を無人運転車両１の外部に送信する送信制御部１０４と、を備えた。
　このように構成することで、車内監視情報生成制御装置１００は、無人運転車両１の中にいる乗員のプライバシーに配慮した車内監視を行うことができる。
　なお、異常判定部１０２は、無人運転車両１において異常が発生しているか否かを判定するだけでなく、無人運転車両１において発生している異常の内容を判別するようにしてもよい。より具体的には、例えば、異常判定部１０２は、無人運転車両１において発生している異常が乗員の体調不良によるものか否かを判別するようにしても良い。発生している異常が乗員の体調不良によるものか否かは、例えば、異常判定部１０２が取得した音声信号に基づいて行った音声認識結果と予め定められた乗員の体調不良を示す音声パターンとを比較することで、判別することができる。
　また、送信制御部１０４は、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において発生している異常が乗員の体調不良によるものである場合、異常時監視画像に替えて車内監視情報を無人運転車両１の外部に送信するようにしても良い。
　このように構成することで、車内監視情報生成制御装置１００は、無人運転車両１において発生している異常が乗員の体調不良によるものである場合、乗員のプライバシーに配慮した車内監視を行うことができる。
実施の形態１の変形例．
　図６を参照して実施の形態１の変形例について説明する。
　図６は、実施の形態１の変形例に係る車内監視情報生成制御装置１００ａが搭載された無人運転車両１の要部の一例を示すブロック図である。
　実施の形態１の変形例に係る車内監視情報生成制御装置１００ａは、車内監視情報生成制御装置１００と比較して、車内監視情報生成制御装置１００ａにおける車内監視情報生成部１０３ａ及び送信制御部１０４ａの動作が、車内監視情報生成制御装置１００における車内監視情報生成部１０３及び送信制御部１０４の動作と相違する。
　実施の形態１の変形例に係る車内監視情報生成制御装置１００ａの構成において、車内監視情報生成制御装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図６の構成については、説明を省略する。
　車内監視情報生成制御装置１００ａは、無人運転車両１に搭載されている。
　無人運転車両１は、車内監視情報生成制御装置１００ａ、撮像装置１１、センサ１２、及び通信機器１３を備える。
　車内監視情報生成制御装置１００ａは、撮像装置１１から取得した画像に基づいて車内監視情報を生成し、センサ１２から取得した検知情報に基づいて判定される無人運転車両１の状態に応じて、車内監視情報を、無人運転車両１の外部に通信機器１３を介して送信する。
　車内監視情報生成制御装置１００ａは、画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３ａ、及び送信制御部１０４ａを備える。
　車内監視情報生成部１０３ａは、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において異常が発生していないと判定されている場合、画像取得部１０１が取得した画像に基づいて、当該画像に写った乗員を特定し得ない車内監視情報を生成する。
　車内監視情報生成部１０３ａが、画像取得部１０１から取得した画像に基づいて車内監視情報を生成する処理は、車内監視情報生成制御装置１００における車内監視情報生成部１０３と同様であるため、説明を省略する。
　送信制御部１０４ａは、車内監視情報生成部１０３ａが生成した車内監視情報を無人運転車両１の外部に送信する。車内監視情報生成部１０３ａは、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において異常が発生していないと判定されている場合、車内監視情報を生成する。車内監視情報が生成されると、送信制御部１０４ａは、当該車内監視情報を、無人運転車両１の外部に送信する。車内監視情報は、無人運転車両１において異常が発生していないと判定されている場合に生成されるため、送信制御部１０４ａも、当該異常が発生していないと判定されている場合に、車内監視情報を無人運転車両１の外部に送信することになる。送信制御部１０４ａは、送信すべき車内監視情報が無い場合、すなわち、無人運転車両１において異常が発生していると判定されている場合、画像取得部１０１が取得した画像に基づく異常時監視画像を無人運転車両１の外部に送信する。
　なお、実施の形態１の変形例に係る車内監視情報生成制御装置１００ａにおける画像取得部１０１ａ、異常判定部１０２、車内監視情報生成部１０３ａ、及び送信制御部１０４ａの各機能は、実施の形態１において図２Ａ及び図２Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
　図７を参照して、実施の形態１の変形例に係る車内監視情報生成制御装置１００ａの動作について説明する。
　図７は、実施の形態１の変形例に係る車内監視情報生成制御装置１００ａの処理の一例を説明するフローチャートである。
　まず、ステップＳＴ７０１にて、画像取得部１０１は、上述のとおり、撮像装置１１から、無人運転車両１の中を撮影した画像を取得する。
　次に、ステップＳＴ７０２にて、異常判定部１０２は、上述のとおり、無人運転車両１において異常が発生しているか否かを判定する。
　ステップＳＴ７０２において、異常判定部１０２が無人運転車両１において異常が発生していないと判定した場合、ステップＳＴ７０３にて、車内監視情報生成部１０３ａは、上述のとおり、画像取得部１０１が取得した画像に基づいて、当該画像に写った乗員を特定し得ない車内監視情報を生成する。車内監視情報生成制御装置１００ａは、ステップＳＴ７０３の処理の後、後述するステップＳＴ７０４の処理を実行する。
　ステップＳＴ７０２において、異常判定部１０２が無人運転車両１において異常が発生していると判定した場合、車内監視情報生成制御装置１００ａは、後述するステップＳＴ７０４の処理を実行する。
　次に、ステップＳＴ７０４にて、送信制御部１０４ａは、車内監視情報を送信するか否かを判定する。
　送信制御部１０４ａにおける車内監視情報を送信するか否かの判定は、例えば、車内監視情報生成部１０３ａが生成した車内監視情報があるか否かに基づいて行われる。送信制御部１０４ａは、車内監視情報生成部１０３ａが生成した車内監視情報がある場合は、車内監視情報を送信すると判定し、車内監視情報生成部１０３ａが生成した車内監視情報がない場合は、車内監視情報を送信しないと判定する。
　また、送信制御部１０４ａにおける車内監視情報を送信するか否かの判定は、例えば、異常判定部１０２が判定した無人運転車両１において異常が発生しているか否かに基づいて行われても良い。すなわち、送信制御部１０４ａは、無人運転車両１において異常が発生していないと判定されている場合は、車内監視情報を送信すると判定し、無人運転車両１において異常が発生していると判定されている場合は、車内監視情報を送信しないと判定しても良い。
　ステップＳＴ７０４において、送信制御部１０４ａが車内監視情報を送信すると判定した場合、ステップＳＴ７０５にて、送信制御部１０４ａは、上述のとおり、車内監視情報生成部１０３ａが生成した車内監視情報を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００ａは、ステップＳＴ７０５の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ７０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　ステップＳＴ７０４において、送信制御部１０４ａが車内監視情報を送信しないと判定した場合、ステップＳＴ７０６にて、送信制御部１０４ａは、上述のとおり、例えば、画像取得部１０１が取得した画像に基づく異常時監視画像を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００ａは、ステップＳＴ７０６の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ７０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、ステップＳＴ７０２の処理は、図７に示すフローチャートが実行されている間、バックグランド処理にて、適宜繰り返して実行されるようにしても良い。
　以上のように、車内監視情報生成制御装置１００ａは、無人運転車両１において異常が発生している場合、必要のない車内監視情報を車内監視情報生成部１０３ａが生成しないように構成した。
　このように構成することで、車内監視情報生成制御装置１００ａは、実施の形態１に係る車内監視情報生成制御装置１００と比較して、無人運転車両１において異常が発生している間において、処理を簡略化することができる。
実施の形態２．
　図８を参照して実施の形態２について説明する。
　図８は、実施の形態２に係る車内監視情報生成制御装置１００ｂが搭載された無人運転車両１の要部の一例を示すブロック図である。
　実施の形態２に係る車内監視情報生成制御装置１００ｂは、実施の形態１に係る車内監視情報生成制御装置１００と比較して、実施の形態２に係る車内監視情報生成制御装置１００ｂにおける車内監視情報生成部１０３ｂの動作が、実施の形態１に係る車内監視情報生成制御装置１００における車内監視情報生成部１０３の動作と相違する。また、実施の形態２に係る車内監視情報生成制御装置１００ｂの構成には、実施の形態１に係る車内監視情報生成制御装置１００の構成と比較して、スループット値推定部１０５及び態様決定部１０６が追加されている。
　実施の形態２に係る車内監視情報生成制御装置１００ｂの構成において、実施の形態１に係る車内監視情報生成制御装置１００と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図１に記載した符号と同じ符号を付した図８の構成については、説明を省略する。
　車内監視情報生成制御装置１００ｂは、無人運転車両１に搭載されている。
　無人運転車両１は、車内監視情報生成制御装置１００ｂ、撮像装置１１、センサ１２、及び通信機器１３ａを備える。
　車内監視情報生成制御装置１００ｂは、撮像装置１１から取得した画像に基づいて車内監視情報を生成し、センサ１２から取得した検知情報に基づいて判定される無人運転車両１の状態に応じて、車内監視情報を、無人運転車両１の外部に通信機器１３を介して送信する。
　車内監視情報生成制御装置１００ｂは、画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３ｂ、送信制御部１０４、スループット値推定部１０５、及び態様決定部１０６を備える。
　スループット値推定部１０５は、送信制御部１０４が車内監視情報を無人運転車両１の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値を推定する。
　より具体的には、例えば、スループット値推定部１０５は、送信制御部１０４が車内監視情報を無人運転車両１の外部に送信する際に用いる通信機器１３ａの電波状況又は通信状況に基づいて、スループット値を推定する。
　スループット値推定部１０５が通信機器１３ａの電波状況に基づいてスループット値を推定する場合、スループット値推定部１０５は、例えば、予めスループット値推定部１０５に備えられた、通信機器１３ａが無線公衆回線の基地局から受信する電波強度値とスループット期待値とが関連付けられたルックアップテーブルを用いて、スループット値を推定する。スループット値推定部１０５が通信機器１３ａの電波状況に基づいてスループット値を推定する方法は、上述の方法に限定されるものではなく、スループット値推定部１０５は、例えば、通信機器１３ａが無線公衆回線の基地局から受信する電波強度値と予め決められた計算式とに基づいて、スループット値を推定しても良い。
　また、スループット値推定部１０５が通信機器１３ａの通信状況に基づいてスループット値を推定する場合、スループット値推定部１０５は、例えば、直近に通信機器１３ａを介して送信した車内監視情報の通信状況に基づいて、現在のスループット値を推定する。スループット値推定部１０５が通信機器１３ａの通信状況に基づいてスループット値を推定する方法は、上述の方法に限定されるものではない。
　スループット値推定部１０５は、例えば、無人運転車両１が走行している地点の位置情報を取得する手段を車内監視情報生成制御装置１００ｂが有し、無人運転車両１が走行している地点における過去の通信機器１３ａの通信状況に基づいてスループット値を推定しても良い。
　更に、例えば、スループット値推定部１０５は、無人運転車両１が走行している地点、日時、又は気象条件等と、過去に無人運転車両１が当該地点を走行したときの日時、気象条件、スループット値、又は電波強度を示す情報とを、深層学習等の人工知能技術により予測して、スループット値を推定しても良い。また、例えば、スループット値推定部１０５は、無人運転車両１が走行している地点における周囲に存在する通信端末の状況を示す情報、又はスループット値推定部１０５がスループット値を推定する前までの期間におけるスループット値の変動を示す情報と、過去に無人運転車両１が走行したときの周囲に存在する通信端末の状況を示す情報、又はスループット値の変動を示す情報とを、深層学習等の人工知能技術により予測して、スループット値を推定しても良い。
　態様決定部１０６は、スループット値推定部１０５が推定したスループット値に基づいて、車内監視情報生成部１０３ｂが生成する車内監視情報の態様を決定する。
　車内監視情報生成部１０３ｂは、態様決定部１０６が決定した態様に基づいて、車内監視情報を生成する。
　態様決定部１０６及び車内監視情報生成部１０３ｂの詳細については後述する。
　送信制御部１０４は、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において異常が発生していないと判定されている場合、車内監視情報生成部１０３ｂが生成した車内監視情報を無人運転車両１の外部に送信する。より具体的には、送信制御部１０４は、通信機器１３ａを介して車内監視情報を無人運転車両１の外部に送信する。送信制御部１０４は、実施の形態１にて説明したため説明を省略する。
　なお、実施の形態２に係る車内監視情報生成制御装置１００ｂにおける画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３ｂ、送信制御部１０４、スループット値推定部１０５、及び態様決定部１０６の各機能は、実施の形態１において図２Ａ及び図２Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
　図９及び図１０を参照して、態様決定部１０６がスループット値推定部１０５により推定されたスループット値に基づいて車内監視情報の態様を決定する処理、及び、車内監視情報生成部１０３ｂが態様決定部１０６により決定された態様に基づいて車内監視情報を生成する処理について説明する。
　図９は、実施の形態２に係る車内監視情報生成制御装置１００ｂにおける車内監視情報生成部１０３ｂの要部の一例を示すブロック図である。
　実施の形態２に係る車内監視情報生成制御装置１００ｂにおける車内監視情報生成部１０３ｂの構成において、実施の形態１に係る車内監視情報生成制御装置１００におけるにおける車内監視情報生成部１０３と同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図３又は図４に記載した符号と同じ符号を付した図９の構成については、説明を省略する。
　車内監視情報生成部１０３ｂは、例えば、画像解析部１３１、画像加工部１３２、画像解析部１３３、人物識別情報生成部１３４、及び車内監視情報生成制御部１３５を備える。
　車内監視情報生成部１０３ｂは、画像解析部１３１、画像加工部１３２、画像解析部１３３、及び人物識別情報生成部１３４を備えることにより、例えば、画像取得部１０１が取得した画像に上述の画像変形処理を施した変形画像情報、画像取得部１０１が取得した画像に上述の輪郭抽出処理を施した輪郭画像情報、及び、画像取得部１０１が取得した画像に基づいて識別された当該画像に写った乗員の人物識別情報を、選択的に生成することができる。車内監視情報生成部１０３ｂは、態様決定部１０６により決定された態様に基づいて、生成した変形画像情報、輪郭画像情報、又は人物識別情報のいずれかを車内監視情報として出力する。
　車内監視情報生成制御部１３５は、態様決定部１０６により決定された態様に基づいて、例えば、画像解析部１３１、画像加工部１３２、画像解析部１３３、及び人物識別情報生成部１３４を制御し、変形画像情報、輪郭画像情報、又は人物識別情報のいずれかを出力させる。車内監視情報生成制御部１３５の詳細については後述する。
　図１０は、実施の形態２に係る車内監視情報生成制御装置１００ｂにおける態様決定部１０６がスループット値推定部１０５により推定されたスループット値に基づいて車内監視情報の態様を決定する際に用いる態様決定テーブルの一例を示す図である。
　態様決定部１０６は、例えば、スループット値推定部１０５により推定されたスループット値、予め設定された第１閾値、第１閾値より小さい値に予め設定された第２閾値、及び態様決定テーブルに基づいて、車内監視情報の態様を決定する。態様決定部１０６は、例えば、スループット値が第１閾値以上である場合、スループットが「高」であると判定し、スループット値が第２閾値以上且つ第１閾値より小さい場合、スループットが「中」であると判定し、スループット値が第２閾値より小さい場合、スループットが「低」であると判定する。態様決定部１０６は、例えば、判定したスループットの「高」、「中」、又は「低」と、態様決定テーブルにおけるスループットに示される「高」、「中」、及び「低」とを比較して、車内監視情報の態様を、判定されたスループットの「高」、「中」、又は「低」に対応する態様に決定する。
　より具体的には、例えば、態様決定部１０６は、判定したスループットが「高」の場合、変形画像情報、輪郭画像情報、及び人物識別情報のうち最もデータ量の大きい変形画像情報を車内監視情報とするように車内監視情報の態様を決定する。また、例えば、態様決定部１０６は、判定したスループットが「中」の場合、変形画像情報、輪郭画像情報、及び人物識別情報のうち変形画像情報の次にデータ量の大きい輪郭画像情報を車内監視情報とするように車内監視情報の態様を決定する。また、例えば、態様決定部１０６は、判定したスループットが「低」の場合、変形画像情報、輪郭画像情報、及び人物識別情報のうち最もデータ量の小さい人物識別情報を車内監視情報とするように車内監視情報の態様を決定する。
　車内監視情報生成制御部１３５は、上述のとおり、態様決定部１０６により決定された態様に基づいて、例えば、画像解析部１３１、画像加工部１３２、画像解析部１３３、及び人物識別情報生成部１３４を制御する。
　具体的には、例えば、車内監視情報生成制御部１３５は、態様決定部１０６により決定された態様が変形画像情報である場合、画像解析部１３１及び画像加工部１３２が処理を実行するように制御する。より具体的は、例えば、車内監視情報生成制御部１３５は、画像加工部１３２に画像取得部１０１が取得した画像における画像解析部１３１が検出した乗員の顔の領域に対してモザイク処理或いはぼかし処理等の画像変形処理を実行させるように制御する。
　また、例えば、車内監視情報生成制御部１３５は、態様決定部１０６により決定された態様が輪郭画像情報である場合、画像解析部１３１及び画像加工部１３２が処理を実行するように制御する。より具体的は、例えば、車内監視情報生成制御部１３５は、画像加工部１３２に画像取得部１０１が取得した画像における画像解析部１３１が検出した乗員の顔の領域に対して黒塗り処理或いはマスク処理等の輪郭抽出処理を実行させるように制御する。
　また、例えば、車内監視情報生成制御部１３５は、態様決定部１０６により決定された態様が人物識別情報である場合、画像解析部１３３及び人物識別情報生成部１３４が処理を実行するように制御する。
　図１１を参照して、実施の形態２に係る車内監視情報生成制御装置１００ｂの動作について説明する。
　図１１は、実施の形態２に係る車内監視情報生成制御装置１００ｂの処理の一例を説明するフローチャートである。
　まず、ステップＳＴ１１０１にて、画像取得部１０１は、上述のとおり、撮像装置１１から、無人運転車両１の中を撮影した画像を取得する。
　次に、ステップＳＴ１１０２にて、スループット値推定部１０５は、上述のとおり、送信制御部１０４が車内監視情報を無人運転車両１の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値を推定する。
　次に、ステップＳＴ１１０３にて、態様決定部１０６は、上述のとおり、スループット値推定部１０５が推定したスループット値に基づいて、車内監視情報生成部１０３ｂが生成する車内監視情報の態様を決定する。
　次に、ステップＳＴ１１０４にて、車内監視情報生成部１０３ｂは、上述のとおり、車内監視情報生成部１０３ｂは、態様決定部１０６が決定した態様に基づいて、車内監視情報を生成する。
　次に、ステップＳＴ１１０５にて、異常判定部１０２は、上述のとおり、無人運転車両１において異常が発生しているか否かを判定する。
　ステップＳＴ１１０５において、異常判定部１０２が無人運転車両１において異常が発生していないと判定した場合、ステップＳＴ１１０６にて、送信制御部１０４は、上述のとおり、車内監視情報生成部１０３ｂが生成した車内監視情報を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００ｂは、ステップＳＴ１１０６の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ１１０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　ステップＳＴ１１０５において、異常判定部１０２が無人運転車両１において異常が発生していると判定した場合、ステップＳＴ１１０７にて、送信制御部１０４は、上述のとおり、画像取得部１０１が取得した画像に基づく異常時監視画像を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００ｂは、ステップＳＴ１１０７の処理を実行した後、当該フローチャートの処理を終了し、ステップＳＴ１１０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、ステップＳＴ１１０２及びステップＳＴ１１０５の処理は、図１１に示すフローチャートが実行されている間、バックグランド処理にて、適宜繰り返して実行されるようにしても良い。
　以上のように、車内監視情報生成制御装置１００ｂは、無人運転車両１の中を撮影した画像を取得する画像取得部１０１と、無人運転車両１において異常が発生しているか否かを判定する異常判定部１０２と、画像取得部１０１が取得した画像に基づいて、当該画像に写った無人運転車両１の中にいる乗員を特定し得ない車内監視情報を生成する車内監視情報生成部１０３ｂと、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において異常が発生していないと判定されている場合、車内監視情報生成部１０３ｂが生成した車内監視情報を無人運転車両１の外部に送信する送信制御部１０４と、送信制御部１０４が車内監視情報を無人運転車両１の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値を推定するスループット値推定部１０５と、スループット値推定部１０５が推定したスループット値に基づいて、車内監視情報生成部１０３ｂが生成する車内監視情報の態様を決定する態様決定部１０６と、を備え、車内監視情報生成部１０３ｂは、態様決定部１０６が決定した態様に基づいて、車内監視情報を生成するようにした。
　このように構成することで、車内監視情報生成制御装置１００ｂは、車内監視情報を無人運転車両１の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値に応じた情報としつつ、乗員のプライバシーに配慮した車内監視を行うことができる。
実施の形態３．
　図１２を参照して実施の形態３について説明する。
　図１２は、実施の形態３に係る車内監視情報生成制御装置１００ｃが搭載された無人運転車両１の要部の一例を示すブロック図である。
　実施の形態３に係る車内監視情報生成制御装置１００ｃは、実施の形態２に係る車内監視情報生成制御装置１００ｂと比較して、実施の形態３に係る車内監視情報生成制御装置１００ｃにおけるスループット値推定部１０５ａの動作が、実施の形態２に係る車内監視情報生成制御装置１００ｂにおけるスループット値推定部１０５の動作と相違する。また、実施の形態３に係る車内監視情報生成制御装置１００ｃの構成は、実施の形態２に係る車内監視情報生成制御装置１００ｂの構成と比較して、位置情報取得部１０７及び他車両情報取得部１０８が追加されている。
　実施の形態３に係る車内監視情報生成制御装置１００ｃの構成において、実施の形態２に係る車内監視情報生成制御装置１００ｂと同様の構成については、同じ符号を付して重複した説明を省略する。すなわち、図８に記載した符号と同じ符号を付した図８の構成については、説明を省略する。
　車内監視情報生成制御装置１００ｃは、無人運転により走行する無人運転車両１に搭載されている。
　無人運転車両１は、車内監視情報生成制御装置１００ｃ、撮像装置１１、センサ１２、及び通信機器１３ｂを備える。
　車内監視情報生成制御装置１００ｃは、撮像装置１１から取得した画像に基づいて車内監視情報を生成し、センサ１２から取得した検知情報に基づいて判定される無人運転車両１の状態に応じて、車内監視情報を、無人運転車両１の外部に通信機器１３を介して送信する。
　車内監視情報生成制御装置１００ｃは、画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３ｂ、送信制御部１０４、スループット値推定部１０５ａ、態様決定部１０６、位置情報取得部１０７、及び他車両情報取得部１０８を備える。
　位置情報取得部１０７は、無人運転車両１が走行する位置を示す位置情報を取得する。より具体的には、例えば、位置情報取得部１０７は、無人運転により走行する無人運転車両１に搭載された自動運転システム（図示せず）から、無人運転車両１が走行する位置を示す位置情報を取得する。位置情報取得部１０７が、無人運転車両１が走行する位置を示す位置情報を取得する方法は、上述の方法に限らない。例えば、位置情報取得部１０７は、航法衛星からＧＰＳ信号等の航法信号を受信する航法信号受信機（図示せず）等から取得した航法信号に基づいて、無人運転車両１が走行する位置を示す位置情報を生成しても良い。
　他車両情報取得部１０８は、無人運転車両１が走行する位置から所定範囲内にある位置を走行している他車両（図示せず）に搭載された通信機器（図示せず）の電波状況又は通信状況を示す他車両情報を取得する。
　より具体的には、例えば、他車両情報取得部１０８は、位置情報取得部１０７が取得した無人運転車両１が走行する位置を示す位置情報を、通信機器１３ｂを介して、無人運転車両１の外部に設けられた遠隔監視装置又は遠隔監視システム等の外部装置又は外部システムに送信し、他車両情報取得部１０８は、通信機器１３ｂを介して、当該外部装置又は外部システムから無人運転車両１が走行する位置から所定範囲内にある位置を走行している他車両に搭載された通信機器の電波状況又は通信状況を示す他車両情報を取得する。
　無人運転車両１が走行する位置から所定範囲内にある位置とは、より具体的には、例えば、無人運転車両１が走行する位置を中心とする半径３００メートルの円で囲まれた領域内にある位置である。無人運転車両１が走行する位置から所定範囲内にある位置は、上述の地点に限定されるものではない。例えば、無人運転車両１が走行する位置から所定範囲内にある位置は、無人運転車両１が走行を予定する経路上の位置、且つ、無人運転車両１が走行する位置から所定範囲内にある位置であっても良い。
　他車両情報取得部１０８が他車両情報を取得する方法は、上述の方法に限定されるものではない。例えば、他車両情報取得部１０８は、周知の車車間通信技術により、他車両から他車両情報を取得しても良い。
　スループット値推定部１０５ａは、無人運転車両１における電波状況又は通信状況と、他車両情報取得部１０８が取得した他車両情報に含まれる他車両における電波状況又は通信状況と、に基づいて、スループット値を推定する。
　より具体的には、例えば、スループット値推定部１０５ａは、無人運転車両１における電波状況又は通信状況と、他車両における電波状況又は通信状況とを比較して、より悪い電波状況又は通信状況に基づいて、スループット値を推定する。
　スループット値推定部１０５ａが無人運転車両１における電波状況又は通信状況と、他車両における電波状況又は通信状況とに基づいて、スループット値を推定する方法は、上述の方法に限定されるものではない。例えば、無人運転車両１における電波状況又は通信状況と、他車両における電波状況又は通信状況とを、例えば、無人運転車両１と他車両との距離に基づいて、加重平均して求めた電波状況又は通信状況に基づいて、スループット値を推定しても良い。
　なお、実施の形態３に係る車内監視情報生成制御装置１００ｃにおける画像取得部１０１、異常判定部１０２、車内監視情報生成部１０３ｂ、送信制御部１０４、スループット値推定部１０５ａ、態様決定部１０６、位置情報取得部１０７、及び他車両情報取得部１０８の各機能は、実施の形態１において図２Ａ及び図２Ｂに一例を示したハードウェア構成におけるプロセッサ２０１及びメモリ２０２により実現されるものであっても良く、又は処理回路２０３により実現されるものであっても良い。
　図１３を参照して、実施の形態３に係る車内監視情報生成制御装置１００ｃの動作について説明する。
　図１３は、実施の形態３に係る車内監視情報生成制御装置１００ｃの処理の一例を説明するフローチャートである。
　まず、ステップＳＴ１３０１にて、画像取得部１０１は、上述のとおり、撮像装置１１から、無人運転車両１の中を撮影した画像を取得する。
　次に、ステップＳＴ１３０２にて、位置情報取得部１０７は、上述のとおり、無人運転車両１が走行する地点の位置情報を取得する。
　次に、ステップＳＴ１３０３にて、他車両情報取得部１０８は、上述のとおり、無人運転車両１が走行する位置における所定範囲内の位置を走行している他車両に搭載された通信機器の電波状況又は通信状況を示す他車両情報を取得する。
　次に、ステップＳＴ１３０４にて、スループット値推定部１０５ａは、上述のとおり、送信制御部１０４が車内監視情報を無人運転車両１の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値を推定する。
　次に、ステップＳＴ１３０５にて、態様決定部１０６は、上述のとおり、スループット値推定部１０５ａが推定したスループット値に基づいて、車内監視情報生成部１０３ｂが生成する車内監視情報の態様を決定する。
　次に、ステップＳＴ１３０６にて、車内監視情報生成部１０３ｂは、上述のとおり、車内監視情報生成部１０３ｂは、態様決定部１０６が決定した態様に基づいて、車内監視情報を生成する。
　次に、ステップＳＴ１３０７にて、異常判定部１０２は、上述のとおり、無人運転車両１において異常が発生しているか否かを判定する。
　ステップＳＴ１３０７において、異常判定部１０２が無人運転車両１において異常が発生していいないと判定した場合、ステップＳＴ１３０８にて、送信制御部１０４は、上述のとおり、車内監視情報生成部１０３ｂが生成した車内監視情報を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００ｃは、ステップＳＴ１３０８の処理の後、当該フローチャートの処理を終了し、ステップＳＴ１３０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　ステップＳＴ１３０７において、異常判定部１０２が無人運転車両１において異常が発生していると判定した場合、ステップＳＴ１３０９にて、送信制御部１０４は、上述のとおり、画像取得部１０１が取得した画像に基づく異常時監視画像を無人運転車両１の外部に送信する。車内監視情報生成制御装置１００ｃは、ステップＳＴ１３０９の処理の後、当該フローチャートの処理を終了し、ステップＳＴ１３０１の処理に戻って、当該フローチャートの処理を繰り返し実行する。
　なお、ステップＳＴ１３０１、ステップＳＴ１３０２、ステップＳＴ１３０４、及びステップＳＴ１３０７の処理は、図１３に示すフローチャートが実行されている間、バックグランド処理にて、適宜繰り返して実行されるようにしても良い。
　以上のように、車内監視情報生成制御装置１００ｃは、無人運転車両１の中を撮影した画像を取得する画像取得部１０１と、無人運転車両１において異常が発生しているか否かを判定する異常判定部１０２と、画像取得部１０１が取得した画像に基づいて、当該画像に写った無人運転車両１の中にいる乗員を特定し得ない車内監視情報を生成する車内監視情報生成部１０３ｂと、異常判定部１０２が判定した判定結果に基づいて、無人運転車両１において異常が発生していないと判定されている場合、車内監視情報生成部１０３ｂが生成した車内監視情報を無人運転車両１の外部に送信する送信制御部１０４と、送信制御部１０４が車内監視情報を無人運転車両１の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値を推定するスループット値推定部１０５ａと、スループット値推定部１０５ａが推定したスループット値に基づいて、車内監視情報生成部１０３ｂが生成する車内監視情報の態様を決定する態様決定部１０６と、無人運転車両１が走行する位置における所定範囲内の位置を走行している他車両に搭載された通信機器の電波状況又は通信状況を示す他車両情報を取得する他車両情報取得部１０８と、を備え、スループット値推定部１０５ａは、無人運転車両１における電波状況又は通信状況と、他車両情報取得部１０８が取得した他車両情報に含まれる他車両における電波状況又は通信状況と、に基づいて、スループット値を推定し、車内監視情報生成部１０３ｂは、態様決定部１０６が決定した態様に基づいて、車内監視情報を生成するようにした。
　このように構成することで、車内監視情報生成制御装置１００ｃは、車内監視情報を無人運転車両１の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値をより精度良く推定することができる。
　なお、この発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明に係る車内監視情報生成制御装置は無人運転車両に適用することができる。
　１　無人運転車両、１１　撮像装置、１２　センサ、１３，１３ａ，１３ｂ　通信機器、１００，１００ａ，１００ｂ，１００ｃ　車内監視情報生成制御装置、１０１　画像取得部、１０２　異常判定部、１０３，１０３ａ，１０３ｂ　車内監視情報生成部、１０４，１０４ａ　送信制御部、１０５，１０５ａ　スループット値推定部、１０６　態様決定部、１０７　位置情報取得部、１０８　他車両情報取得部、１３１，１３３　画像解析部、１３２　画像加工部、１３４　人物識別情報生成部、１３５　車内監視情報生成制御部、２０１　プロセッサ、２０２　メモリ、２０３　処理回路。

Claims (9)

  1. 　無人運転車両の中を撮影した画像を取得する画像取得部と、
    　前記無人運転車両において異常が発生しているか否かを判定する異常判定部と、
    　前記画像取得部が取得した前記画像に基づいて、当該画像に写った前記無人運転車両の中にいる乗員を特定し得ない車内監視情報を生成する車内監視情報生成部と、
    　前記異常判定部が判定した判定結果に基づいて、前記無人運転車両において異常が発生していないと判定されている場合、前記車内監視情報生成部が生成した前記車内監視情報を前記無人運転車両の外部に送信する送信制御部と、
    　を備えたこと
    　を特徴とする車内監視情報生成制御装置。
  2. 　前記送信制御部は、前記無人運転車両において異常が発生していると判定されている場合、前記画像に基づく異常時監視画像を前記無人運転車両の外部に送信すること
    　を特徴とする請求項１記載の車内監視情報生成制御装置。
  3. 　前記送信制御部が前記車内監視情報を前記無人運転車両の外部に送信する際の単位時間あたりのデータ転送量を示すスループット値を推定するスループット値推定部と、
    　前記スループット値推定部が推定した前記スループット値に基づいて、前記車内監視情報生成部が生成する前記車内監視情報の態様を決定する態様決定部と、
    　を備え、
    　前記車内監視情報生成部は、前記態様決定部が決定した態様に基づいて、前記車内監視情報を生成すること
    　を特徴とする請求項１記載の車内監視情報生成制御装置。
  4. 　前記スループット値推定部は、前記送信制御部が前記車内監視情報を前記無人運転車両の外部に送信する際に用いる通信機器の電波状況又は通信状況に基づいて、前記スループット値を推定すること
    　を特徴とする請求項３記載の車内監視情報生成制御装置。
  5. 　前記無人運転車両が走行している位置から所定範囲内にある位置を走行している他車両に搭載された前記通信機器の電波状況又は通信状況を示す他車両情報を取得する他車両情報取得部を備え、
    　前記スループット値推定部は、前記無人運転車両における電波状況又は通信状況と、前記他車両情報取得部が取得した前記他車両情報に含まれる前記他車両における電波状況又は通信状況と、に基づいて、前記スループット値を推定すること
    　を特徴とする請求項４記載の車内監視情報生成制御装置。
  6. 　前記態様決定部が前記スループット値に基づいて決定する前記車内監視情報の前記態様は、前記画像における前記画像に写った前記乗員の領域を変形した変形画像情報、当該領域の輪郭を抽出した輪郭画像情報、又は前記画像に写った前記乗員を識別した人物識別情報のいずれかであること
    　を特徴とする請求項３記載の車内監視情報生成制御装置。
  7. 　前記車内監視情報生成部は、前記画像における前記画像に写った前記乗員の領域を画像変形処理することにより、当該画像に写った前記乗員を特定し得ない前記車内監視情報を生成すること
    　を特徴とする請求項１記載の車内監視情報生成制御装置。
  8. 　前記車内監視情報生成部は、前記画像における前記画像に写った前記乗員の領域を輪郭抽出処理することにより、当該画像に写った前記乗員を特定し得ない前記車内監視情報を生成すること
    　を特徴とする請求項１記載の車内監視情報生成制御装置。
  9. 　画像取得部が、無人運転車両の中を撮影した画像を取得し、
    　異常判定部が、前記無人運転車両において異常が発生しているか否かを判定し、
    　車内監視情報生成部が、前記画像取得部により取得された前記画像に基づいて、当該画像に写った前記無人運転車両の中にいる乗員を特定し得ない車内監視情報を生成し、
    　送信制御部が、前記異常判定部により判定された判定結果に基づいて、前記無人運転車両において異常が発生していないと判定されている場合、前記車内監視情報生成部により生成された前記車内監視情報を前記無人運転車両の外部に送信すること
    　を特徴とする車内監視情報生成制御方法。
PCT/JP2018/034017 2018-09-13 2018-09-13 車内監視情報生成制御装置及び車内監視情報生成制御方法 WO2020054030A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/034017 WO2020054030A1 (ja) 2018-09-13 2018-09-13 車内監視情報生成制御装置及び車内監視情報生成制御方法
US17/269,070 US11854274B2 (en) 2018-09-13 2018-09-13 In-vehicle monitoring information generation control device and in-vehicle monitoring information generation control method
JP2020546632A JP6820133B2 (ja) 2018-09-13 2018-09-13 車内監視情報生成制御装置及び車内監視情報生成制御方法
DE112018007886.8T DE112018007886B4 (de) 2018-09-13 2018-09-13 Fahrzeuginnenüberwachung-Informationserzeugung-Steuervorrichtung und Fahrzeuginnenüberwachung-Informationserzeugung-Steuerverfahren
CN201880097218.XA CN112673405A (zh) 2018-09-13 2018-09-13 车内监视信息生成控制装置和车内监视信息生成控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034017 WO2020054030A1 (ja) 2018-09-13 2018-09-13 車内監視情報生成制御装置及び車内監視情報生成制御方法

Publications (1)

Publication Number Publication Date
WO2020054030A1 true WO2020054030A1 (ja) 2020-03-19

Family

ID=69777188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034017 WO2020054030A1 (ja) 2018-09-13 2018-09-13 車内監視情報生成制御装置及び車内監視情報生成制御方法

Country Status (5)

Country Link
US (1) US11854274B2 (ja)
JP (1) JP6820133B2 (ja)
CN (1) CN112673405A (ja)
DE (1) DE112018007886B4 (ja)
WO (1) WO2020054030A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178027U (ja) * 2012-06-08 2012-08-30 株式会社ソキエ セキュリティ機能付安否確認システム
JP2014017803A (ja) * 2012-06-15 2014-01-30 Casio Comput Co Ltd 撮像装置、携帯端末、撮像方法及びプログラム
JP2014216828A (ja) * 2013-04-25 2014-11-17 株式会社テスコムジャパン 監視カメラ
JP2018018457A (ja) * 2016-07-29 2018-02-01 パナソニックＩｐマネジメント株式会社 監視カメラ、見守り監視システム及び見守り監視方法
WO2018138983A1 (ja) * 2017-01-27 2018-08-02 株式会社Ｊｖｃケンウッド 記録装置、記録方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002033952A (ja) 2000-07-14 2002-01-31 Takeshi Takahashi 静止画カメラによる遠隔自動撮影とその無人運転を実現する方法
JP5529593B2 (ja) 2010-03-11 2014-06-25 セコム株式会社 画像監視装置
JP5467907B2 (ja) * 2010-03-25 2014-04-09 セコム株式会社 車載画像監視装置
EP2727328B8 (en) 2011-06-28 2020-02-26 NCR Corporation Image processing to prevent access to private information
JP2016196285A (ja) * 2015-04-03 2016-11-24 株式会社デンソー 走行制御装置及び走行制御方法
CN204801768U (zh) * 2015-05-25 2015-11-25 浙江商业职业技术学院 一种汽车驾驶员状态监测装置
JP6504364B2 (ja) * 2015-11-27 2019-04-24 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US9854529B2 (en) * 2015-12-03 2017-12-26 Google Llc Power sensitive wireless communication radio management
EP3913591A1 (en) * 2016-01-29 2021-11-24 KiwiSecurity Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
CN107200022B (zh) * 2016-03-15 2019-11-12 奥迪股份公司 驾驶辅助系统和方法
JP6833391B2 (ja) 2016-08-05 2021-02-24 株式会社東芝 車載通信機器、および該車載通信機器にサービスを提供するサービス提供システム、ならびにプログラム
JP2018120497A (ja) 2017-01-27 2018-08-02 株式会社Ｊｖｃケンウッド 記録装置、記録方法、及びプログラム
US11687493B1 (en) * 2022-02-28 2023-06-27 Rockwell Automation Technologies, Inc. Process recipe digital twin structuring

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178027U (ja) * 2012-06-08 2012-08-30 株式会社ソキエ セキュリティ機能付安否確認システム
JP2014017803A (ja) * 2012-06-15 2014-01-30 Casio Comput Co Ltd 撮像装置、携帯端末、撮像方法及びプログラム
JP2014216828A (ja) * 2013-04-25 2014-11-17 株式会社テスコムジャパン 監視カメラ
JP2018018457A (ja) * 2016-07-29 2018-02-01 パナソニックＩｐマネジメント株式会社 監視カメラ、見守り監視システム及び見守り監視方法
WO2018138983A1 (ja) * 2017-01-27 2018-08-02 株式会社Ｊｖｃケンウッド 記録装置、記録方法、及びプログラム

Also Published As

Publication number Publication date
JP6820133B2 (ja) 2021-01-27
US20210209384A1 (en) 2021-07-08
DE112018007886B4 (de) 2023-05-17
CN112673405A (zh) 2021-04-16
US11854274B2 (en) 2023-12-26
JPWO2020054030A1 (ja) 2021-02-15
DE112018007886T5 (de) 2021-04-22

Similar Documents

Publication Publication Date Title
US11295143B2 (en) Information processing apparatus, information processing method, and program
US11625856B2 (en) Localization systems and methods
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US9727793B2 (en) System and method for image based vehicle localization
US10880498B2 (en) Image processing apparatus and image processing method to improve quality of a low-quality image
CN109323708B (zh) 电子装置及其控制方法
US11288777B2 (en) Image processing device, image processing method, and program
US11030723B2 (en) Image processing apparatus, image processing method, and program
US11204604B2 (en) Remote driving managing apparatus and computer-readable storage medium
KR20200043391A (ko) 화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램
CN111627057B (zh) 一种距离测量方法、装置及服务器
US20200377114A1 (en) Information processing apparatus and information processing method
US10629076B2 (en) Determination of laterally remote parking spaces
US10279793B2 (en) Understanding driver awareness through brake behavior analysis
WO2020054030A1 (ja) 車内監視情報生成制御装置及び車内監視情報生成制御方法
JP7187784B2 (ja) 車両情報処理システム、管理装置、車両情報処理方法および車両情報処理プログラム
CN114677848B (zh) 感知预警系统、方法、装置及计算机程序产品
US20220094435A1 (en) Visible light communication apparatus, visible light communication method, and visible light communication program
JP7102242B2 (ja) 遠隔運転システム
US20220130024A1 (en) Image processing device, image processing method, and image processing system
US20210150229A1 (en) Image processing system, processing device, relay device, and recording medium storing program
CN115880763A (zh) 操作员接管预测
CN113167883A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18933261

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020546632

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18933261

Country of ref document: EP

Kind code of ref document: A1