WO2020241292A1 - 信号処理装置、信号処理方法、プログラム、及び、撮像装置 - Google Patents

信号処理装置、信号処理方法、プログラム、及び、撮像装置 Download PDF

Info

Publication number
WO2020241292A1
WO2020241292A1 PCT/JP2020/019373 JP2020019373W WO2020241292A1 WO 2020241292 A1 WO2020241292 A1 WO 2020241292A1 JP 2020019373 W JP2020019373 W JP 2020019373W WO 2020241292 A1 WO2020241292 A1 WO 2020241292A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
text information
vehicle
signal processing
abnormality
Prior art date
Application number
PCT/JP2020/019373
Other languages
English (en)
French (fr)
Inventor
星野　和弘
康之 加藤
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to JP2021522207A priority Critical patent/JP7367014B2/ja
Priority to US17/611,029 priority patent/US20220309848A1/en
Priority to DE112020002741.4T priority patent/DE112020002741T5/de
Priority to CN202080037215.4A priority patent/CN113841187A/zh
Publication of WO2020241292A1 publication Critical patent/WO2020241292A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems

Definitions

  • the present technology relates to a signal processing device, a signal processing method, a program, and an imaging device, and more particularly to a signal processing device, a signal processing method, a program, and an imaging device capable of promptly notifying an abnormality.
  • drive recorders and surveillance cameras record images of the accident site, they do not notify the police or hospitals of the occurrence or situation of the accident. Further, for example, it is conceivable to send the captured image to the police, a hospital, or the like, but it is necessary to analyze the image, and the occurrence of an accident or the situation is delayed.
  • This technology was made in view of such a situation, and makes it possible to promptly notify an abnormality such as an accident.
  • the signal processing device on one aspect of the present technology has a recognition unit that recognizes the content of the captured image captured by the imaging unit, and a text that generates text information including data expressing the recognized content of the captured image in characters. It includes an information generation unit and a transmission control unit that controls the transmission of the text information.
  • the signal processing method of one aspect of the present technology recognizes the content of the captured image captured by the imaging unit, generates text information including data expressing the recognized content of the captured image in characters, and generates the text information. Control the transmission of.
  • the program of one aspect of the present technology recognizes the content of the captured image captured by the imaging unit, generates text information including data expressing the recognized content of the captured image in characters, and transmits the text information. Let the computer execute the process of controlling the.
  • the content of the captured image captured by the imaging unit is recognized, text information including data representing the recognized content of the captured image in characters is generated, and the text information is transmitted. Be controlled.
  • FIG. 1 is a block diagram showing a configuration example of a schematic function of a vehicle control system 100, which is an example of a mobile control system to which the present technology can be applied.
  • the vehicle 10 provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as a own vehicle or a own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body. It includes a system system 110, a storage unit 111, and an automatic operation control unit 112.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. They are interconnected.
  • the communication network 121 is, for example, from an in-vehicle communication network or bus that conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without going through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the description of the communication network 121 shall be omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate with each other via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate with each other.
  • the input unit 101 includes a device used by the passenger to input various data, instructions, and the like.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device capable of inputting by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors and the like that acquire data used for processing of the vehicle control system 100, and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is equipped with a sensor or the like for detecting the rotation speed of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the own vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting the weather or the weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environmental sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the own vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices, servers, base stations, etc. outside the vehicle, transmits data supplied from each unit of the vehicle control system 100, and transmits the received data to the vehicle control system. It is supplied to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 wirelessly communicates with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Further, for example, the communication unit 103 uses USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface, registered trademark), or MHL (Mobile) via a connection terminal (and a cable if necessary) (not shown). Wired communication is performed with the in-vehicle device 104 by using High-definition Link) or the like.
  • the communication unit 103 is connected to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network or a network unique to a business operator) via a base station or an access point. Communicate. Further, for example, the communication unit 103 uses P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network or a network unique to a business operator
  • P2P Peer To Peer
  • a terminal for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal
  • the communication unit 103 includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Perform V2X communication such as communication. Further, for example, the communication unit 103 is provided with a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device owned by a passenger, an information device carried in or attached to the own vehicle, a navigation device for searching a route to an arbitrary destination, and the like.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data) and supplies it to the output unit 106 to supply the output unit 105.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image, a panoramic image, or the like, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision, contact, and entry into a danger zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision,
  • the output unit 106 is provided with a device capable of outputting visual information or auditory information to the passengers of the own vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a spectacle-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 displays visual information in the driver's field of view, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to the device having a normal display. It may be a display device.
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal and an error signal to each unit other than the drive system system 108 as necessary, and notifies the control state and abnormality of the drive system system 108.
  • the drive system system 108 includes various devices related to the drive system of the own vehicle.
  • the drive system system 108 includes a drive force generator for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle, and the like. It is equipped with a braking device that generates braking force, ABS (Antilock Brake System), ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies a control signal and an error signal to each unit other than the body system 110 as necessary, and notifies the control state and abnormality of the body system 110.
  • the body system 110 includes various body devices equipped on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, an airbag, a seat belt, and various lamps (for example, a head lamp, a back lamp, and a brake lamp). , Winker, fog lamp, etc.).
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 has map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • the automatic driving control unit 112 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues collision avoidance or impact mitigation of the own vehicle, follow-up running based on the inter-vehicle distance, vehicle speed maintenance running, collision warning of the own vehicle, lane deviation warning of the own vehicle, and the like. Collision control is performed for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including. Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation of the driver.
  • the automatic operation control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for controlling automatic operation.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the vehicle outside information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the vehicle control system 100. For example, the vehicle outside information detection unit 141 performs detection processing, recognition processing, tracking processing, and distance detection processing for an object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the vehicle outside information detection unit 141 performs detection processing of the environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
  • the vehicle outside information detection unit 141 outputs data indicating the result of the detection process to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. It is supplied to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the vehicle interior information detection unit 142 performs driver authentication processing and recognition processing, driver status detection processing, passenger detection processing, vehicle interior environment detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, alertness, concentration, fatigue, gaze direction, drunkenness, and the like.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the vehicle interior information detection unit 142 supplies data indicating the result of the detection process to the situational awareness unit 153 of the situational analysis unit 133, the emergency situation avoidance unit 171 of the motion control unit 135, and the like.
  • the vehicle state detection unit 143 performs the state detection process of the own vehicle based on the data or signals from each part of the vehicle control system 100.
  • the state of the own vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position and inclination, door lock state, airbag state, and externally.
  • the magnitude of the impact and the condition of other in-vehicle devices are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimation unit 132 estimates the position and posture of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the vehicle exterior information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Perform processing. In addition, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for self-position estimation, if necessary.
  • the map for self-position estimation is, for example, a highly accurate map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. Further, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary, and the map analysis unit 151 of various maps stored in the storage unit 111. Perform analysis processing and build a map containing information necessary for automatic driving processing.
  • the map analysis unit 151 applies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to.
  • the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of the signal around the own vehicle, the content of the traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 can be used for data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle condition detection unit 143, and the map analysis unit 151. Based on this, the situation recognition process related to the own vehicle is performed. For example, the situational awareness unit 153 performs recognition processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver of the own vehicle. In addition, the situational awareness unit 153 generates a local map (hereinafter, referred to as a situational awareness map) used for recognizing the situation around the own vehicle, if necessary.
  • the situational awareness map is, for example, an occupied grid map (OccupancyGridMap).
  • the status of the own vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the presence / absence and contents of an abnormality.
  • the surrounding conditions of the vehicle to be recognized include, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding animals (for example, speed, acceleration, moving direction, etc.), and the surrounding roads.
  • the composition and road surface condition, as well as the surrounding weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness, concentration, fatigue, eye movement, and driving operation.
  • the situational awareness unit 153 supplies data indicating the result of the recognition process (including a situational awareness map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situational awareness unit 153 stores the situational awareness map in the storage unit 111.
  • the situational awareness unit 154 performs situational awareness processing related to the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situational awareness unit 153.
  • the situation prediction unit 154 performs prediction processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver.
  • the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, the occurrence of an abnormality, the mileage, and the like.
  • the conditions around the vehicle to be predicted include, for example, the behavior of animals around the vehicle, changes in signal conditions, changes in the environment such as weather, and the like.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situational awareness unit 154 together with the data from the traffic rule recognition unit 152 and the situational awareness unit 153, provides data indicating the result of the prediction processing to the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the route planning unit 161 plans a route to the destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Further, for example, the route planning unit 161 appropriately changes the route based on the conditions of traffic congestion, accidents, traffic restrictions, construction, etc., and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely routes the route planned by the route planning unit 161 within the planned time based on the data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's actions to drive. For example, the action planning unit 162 plans starting, stopping, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), traveling lane, traveling speed, and overtaking. The action planning unit 162 supplies data indicating the planned behavior of the own vehicle to the motion planning unit 163 and the like.
  • the operation planning unit 163 is the operation of the own vehicle for realizing the action planned by the action planning unit 162 based on the data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan.
  • the motion planning unit 163 plans acceleration, deceleration, traveling track, and the like.
  • the motion planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the motion control unit 135.
  • the motion control unit 135 controls the motion of the own vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the outside information detection unit 141, the inside information detection unit 142, and the vehicle condition detection unit 143, and collides, contacts, enters a danger zone, a driver's abnormality, and a vehicle. Performs emergency detection processing such as abnormalities.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle to avoid an emergency situation such as a sudden stop or a sharp turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for realizing a planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the motion planning unit 163 or the emergency situation avoidance unit 171 and controls to indicate the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 2 shows a configuration example of the signal processing system 201 to which the present technology is applied.
  • the signal processing system 201 recognizes the content of the captured image, performs abnormality detection processing based on the recognition result and the like, and when an abnormality is detected, data expressing the recognition result and the like in characters (hereinafter referred to as character data). ) Is a system that sends text information to a predetermined notification destination.
  • character data includes, for example, data obtained by imaging data represented by characters, in addition to so-called text data.
  • FIG. 2 shows an example in which the signal processing system 201 is provided in the vehicle 10 and detects an abnormality (for example, an accident, a driver's abnormality, etc.) of at least one of the vehicle 10 and the surroundings of the vehicle 10. Shown.
  • an abnormality for example, an accident, a driver's abnormality, etc.
  • the signal processing system 201 includes an imaging unit 211, a receiving unit 212, a signal processing unit 213, a transmitting unit 214, and a storage unit 215.
  • the imaging unit 211 images, for example, at least one of the surroundings and the inside of the vehicle 10.
  • the image capturing unit 211 supplies image data including the captured image (hereinafter referred to as an captured image) to the signal processing unit 213 and stores the image data in the storage unit 215.
  • the imaging unit 211 constitutes, for example, a part of the data acquisition unit 102 of the vehicle control system 100.
  • the receiving unit 212 receives the data used for detecting the abnormality and generating the text information from the outside of the vehicle and from the inside of the vehicle via the communication network 121, and supplies the received data to the signal processing unit 213.
  • the receiving unit 212 constitutes, for example, a part of the communication unit 103 of the vehicle control system 100 and a part of the communication unit (not shown) of the automatic driving control unit 112.
  • the signal processing unit 213 performs abnormality detection processing based on the image data and the received data, and when an abnormality is detected, generates text information and supplies it to the transmission unit 214.
  • the signal processing unit 213 constitutes, for example, a part of the detection unit 131 and the situation recognition unit 153 of the automatic driving control unit 112 of the vehicle control system 100, and includes the recognition unit 221 and the text information generation unit 222, the abnormality detection unit 223, and ,
  • the transmission control unit 224 is provided.
  • the recognition unit 221 performs recognition processing for the contents of the captured image, and supplies recognition data indicating the recognition result to the text information generation unit 222 and the abnormality detection unit 223.
  • a recognition model constructed by machine learning such as deep learning is used for the recognition unit 221.
  • the text information generation unit 222 generates text information including the content of the captured image (recognition data) and the character data representing the content of the received data, and stores the text information in the storage unit 215.
  • the abnormality detection unit 223 performs an abnormality detection process based on the recognition data and the received data, and supplies data indicating the detection result to the transmission control unit 224.
  • the transmission control unit 224 controls the transmission of text information by the transmission unit 214 based on the detection result of the abnormality.
  • the transmission unit 214 transmits text information to a predetermined notification destination outside the vehicle under the control of the transmission control unit 224.
  • the communication method of the transmission unit 214 is not particularly limited.
  • the transmission unit 214 constitutes, for example, a part of the communication unit 103 of the vehicle control system 100.
  • the storage unit 215 constitutes a part of the storage unit 111 of the vehicle control system 100.
  • This process starts when the power of the signal processing system 201 is turned on, and ends when the power of the signal processing system 201 is turned off, for example.
  • step S1 the imaging unit 211 starts the imaging process. Specifically, the imaging unit 211 starts imaging, supplies image data including the obtained captured image to the recognition unit 221 and starts a process of storing the image in the storage unit 215.
  • the image data stored in the storage unit 215 is erased, for example, after a predetermined time (for example, after 1 hour).
  • step S2 the recognition unit 221 starts the recognition process. Specifically, the recognition unit 221 performs a process of recognizing the content of the captured image, and starts a process of supplying the recognition data indicating the recognition result to the text information generation unit 222 and the abnormality detection unit 223.
  • the content of the captured image to be recognized includes, for example, information on the abnormality to be detected by the abnormality detection unit 223 (for example, information used for detecting and analyzing the abnormality).
  • the captured image is an image of the surroundings of the vehicle 10
  • the characteristics and state of the surrounding vehicle the characteristics of the driver of the surrounding vehicle
  • the characteristics and position of the surrounding pedestrians including two-wheeled vehicles
  • the surrounding situation is the object of recognition.
  • the characteristics of surrounding vehicles include, for example, vehicle type, color, license plate contents, etc.
  • the state of surrounding vehicles includes, for example, speed, direction of travel, and the like.
  • the characteristics of the drivers and pedestrians of surrounding vehicles include, for example, gender, age, physique, hairstyle, skin color, clothing, wear (for example, hats, glasses, etc.).
  • personal information obtained by face recognition based on a captured image may be included.
  • the surrounding conditions include, for example, the weather, road surface conditions, the presence or absence of obstacles, the presence or absence of accidents, the situation of accidents, and the like.
  • the accident situation includes, for example, the type of accident (for example, a single accident, a property damage accident, a personal accident, etc.), the presence or absence of an injured person, the damage status of a vehicle, the presence or absence of a fire, and the like.
  • the captured image is an image of the inside of the vehicle 10
  • the characteristics and state of the driver of the vehicle 10 are to be recognized.
  • the characteristics of the driver of the vehicle 10 are, for example, the same as the characteristics of the drivers of the vehicles around the vehicle 10 described above.
  • the state of the driver of the vehicle 10 includes, for example, physical condition, arousal level (for example, whether or not he / she is dozing), degree of concentration, degree of fatigue, gaze direction, degree of drunkenness (for example, possibility of drinking alcohol), presence / absence of seat belt, etc. including.
  • the state of the driver is recognized by, for example, DMS (Driver Monitoring System) or the like.
  • the possibility of drinking is recognized by, for example, pupillary saccades.
  • step S3 the receiving unit 212 starts receiving the received data. Specifically, the receiving unit 212 starts a process of receiving received data from outside the vehicle and from inside the vehicle via the communication network 121 and supplying the received data to the text information generation unit 222 and the abnormality detection unit 223.
  • the received data includes, for example, information on an abnormality to be detected by the abnormality detection unit 223 (for example, information used for detecting and analyzing an abnormality).
  • the data received from outside the vehicle can be obtained by the communication unit 103 including the in-vehicle device 104, the device existing on the external network, the terminal and the base station existing in the vicinity of the vehicle 10, other vehicles, pedestrians, road incidental equipment, and home.
  • Etc. including data received from.
  • the received data from the inside of the vehicle is acquired by the above-mentioned data indicating the result of the detection processing of the outside information detection unit 141, the inside information detection unit 142, and the vehicle condition detection unit 143, and the microphone provided in the input unit 101. Includes audio data in the vehicle 10.
  • step S4 the abnormality detection unit 223 starts the abnormality detection process based on the recognition data and the received data.
  • the abnormality detection unit 223 performs an accident detection process involving the vehicle 10 based on the state of the airbag of the vehicle 10 and the magnitude of the impact from the outside on the vehicle 10. Further, for example, the abnormality detection unit 223 performs an accident detection process around the vehicle 10 based on information on the situation around the vehicle 10. The accident around the vehicle 10 does not necessarily have to involve the vehicle 10, and may include an accident between other vehicles. Further, for example, the abnormality detection unit 223 starts the driver's abnormality detection process based on the information regarding the driver's condition. Abnormalities of the driver to be detected include, for example, dozing, drunkenness, fainting, convulsions, bleeding and the like.
  • step S5 the text information generation unit 222 starts generating text information.
  • the text information generation unit 222 includes text including character data representing at least one of the contents of the captured image (recognition data), the contents of the received data from the outside of the vehicle, and the contents of the received data from the inside of the vehicle.
  • the process of generating information and storing it in the storage unit 215 is started.
  • text information is continuously generated without changing to the abnormality detection result.
  • the text information stored in the storage unit 215 is erased, for example, after a predetermined time (for example, after 1 minute).
  • the text information includes, for example, information about an abnormality to be detected by the abnormality detection unit 223.
  • the information about the abnormality includes, for example, information indicating the content of the abnormality, information indicating the risk of the abnormality, and information used for analyzing the abnormality.
  • the text information includes the characteristics and state of the vehicle around the vehicle 10 described above, the characteristics of the driver of the surrounding vehicle, the characteristics and position of the surrounding pedestrians, the surrounding conditions, and the vehicle 10. Includes character data representing the characteristics and condition of the driver.
  • the text information may include, for example, character data representing not only the vehicle that caused the accident but also information about other surrounding vehicles (for example, the contents of the license plate) when an accident occurs.
  • other surrounding vehicles for example, the contents of the license plate
  • the text information includes information about the vehicle 10, for example, character data representing the features and states of the vehicle 10.
  • the characteristics and conditions of the vehicle 10 are, for example, the same as the characteristics and conditions of the vehicles around the vehicle 10 described above.
  • the text information includes character data representing information on the situation of the accident when an accident occurs.
  • the accident situation includes, for example, the time of occurrence, the place of occurrence, the type of accident, the presence or absence of an injured person, the damage situation of a vehicle, the presence or absence of a fire, and the like.
  • the text information includes character data of the content (that is, the content of the voice) obtained by voice-recognizing the voice data in the vehicle 10.
  • step S6 the abnormality detection unit 223 determines whether or not an abnormality has been detected based on the result of the abnormality detection process.
  • the determination process of step S6 is repeatedly executed until it is determined that an abnormality has been detected. Then, if it is determined that an abnormality has been detected, the process proceeds to step S7.
  • step S7 the signal processing system 201 starts transmitting text information. Specifically, the abnormality detection unit 223 notifies the transmission control unit 224 of the occurrence of an abnormality.
  • the transmission control unit 224 reads the text information generated from a predetermined time before the abnormality is detected (for example, 10 seconds before) to the detection of the abnormality from the storage unit 215, and determines the text information via the transmission unit 214. Send to the notification destination. Further, the transmission control unit 224 starts a process of reading the latest text information generated by the text information generation unit 222 from the storage unit 215 and transmitting it to a predetermined notification destination.
  • the notification destination is, for example, a predetermined center. Then, for example, text information is transferred from the center to related places such as police, hospitals, insurance companies, and security companies as necessary, and notifications based on the text information are sent. In addition, for example, the notification destination may be set directly to each related place.
  • step S8 the abnormality detection unit 223 determines whether or not the abnormality has ended based on the result of the abnormality detection process.
  • the determination process in step S8 is repeatedly executed until it is determined that the abnormality has ended, and when it is determined that the abnormality has ended, the process proceeds to step S9.
  • step S9 the signal processing system 201 stops transmitting text information. Specifically, the abnormality detection unit 223 notifies the transmission control unit 224 of the end of the abnormality.
  • the transmission control unit 224 stops the transmission of text information.
  • the transmission control unit 224 may continue to transmit text information for a predetermined time after it is determined that the abnormality has ended.
  • step S6 After that, the process returns to step S6, and the processes after step S6 are executed.
  • text information including character data representing the information on the occurrence of the abnormality is transmitted to a predetermined notification destination.
  • the text information can be used without analyzing the image at the notification destination and the transfer destination.
  • the occurrence and situation of the abnormality can be quickly grasped, and the action for the abnormality can be executed. For example, if there is an injured person, the ambulance can immediately head to the accident site. For example, in the event of a fire, a fire engine can immediately head to the accident site. For example, if an accident vehicle escapes, the police can quickly track it down or crack down on it.
  • the generation of text information is started or stopped as needed.
  • FIG. 4 shows a configuration example of the signal processing system 301 to which the present technology is applied.
  • a signal processing system 301 is provided in the vehicle 10 to detect an abnormality (for example, an accident, a driver's abnormality, etc.) of at least one of the vehicle 10 and the surroundings of the vehicle 10. Is shown as an example of performing.
  • the parts corresponding to the signal processing system 201 of FIG. 2 are designated by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the signal processing system 301 is consistent in that it includes an imaging unit 211, a receiving unit 212, a transmitting unit 214, and a storage unit 215, and instead of the signal processing unit 213, the signal processing unit 311 The difference is that Compared with the signal processing unit 213, the signal processing unit 311 agrees that the recognition unit 221 is provided, and instead of the abnormality detection unit 223, the text information generation unit 222, and the transmission control unit 224, the abnormality detection unit 321 , A text information generation unit 322 and a transmission control unit 323 are provided.
  • the abnormality detection unit 321 Compared with the abnormality detection unit 321 of the signal processing system 201, the abnormality detection unit 321 agrees that the abnormality detection processing is performed based on the recognition data and the received data, and further performs the abnormality detection processing. Is different.
  • the abnormality detection unit 321 supplies data indicating the detection result to the text information generation unit 322.
  • the text information generation unit 322 generates text information based on the recognition data and the received data, similarly to the text information generation unit 222. However, unlike the text information generation unit 222, the text information generation unit 322 starts or stops the generation of text information based on the sign of abnormality and the detection result of the abnormality. The text information generation unit 322 supplies the generated text information to the transmission control unit 323 and stores it in the storage unit 215.
  • the transmission control unit 323 When the transmission control unit 323 receives the text information from the text information generation unit 322, the transmission control unit 323 transmits the acquired text information to a predetermined notification destination via the transmission unit 214.
  • This process starts when the power of the signal processing system 301 is turned on, and ends when the power of the signal processing system 301 is turned off, for example.
  • steps S101 to S103 the same processing as in steps S1 to S3 of FIG. 3 is executed.
  • step S104 the abnormality detection unit 321 starts the abnormality detection process. Specifically, the abnormality detection unit 321 starts the abnormality detection process in the same manner as the process of the abnormality detection unit 223 in step S7 of FIG. 3, and also starts the abnormality detection process.
  • Signs of abnormality to be detected include, for example, risk factors leading to an accident, actions for avoiding an accident, and the like.
  • Risk factors leading to an accident include, for example, dangerous driving of vehicle 10 and surrounding vehicles, dangerous pedestrians (including two-wheeled vehicles), driver abnormalities, and dangerous situations in the surroundings.
  • Dangerous driving of vehicle 10 and surrounding vehicles includes, for example, drowsy driving, drunk driving, no-light driving, inattentive driving, meandering driving, reverse driving, signal ignoring, fanning driving, overspeeding, slipping, sudden start, sudden acceleration, Includes sudden braking, sudden steering, etc.
  • Dangerous pedestrians are, for example, popping (potentially popping) pedestrians, pedestrians in the blind spot of the driver of vehicle 10, pedestrians ignoring traffic lights, pedestrians in the roadway, and meandering. Including pedestrians who are walking.
  • Surrounding dangerous situations include, for example, earthquakes, heavy fog, floods, storms, snowstorms, fires, rockfalls, obstacles, road collapses, road freezes, etc.
  • Actions for avoiding accidents include, for example, sudden braking, sudden steering, etc.
  • step S105 the abnormality detection unit 321 determines whether or not a sign of abnormality has been detected. If it is determined that no sign of abnormality has been detected, the process proceeds to step S106.
  • step S106 it is determined whether or not an abnormality has been detected, as in the process of step S6 of FIG. If it is determined that no abnormality has been detected, the process returns to step S105.
  • steps S105 and S106 are repeatedly executed until it is determined in step S105 that a sign of abnormality has been detected or that an abnormality has been detected in step S106.
  • step S105 determines whether a sign of abnormality is detected, that is, if the risk of occurrence of an abnormality increases. If it is determined in step S105 that a sign of abnormality is detected, that is, if the risk of occurrence of an abnormality increases, the process of step S106 is skipped and the process proceeds to step S107.
  • step S106 If it is determined in step S106 that an abnormality has been detected, the process proceeds to step S107. This is the case when an abnormality is suddenly detected without any sign of abnormality being detected.
  • step S107 the signal processing system 301 starts generating and transmitting text information. Specifically, the abnormality detection unit 321 notifies the text information generation unit 322 that a sign of abnormality or an abnormality has been detected.
  • the text information generation unit 322 starts generating text information in the same manner as the processing of the text information generation unit 222 in step S5 of FIG. In addition, the text information generation unit 322 supplies the generated text information to the transmission control unit 323 and starts a process of storing the generated text information in the storage unit 215.
  • the text information stored in the storage unit 215 is erased, for example, after a predetermined time (for example, after 1 minute).
  • the text information includes, for example, character data representing information on the sign of abnormality.
  • Information about the signs of anomalies includes, for example, the content of the signs of anomalies, as well as the time and place of occurrence of the signs of anomalies.
  • the transmission control unit 323 starts a process of transmitting the text information acquired from the text information generation unit 322 to a predetermined notification destination via the transmission unit 214.
  • step S108 the abnormality detection unit 321 determines whether or not there is a sign of abnormality or whether or not the abnormality has ended. This determination process is repeatedly executed until it is determined that there is a sign of abnormality or that the abnormality has ended. Then, when it is determined that the abnormality is a sign or the abnormality is completed, the process proceeds to step S109. This is because if a sign of anomaly is detected, then an anomaly is detected, and then no anomaly is detected, then a sign of anomaly is detected and then no anomaly is detected and no sign of anomaly is detected. This includes the case where the abnormality is not detected after the abnormality is detected without detecting the sign of the abnormality.
  • step S109 the signal processing system 301 stops the generation and transmission of text information. Specifically, the abnormality detection unit 321 notifies the text information generation unit 322 that the abnormality sign or the abnormality has ended.
  • the text information generation unit 322 stops the generation of text information.
  • the transmission control unit 323 stops the process of transmitting text information.
  • the text information generation unit 322 and the transmission control unit 323 may continue to generate and transmit the text information for a predetermined time after the sign of the abnormality or the determination that the abnormality has ended is determined.
  • step S105 After that, the process returns to step S105, and the processes after step S105 are executed.
  • the processing of the signal processing system 301 can be reduced.
  • the signal processing system 201 and the signal processing system 301 may be composed of, for example, one semiconductor chip or a plurality of semiconductor chips.
  • the image pickup unit 211 of the signal processing system 201 may be provided in the image sensor, and the other parts may be provided in another semiconductor chip (for example, a semiconductor chip for ADAS).
  • a part (for example, recognition unit 221) or all of the image pickup unit 211 and the signal processing unit 213 are provided in the image sensor, and the other parts are provided in another semiconductor chip (for example, a semiconductor chip for ADAS).
  • the signal processing system 201 may be configured by one image sensor.
  • the image pickup unit 211 of the signal processing system 301 may be provided in the image sensor, and the other parts may be provided in another semiconductor chip (for example, a semiconductor chip for ADAS).
  • a part (for example, recognition unit 221) or all of the image pickup unit 211 and the signal processing unit 311 are provided in the image sensor, and the other parts are provided in another semiconductor chip (for example, a semiconductor chip for ADAS).
  • the signal processing system 301 may be configured by one image sensor.
  • the signal processing system 201 and the signal processing system 301 may be configured by one device, or may be configured by a plurality of devices having different housings.
  • the signal processing system 201 may be configured by one imaging device.
  • the image pickup unit 211 of the signal processing system 201 may be provided in the image pickup device, and the other parts may be provided in the ECU (Electronic Control Unit) for ADAS of the vehicle.
  • ECU Electronic Control Unit
  • the signal processing system 301 may be configured by one imaging device.
  • the image pickup unit 211 of the signal processing system 301 may be provided in the image pickup device, and the other parts may be provided in the ECU for ADAS of the vehicle.
  • the generation of text information is started, and when the sign of abnormality and the abnormality are completed, the text The generation of information may be stopped.
  • the transmission of text information may be started.
  • the text information generated from a predetermined time before the abnormality is detected until the abnormality is detected may be transmitted.
  • the transmission of the text information may be stopped regardless of whether or not the abnormality has ended.
  • the vehicle 10 when the vehicle 10 cannot transmit text information to the notification destination due to a failure or the like, if communication with surrounding vehicles is possible by short-range communication, the text information is transmitted to surrounding vehicles.
  • a surrounding vehicle may act as a proxy for transmission to the notification destination.
  • the signal processing system 201 and the signal processing system 301 may be installed in a fixed place and used for monitoring an abnormality such as a traffic accident in a predetermined monitoring area.
  • a traffic accident for example, an intersection, a trunk road, a railroad crossing, etc. are assumed.
  • the text information includes, for example, character data representing information regarding the status of the monitoring area.
  • Information on the status of the monitoring area includes, for example, vehicles, drivers, pedestrians, weather, road surface conditions, obstacles, accident occurrence, accident status, and voice data in the monitoring area. Includes voice-recognized content, etc.
  • the signal processing system 201 and the signal processing system 301 may be provided on a moving body other than the vehicle and used for notifying various abnormalities of the moving body.
  • a moving body for example, a motorcycle, a bicycle, a personal mobility, an airplane, a ship, a construction machine, an agricultural machine (tractor), or the like is assumed.
  • a moving body such as a drone or a robot that is remotely operated (operated) without being boarded by a user is also included.
  • the abnormality to be notified for example, an accident, a fall, destruction, a failure, etc. are assumed.
  • the text information is, for example, character data representing information on a moving body, a moving body driver (when a driver exists), and an abnormality (for example, an accident), or voice data in the moving body. Includes character data representing the content of voice recognition. Further, when an accident involving a moving object occurs and an accident partner exists, the text information includes, for example, character data representing information about the accident partner.
  • the signal processing system 201 and the signal processing system 301 may be provided in a predetermined monitoring area and used for crime prevention, disaster prevention, and the like.
  • various facilities for example, stores, companies, schools, factories, stations, airports, warehouses, etc.
  • premises for example, streets, parking lots, residences, and natural disasters will occur. Places, etc. are assumed.
  • the abnormality to be notified for example, intrusion of a suspicious person, theft, destruction, suspicious behavior, fire, natural disaster (for example, flood, tsunami, eruption, etc.) are assumed.
  • the text information includes, for example, character data representing information regarding the status of the monitoring area.
  • the information regarding the status of the monitoring area includes, for example, a person, an object, the weather, the presence or absence of an abnormality, the status of the abnormality, the content of voice recognition of the voice data in the monitoring area, and the like.
  • the content of the text information may be changed depending on the situation.
  • the text information may be transmitted in a plurality of times.
  • the above-described processing may be performed using only the image data without using the received data.
  • the text information can be used, for example, in a dynamic map used for automatic driving.
  • Dynamic maps include, for example, static information with little time change such as road surface, lane, structure, quasi-static information such as management traffic regulation schedule, road construction schedule, quasi-dynamic information such as accidents and traffic jams, and surroundings. Includes dynamic information such as vehicle and signal information. Then, the text information is used for updating the quasi-dynamic information at, for example, the center of the notification destination.
  • FIG. 6 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 1007 includes a display, a speaker, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads and executes the program recorded in the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004, as described above. A series of processing is performed.
  • the program executed by the computer 1000 can be recorded and provided on the removable media 1011 as a package media or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable media 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a recognition unit that recognizes the contents of the captured image captured by the image pickup unit, A text information generation unit that generates text information including data representing the recognized contents of the captured image in characters, and a text information generation unit.
  • a signal processing device including a transmission control unit that controls the transmission of the text information.
  • the signal processing device is provided in the vehicle.
  • the information regarding the abnormality includes the characteristics of other vehicles around the vehicle, the condition of the other vehicle, the characteristics of the driver of the other vehicle, the situation of the accident, the characteristics of the vehicle, the condition of the vehicle, and the vehicle.
  • the signal processing device according to (3) above which includes at least one of the characteristics of the driver and the state of the driver of the vehicle.
  • the signal processing device according to any one of (1) to (5), wherein the transmission control unit controls transmission of the text information based on the detection result of the abnormality.
  • the signal processing device wherein the transmission control unit starts transmitting the text information when the sign of the abnormality is detected.
  • the text information includes data expressing information regarding the signs of the abnormality in characters.
  • the signal processing device is provided in the vehicle.
  • the signal processing device according to (10) above, wherein the sign of abnormality includes at least one of a risk factor for an accident of the vehicle and an operation for the vehicle to avoid an accident.
  • the text information includes data expressing information related to the abnormality in characters.
  • the signal processing device according to any one of (6) to (13), wherein the text information further includes data representing the contents of the received data in characters.
  • the abnormality detection unit further performs the abnormality detection process based on the received data.
  • the received data includes voice data.
  • the signal processing device according to (14) or (15), wherein the text information includes data representing the content of voice recognition of the voice data in characters.
  • the imaging unit captures an image of a predetermined monitoring area.
  • the signal processing device according to (1) above, wherein the text information includes data expressing information regarding the status of the monitoring area in characters.
  • the signal processing device according to any one of (1) to (17), further comprising the imaging unit.
  • the signal processing device further including an image sensor including the image pickup unit and the recognition unit.
  • (20) Recognizes the content of the captured image captured by the imaging unit and Generates text information including data representing the recognized contents of the captured image in characters.
  • a signal processing method that controls the transmission of the text information.
  • (21) Recognizes the content of the captured image captured by the imaging unit and Generates text information including data representing the recognized contents of the captured image in characters.
  • Imaging unit and A recognition unit that recognizes the contents of the captured image captured by the imaging unit, and A text information generation unit that generates text information including data representing the recognized contents of the captured image in characters, and a text information generation unit.
  • An imaging device including a transmission control unit that controls transmission of the text information.
  • 10 vehicles 100 vehicle control system, 101 input unit, 102 data acquisition unit, 103 communication unit, 141 external information detection unit, 142 in-vehicle information detection unit, 143 vehicle condition detection unit, 153 status recognition unit, 201 signal processing system, 211 Imaging unit, 212 receiving unit, 213 signal processing unit, 214 transmission unit, 221 recognition unit, 222 text information generation unit, 223 abnormality detection unit, 224 transmission control unit, 301 signal processing system, 311 signal processing unit, 321 abnormality detection unit , 322 text information generation unit, 323 transmission control unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術は、事故等の異常を迅速に通知することができるようにする信号処理装置、信号処理方法、プログラム、及び、撮像装置に関する。 信号処理装置は、撮像部により撮像された撮像画像の内容を認識する認識部と、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、前記テキスト情報の送信を制御する送信制御部とを備える。本技術は、例えば、車両の異常を通知するシステムに適用することができる。

Description

信号処理装置、信号処理方法、プログラム、及び、撮像装置
　本技術は、信号処理装置、信号処理方法、プログラム、及び、撮像装置に関し、特に、異常を迅速に通知できるようにした信号処理装置、信号処理方法、プログラム、及び、撮像装置に関する。
　近年、ドライブレコーダや監視カメラにより事故現場の状況が撮影及び記録され、記録された画像が事故原因の解析等に用いられている。
　また、従来、画像内の物体を含む領域を矩形枠で表示し、当該領域が指定された場合、当該物体の特徴点データを抽出し、特徴点データに基づいて情報データベースの検索を行い、取得した当該物体の関連情報を表示することが提案されている（例えば、特許文献１参照）。
特開２０１７－９０２２０号公報
　しかしながら、ドライブレコーダや監視カメラでは、事故現場の画像が記録されるものの、事故の発生や状況の警察や病院等への通知は行われない。また、例えば、撮影した画像を警察や病院等に送信することが考えられるが、画像の解析が必要になり、事故の発生や状況が伝わるのが遅れてしまう。
　これに対して、特許文献１に記載の発明では、事故の発生や状況を通知することは検討されていない。
　本技術は、このような状況に鑑みてなされたものであり、事故等の異常を迅速に通知できるようにするものである。
　本技術の一側面の信号処理装置は、撮像部により撮像された撮像画像の内容を認識する認識部と、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、前記テキスト情報の送信を制御する送信制御部とを備える。
　本技術の一側面の信号処理方法は、撮像部により撮像された撮像画像の内容を認識し、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、前記テキスト情報の送信を制御する。
　本技術の一側面のプログラムは、撮像部により撮像された撮像画像の内容を認識し、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、前記テキスト情報の送信を制御する処理を行う処理をコンピュータに実行させる。
　本技術の一側面においては、撮像部により撮像された撮像画像の内容が認識され、認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報が生成され、前記テキスト情報の送信が制御される。
本技術を適用した車両制御システムの構成例を示すブロック図である。 信号処理システムの第１の実施の形態を示すブロック図である。 異常通知処理の第１の実施の形態を説明するためのフローチャートである。 信号処理システムの第２の実施の形態を示すブロック図である。 異常通知処理の第２の実施の形態を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．車両制御システムの構成例
　２．第１の実施の形態
　３．第２の実施の形態
　４．変形例
　５．その他
　＜＜１．車両制御システムの構成例＞＞
　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両１０を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号及びエラー信号を供給し、駆動系システム１０８の制御状態及び異常の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号及びエラー信号を供給し、ボディ系システム１１０の制御状態及び異常の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、エアバッグ、シートベルト、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、エアバッグの状態、外部からの衝撃の大きさ、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　＜＜２．第１の実施の形態＞＞
　次に、図２及び図３を参照して、本技術の第１の実施の形態について説明する。
　　＜信号処理システム２０１の構成例＞
　図２は、本技術を適用した信号処理システム２０１の構成例を示している。
　信号処理システム２０１は、撮像した画像の内容を認識し、認識結果等に基づいて異常の検出処理を行い、異常を検出した場合、認識結果等を文字で表したデータ（以下、文字データと称する）を含むテキスト情報を所定の通知先に送信するシステムである。
　なお、文字データは、いわゆるテキストデータ以外にも、例えば、文字により表されるデータを画像化したデータ等も含む。
　また、図２は、信号処理システム２０１が、車両１０に設けられ、車両１０及び車両１０の周囲の少なくとも一方の異常（例えば、事故、運転者の異常等）の検出処理を行う場合の例を示している。
　信号処理システム２０１は、撮像部２１１、受信部２１２、信号処理部２１３、送信部２１４、及び、記憶部２１５を備える。
　撮像部２１１は、例えば、車両１０の周囲及び内部のうち少なくとも一方の撮像を行う。撮像部２１１は、撮像した画像（以下、撮像画像と称する）を含む画像データを信号処理部２１３に供給したり、記憶部２１５に記憶させたりする。撮像部２１１は、例えば、車両制御システム１００のデータ取得部１０２の一部を構成する。
　受信部２１２は、異常の検出及びテキスト情報の生成に用いるデータを、車外、及び、通信ネットワーク１２１を介して車内から受信し、受信データを信号処理部２１３に供給する。受信部２１２は、例えば、車両制御システム１００の通信部１０３の一部、及び、自動運転制御部１１２の図示せぬ通信部の一部を構成する。
　信号処理部２１３は、画像データ及び受信データに基づいて、異常の検出処理を行い、異常を検出した場合、テキスト情報を生成し、送信部２１４に供給する。信号処理部２１３は、例えば、車両制御システム１００の自動運転制御部１１２の検出部１３１及び状況認識部１５３の一部を構成し、認識部２２１、テキスト情報生成部２２２、異常検出部２２３、及び、送信制御部２２４を備える。
　認識部２２１は、撮像画像の内容の認識処理を行い、認識結果を示す認識データをテキスト情報生成部２２２及び異常検出部２２３に供給する。認識部２２１には、例えば、ディープラーニング等の機械学習により構築される認識モデルが用いられる。
　テキスト情報生成部２２２は、撮像画像（認識データ）の内容及び受信データの内容を表す文字データを含むテキスト情報を生成し、記憶部２１５に記憶させる。
　異常検出部２２３は、認識データ及び受信データに基づいて、異常の検出処理を行い、検出結果を示すデータを送信制御部２２４に供給する。
　送信制御部２２４は、異常の検出結果に基づいて、送信部２１４によるテキスト情報の送信を制御する。
　送信部２１４は、送信制御部２２４の制御の下に、車外の所定の通知先にテキスト情報を送信する。なお、送信部２１４の通信方法は、特に限定されない。送信部２１４は、例えば、車両制御システム１００の通信部１０３の一部を構成する。
　記憶部２１５は、車両制御システム１００の記憶部１１１の一部を構成する。
　　＜異常通知処理＞
　次に、図３のフローチャートを参照して、信号処理システム２０１により実行される異常通知処理について説明する。
　この処理は、例えば、信号処理システム２０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ１において、撮像部２１１は、撮像処理を開始する。具体的には、撮像部２１１は、撮像を開始し、得られた撮像画像を含む画像データを認識部２２１に供給するとともに、記憶部２１５に記憶させる処理を開始する。なお、記憶部２１５に記憶された画像データは、例えば、所定の時間後（例えば、１時間後）に消去される。
　ステップＳ２において、認識部２２１は、認識処理を開始する。具体的には、認識部２２１は、撮像画像の内容の認識処理を行い、認識結果を示す認識データをテキスト情報生成部２２２及び異常検出部２２３に供給する処理を開始する。
　認識対象となる撮像画像の内容は、例えば、異常検出部２２３の検出対象となる異常に関する情報（例えば、異常の検出及び解析に用いられる情報）を含む。
　例えば、撮像画像が車両１０の周囲を撮像したものである場合、周囲の車両の特徴及び状態、周囲の車両の運転者の特徴、周囲の歩行者（二輪車を含む）の特徴及び位置、並びに、周囲の状況等が認識対象となる。
　周囲の車両の特徴は、例えば、車種、色、ナンバープレートの内容等を含む。
　周囲の車両の状態は、例えば、速度、進行方向等を含む。
　周囲の車両の運転者及び歩行者の特徴は、例えば、性別、年齢、体格、髪型、肌の色、服装、装着物（例えば、帽子、メガネ等）等を含む。なお、例えば、撮像画像に基づく顔認識等により得られた個人情報が含まれてもよい。
　周囲の状況は、例えば、天候、路面の状態、障害物の有無、事故の発生の有無、事故の状況等を含む。事故の状況は、例えば、事故の種類（例えば、単独事故、物損事故、対人事故等）、けが人の有無、車両の破損状況、火災の発生の有無等を含む。
　また、例えば、撮像画像が車両１０の内部を撮像したものである場合、車両１０の運転者の特徴及び状態等が認識対象となる。
　車両１０の運転者の特徴は、例えば、上述した車両１０の周囲の車両の運転者の特徴と同様とされる。
　車両１０の運転者の状態は、例えば、体調、覚醒度（例えば、居眠りの有無）、集中度、疲労度、視線方向、酩酊度（例えば、飲酒の可能性）、シートベルトの装着の有無等を含む。なお、運転者の状態は、例えばＤＭＳ（Driver Monitoring System）等により認識される。飲酒の可能性は、例えば瞳孔サッカード等により認識される。
　ステップＳ３において、受信部２１２は、受信データの受信を開始する。具体的には、受信部２１２は、車外、及び、通信ネットワーク１２１を介して車内から受信データを受信し、テキスト情報生成部２２２及び異常検出部２２３に供給する処理を開始する。
　受信データは、例えば、異常検出部２２３の検出対象となる異常に関する情報（例えば、異常の検出及び解析に用いられる情報）を含む。例えば、車外からの受信データは、通信部１０３が車内機器１０４、外部ネットワーク上に存在する機器、車両１０の近傍に存在する端末及び基地局、他の車両、歩行者、道路の付帯設備、自宅等から受信したデータを含む。例えば、車内からの受信データは、上述した車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出処理の結果を示すデータ、並びに、入力部１０１が備えるマイクロフォンにより取得された車両１０内の音声データを含む。
　ステップＳ４において、異常検出部２２３は、認識データ及び受信データに基づいて、異常の検出処理を開始する。
　例えば、異常検出部２２３は、車両１０のエアバッグの状態、及び、車両１０に対する外部からの衝撃の大きさ等に基づいて、車両１０が関わる事故の検出処理を行う。また、例えば、異常検出部２２３は、車両１０の周囲の状況に関する情報に基づいて、車両１０の周囲における事故の検出処理を行う。なお、車両１０の周囲における事故は、必ずしも、車両１０が関わっていなくてもよく、他車同士の事故を含んでいてもよい。さらに、例えば、異常検出部２２３は、運転者の状態に関する情報に基づいて、運転者の異常の検出処理を開始する。検出対象となる運転者の異常は、例えば、居眠り、酩酊状態、失神、痙攣、出血等を含む。
　ステップＳ５において、テキスト情報生成部２２２は、テキスト情報の生成を開始する。具体的には、テキスト情報生成部２２２は、撮像画像（認識データ）の内容、車外からの受信データの内容、及び、車内からの受信データの内容のうち少なくとも１つを表す文字データを含むテキスト情報を生成し、記憶部２１５に記憶させる処理を開始する。これにより、異常の検出結果に変わらず、テキスト情報が継続して生成される。なお、記憶部２１５に記憶されたテキスト情報は、例えば、所定の時間後（例えば、１分後）に消去される。
　テキスト情報は、例えば、異常検出部２２３の検出対象となる異常に関する情報を含む。
　異常に関する情報は、例えば、異常の内容を示す情報、異常の危険性を示す情報、及び、異常の解析に用いられる情報を含む。
　具体的には、例えば、テキスト情報は、上述した車両１０の周囲の車両の特徴及び状態、周囲の車両の運転者の特徴、周囲の歩行者の特徴及び位置、周囲の状況、並びに、車両１０の運転者の特徴及び状態を表す文字データを含む。
　なお、テキスト情報は、例えば、事故が発生した場合に、事故を起こした車両だけでなく、それ以外の周囲の車両に関する情報（例えば、ナンバープレートの内容）を表す文字データを含んでもよい。これにより、例えば、後で周囲の車両の運転者等から事故の目撃情報を収集することが可能になる。
　例えば、テキスト情報は、車両１０に関する情報、例えば、車両１０の特徴及び状態を表す文字データを含む。車両１０の特徴及び状態は、例えば、上述した車両１０の周囲の車両の特徴及び状態と同様とされる。
　例えば、テキスト情報は、事故が発生した場合に、事故の状況に関する情報を表す文字データを含む。事故の状況は、例えば、発生時刻、発生場所、事故の種類、けが人の有無、車両の破損状況、火災の発生の有無等を含む。
　例えば、テキスト情報は、車両１０内の音声データを音声認識した内容（すなわち、音声の内容）の文字データを含む。
　ステップＳ６において、異常検出部２２３は、異常の検出処理の結果に基づいて、異常を検出したか否かを判定する。ステップＳ６の判定処理は、異常を検出したと判定されるまで繰り返し実行される。そして、異常を検出したと判定された場合、処理はステップＳ７に進む。
　ステップＳ７において、信号処理システム２０１は、テキスト情報の送信を開始する。具体的には、異常検出部２２３は、異常の発生を送信制御部２２４に通知する。
　送信制御部２２４は、異常が検出される所定の時間前（例えば、１０秒前）から異常が検出されるまでに生成されたテキスト情報を記憶部２１５から読み出し、送信部２１４を介して所定の通知先に送信する。また、送信制御部２２４は、テキスト情報生成部２２２により生成された最新のテキスト情報を記憶部２１５から読み出して、所定の通知先に送信する処理を開始する。
　通知先は、例えば、所定のセンタとされる。そして、例えば、センタから警察、病院、保険会社、警備会社等の関係各所に対して、必要に応じてテキスト情報が転送されたり、テキスト情報に基づく通知が行われたりする。なお、例えば、通知先を直接関係各所に設定するようにしてもよい。
　ステップＳ８において、異常検出部２２３は、異常の検出処理の結果に基づいて、異常が終了したか否かを判定する。ステップＳ８の判定処理は、異常が終了したと判定されるまで、繰り返し実行され、異常が終了したと判定された場合、処理はステップＳ９に進む。
　ステップＳ９において、信号処理システム２０１は、テキスト情報の送信を停止する。具体的には、異常検出部２２３は、異常の終了を送信制御部２２４に通知する。
　送信制御部２２４は、テキスト情報の送信を停止する。
　なお、例えば、送信制御部２２４は、異常が終了したと判定されてから所定の時間の間、テキスト情報の送信を継続するようにしてもよい。
　その後、処理はステップＳ６に戻り、ステップＳ６以降の処理が実行される。
　以上のようにして、事故や運転者の異常等が発生した場合、発生した異常に関する情報を表す文字データを含むテキスト情報が所定の通知先に送信される。
　これにより、通知先、及び、その転送先において画像の解析等を行うことなく、テキスト情報を利用することができる。その結果、迅速に異常の発生や状況が把握され、異常に対する行動が実行されるようになる。例えば、けが人がいる場合、救急車がすぐに事故現場に向かうことができる。例えば、火災が発生している場合、消防車がすぐに事故現場に向かうことができる。例えば、事故車が逃走した場合、迅速に警察が追跡したり、取り締まりを行ったりすることができる。
　＜＜３．第２の実施の形態＞＞
　次に、図４及び図５を参照して、本技術の第２の実施の形態について説明する。
　第２の実施の形態では、必要に応じてテキスト情報の生成が開始されたり、停止されたりする。
　　＜信号処理システム３０１の構成例＞
　図４は、本技術を適用した信号処理システム３０１の構成例を示している。なお、図４は、図２と同様に、信号処理システム３０１が、車両１０に設けられ、車両１０及び車両１０の周囲の少なくとも一方の異常（例えば、事故、運転者の異常等）の検出処理を行う場合の例を示している。また、図中、図２の信号処理システム２０１と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
　信号処理システム３０１は、信号処理システム２０１と比較して、撮像部２１１、受信部２１２、送信部２１４、及び、記憶部２１５を備える点で一致し、信号処理部２１３の代わりに信号処理部３１１を備える点が異なる。信号処理部３１１は、信号処理部２１３と比較して、認識部２２１を備える点で一致し、異常検出部２２３、テキスト情報生成部２２２、及び、送信制御部２２４の代わりに、異常検出部３２１、テキスト情報生成部３２２、及び、送信制御部３２３を備える点が異なる。
　異常検出部３２１は、信号処理システム２０１の異常検出部３２１と比較して、認識データ及び受信データに基づいて、異常の検出処理を行う点で一致し、さらに異常の兆候の検出処理を行う点が異なる。異常検出部３２１は、検出結果を示すデータをテキスト情報生成部３２２に供給する。
　テキスト情報生成部３２２は、テキスト情報生成部２２２と同様に、認識データ及び受信データに基づいて、テキスト情報を生成する。ただし、テキスト情報生成部３２２は、テキスト情報生成部２２２と異なり、異常の兆候及び異常の検出結果に基づいて、テキスト情報の生成を開始したり停止したりする。テキスト情報生成部３２２は、生成したテキスト情報を送信制御部３２３に供給するとともに、記憶部２１５に記憶させる。
　送信制御部３２３は、テキスト情報生成部３２２からテキスト情報を所得した場合、送信部２１４を介して、取得したテキスト情報を所定の通知先に送信する。
　　＜異常通知処理＞
　次に、図５のフローチャートを参照して、信号処理システム３０１により実行される異常通知処理について説明する。
　この処理は、例えば、信号処理システム３０１の電源がオンされたとき開始され、オフされたとき終了する。
　ステップＳ１０１乃至ステップＳ１０３において、図３のステップＳ１乃至ステップＳ３と同様の処理が実行される。
　ステップＳ１０４において、異常検出部３２１は、異常の検出処理を開始する。具体的には、異常検出部３２１は、図３のステップＳ７の異常検出部２２３の処理と同様に異常の検出処理を開始するとともに、異常の兆候の検出処理も開始する。
　検出対象となる異常の兆候は、例えば、事故につながる危険要因、及び、事故を回避するための動作等を含む。事故につながる危険要因は、例えば、車両１０及び周囲の車両の危険運転、危険な歩行者（二輪車を含む）、運転者の異常、及び、周囲の危険な状況を含む。
　車両１０及び周囲の車両の危険運転は、例えば、居眠り運転、酒酔い運転、無灯火運転、脇見運転、蛇行運転、逆走、信号無視、煽り運転、スピード超過、スリップ、急発進、急加速、急ブレーキ、急ハンドル等を含む。
　危険な歩行者は、例えば、飛び出している（飛び出す可能性のある）歩行者、車両１０の運転者の死角にいる歩行者、信号無視をしている歩行者、車道内にいる歩行者、蛇行している歩行者等を含む。
　周囲の危険な状況は、例えば、地震、濃霧、洪水、暴風、吹雪、火災、落石、障害物、道路の陥没、道路の凍結等を含む。
　事故を回避するための動作は、例えば、急ブレーキ、急ハンドル等を含む。
　ステップＳ１０５において、異常検出部３２１は、異常の兆候を検出したか否かを判定する。異常の兆候を検出していないと判定された場合、処理はステップＳ１０６に進む。
　ステップＳ１０６において、図３のステップＳ６の処理と同様に、異常を検出したか否かが判定される。異常を検出していないと判定された場合、処理はステップＳ１０５に戻る。
　その後、ステップＳ１０５において、異常の兆候が検出されたと判定されるか、ステップＳ１０６において、異常が検出されたと判定されるまで、ステップＳ１０５及びステップＳ１０６の処理が繰り返し実行される。
　一方、ステップＳ１０５において、異常の兆候が検出されたと判定された場合、すなわち、異常が発生する危険性が高まった場合、ステップＳ１０６の処理はスキップされ、処理はステップＳ１０７に進む。
　また、ステップＳ１０６において、異常が検出されたと判定された場合、処理はステップＳ１０７に進む。これは、異常の兆候が検出されずに、いきなり異常が検出された場合である。
　ステップＳ１０７において、信号処理システム３０１は、テキスト情報の生成及び送信を開始する。具体的には、異常検出部３２１は、異常の兆候又は異常を検出したことをテキスト情報生成部３２２に通知する。
　テキスト情報生成部３２２は、図３のステップＳ５のテキスト情報生成部２２２の処理と同様に、テキスト情報の生成を開始する。また、テキスト情報生成部３２２は、生成したテキスト情報を送信制御部３２３に供給するとともに、記憶部２１５に記憶させる処理を開始する。なお、記憶部２１５に記憶されたテキスト情報は、例えば、所定の時間後（例えば、１分後）に消去される。
　なお、異常の兆候が検出された場合、テキスト情報は、例えば、異常の兆候に関する情報を表す文字データを含む。異常の兆候に関する情報は、例えば、異常の兆候の内容、並びに、異常の兆候の発生時刻及び発生場所を含む。
　例えば、異常の兆候の一つである危険運転に関する情報をテキスト情報に含めることにより、事故が発生した場合に事故の解析精度が向上し、事故の原因等を正確に特定することができるようになる。
　送信制御部３２３は、テキスト情報生成部３２２から取得したテキスト情報を、送信部２１４を介して所定の通知先に送信する処理を開始する。
　ステップＳ１０８において、異常検出部３２１は、異常の兆候又は異常が終了したか否かを判定する。この判定処理は、異常の兆候又は異常が終了したと判定されるまで、繰り返し実行される。そして、異常の兆候又は異常が終了したと判定された場合、処理はステップＳ１０９に進む。これは、異常の兆候が検出された後、異常が検出され、その後、異常が検出されなくなった場合、異常の兆候が検出された後、異常が検出されることなく異常の兆候が検出されなくなった場合、又は、異常の兆候が検出されずに異常が検出された後、異常が検出されなくなった場合を含む。
　ステップＳ１０９において、信号処理システム３０１は、テキスト情報の生成及び送信を停止する。具体的には、異常検出部３２１は、異常の兆候又は異常が終了したことをテキスト情報生成部３２２に通知する。
　テキスト情報生成部３２２は、テキスト情報の生成を停止する。送信制御部３２３は、テキスト情報を送信する処理を停止する。
　なお、例えば、テキスト情報生成部３２２及び送信制御部３２３は、異常の兆候又は異常が終了したと判定されてから所定の時間の間、テキスト情報の生成及び送信を継続するようにしてもよい。
　その後、処理はステップＳ１０５に戻り、ステップＳ１０５以降の処理が実行される。
　以上のようにして、異常の兆候が検出され、異常の発生の危険性が高まってから、テキスト情報が生成されるため、信号処理システム３０１の処理を軽減することができる。
　また、異常が検出された場合に加えて、異常の兆候が検出された場合にも、テキスト情報が生成され、送信される。これにより、テキスト情報の通知先において、事前に異常の発生に備えることができ、異常が発生した場合に迅速に対応することができる。また、異常の解析をより正確かつ詳細に行うことが可能になる。
　＜＜４．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　信号処理システム２０１及び信号処理システム３０１は、例えば、１つの半導体チップにより構成してもよいし、複数の半導体チップにより構成してもよい。
　例えば、信号処理システム２０１の撮像部２１１をイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、撮像部２１１と信号処理部２１３の一部（例えば、認識部２２１）又は全部とをイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、信号処理システム２０１を１つのイメージセンサにより構成するようにしてもよい。
　同様に、例えば、信号処理システム３０１の撮像部２１１をイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、撮像部２１１と信号処理部３１１の一部（例えば、認識部２２１）又は全部とをイメージセンサに設け、その他の部分を他の半導体チップ（例えば、ＡＤＡＳ用の半導体チップ）に設けるようにしてもよい。例えば、信号処理システム３０１を１つのイメージセンサにより構成するようにしてもよい。
　また、例えば、信号処理システム２０１及び信号処理システム３０１は、１つの装置により構成してもよいし、筺体が異なる複数の装置により構成してもよい。
　例えば、信号処理システム２０１を１つの撮像装置により構成するようにしてもよい。例えば、信号処理システム２０１の撮像部２１１を撮像装置に設け、その他の部分を車両のＡＤＡＳ用のＥＣＵ（Electronic Control Unit）に設けるようにしてもよい。
　同様に、例えば、信号処理システム３０１を１つの撮像装置により構成するようにしてもよい。例えば、信号処理システム３０１の撮像部２１１を撮像装置に設け、その他の部分を車両のＡＤＡＳ用のＥＣＵに設けるようにしてもよい。
　さらに、例えば、第１の実施の形態において、第２の実施の形態と同様に、異常の兆候が検出された場合、テキスト情報の生成が開始され、異常の兆候及び異常が終了した場合、テキスト情報の生成が停止されるようにしてもよい。
　また、例えば、第２の実施の形態において、第１の実施の形態と同様に、異常が検出された場合に、テキスト情報の送信が開始されるようにしてもよい。さらに、例えば、第１の実施の形態と同様に、異常が検出される所定の時間前から異常が検出されるまでに生成されたテキスト情報が送信されるようにしてもよい。
　また、例えば、異常が検出されてから所定の時間の間、テキスト情報が送信された後、異常が終了しているか否かに関わらず、テキスト情報の送信が停止されるようにしてもよい。
　さらに、例えば、車両１０が、故障等により通知先までテキスト情報を送信できなくなった場合、もし近距離通信により周囲の車両との通信が可能であれば、周囲の車両までテキスト情報を送信し、周囲の車両が通知先への送信を代行するようにしてもよい。
　また、例えば、信号処理システム２０１及び信号処理システム３０１を固定された場所に設置し、所定の監視領域内の交通事故等の異常の監視に用いてもよい。対象となる監視領域としては、例えば、交差点、幹線道路、踏切等が想定される。
　この場合、テキスト情報は、例えば、監視領域の状況に関する情報を表す文字データを含む。監視領域の状況に関する情報は、例えば、監視領域内の車両、運転者、歩行者、天候、路面の状態、障害物の有無、事故の発生の有無、事故の状況、監視領域内の音声データを音声認識した内容等を含む。
　さらに、信号処理システム２０１及び信号処理システム３０１を車両以外の移動体に設けて、移動体の各種の異常の通知に用いてもよい。対象となる移動体としては、例えば、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等が想定される。また、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。通知対象となる異常としては、例えば、事故、転倒、破壊、故障等が想定される。
　この場合、テキスト情報は、例えば、移動体、移動体の運転者（運転者が存在する場合）、及び、異常（例えば、事故等）の状況に関する情報を表す文字データや、移動体内の音声データを音声認識した内容を表す文字データを含む。また、移動体が関わる事故が発生し、事故の相手が存在する場合、テキスト情報は、例えば、事故の相手に関する情報を表す文字データを含む。
　さらに、信号処理システム２０１及び信号処理システム３０１を所定の監視領域に設けて、防犯や防災等の用途に用いてもよい。対象となる監視領域には、例えば、各種の施設（例えば、店舗、会社、学校、工場、駅、空港、倉庫等）内や敷地内、街頭、駐車場、住居、自然災害の発生が想定される場所等が想定される。通知対象となる異常としては、例えば、不審者の侵入、盗難、破壊、不審な行動、火災、自然災害（例えば、洪水、津波、噴火等）等が想定される。
　この場合、テキスト情報は、例えば、監視領域の状況に関する情報を表す文字データを含む。監視領域の状況に関する情報は、例えば、監視領域内の人、物体、天候、異常の発生の有無、異常の状況、監視領域内の音声データを音声認識した内容等を含む。
　また、例えば、テキスト情報の内容は、状況に応じて変更されてもよい。また、例えば、テキスト情報を複数回に分けて送信するようにしてもよい。
　また、例えば、受信データを用いずに、画像データのみを用いて上述した処理を行うようにしてもよい。
　さらに、テキスト情報は、例えば、自動運転に用いるダイナミックマップに用いることが可能である。ダイナミックマップは、例えば、路面、車線、構造物等の時間変化の少ない静的情報、管理交通規制予定、道路工事予定等の準静的情報、事故、渋滞等の準動的情報、及び、周辺車両、信号情報等の動的情報を含む。そして、テキスト情報は、例えば、通知先のセンタ等において、準動的情報の更新に用いられる。
　＜＜５．その他＞＞
　　＜コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
　入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
　以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　撮像部により撮像された撮像画像の内容を認識する認識部と、
　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
　前記テキスト情報の送信を制御する送信制御部と
　を備える信号処理装置。
（２）
　前記信号処理装置は、車両に設けられ、
　前記テキスト情報生成部は、認識された前記撮像画像の内容、並びに、車内及び車外の少なくとも一方からの受信データの内容に基づいて、前記テキスト情報を生成する
　前記（１）に記載の信号処理装置。
（３）
　前記テキスト情報は、前記車両及び前記車両の周囲の少なくとも一方の異常に関する情報を文字で表したデータを含む
　前記（２）に記載の信号処理装置。
（４） 
　前記異常に関する情報は、前記車両の周囲の他の車両の特徴、前記他の車両の状態、前記他の車両の運転者の特徴、事故の状況、前記車両の特徴、前記車両の状態、前記車両の運転者の特徴、及び、前記車両の運転者の状態のうち少なくとも１つを含む
　前記（３）に記載の信号処理装置。
（５） 
　前記他の車両の特徴は、前記他の車両のナンバープレートの内容を含む
　前記（４）に記載の信号処理装置。
（６）
　認識された前記撮像画像の内容に基づいて異常の検出処理を行う異常検出部を
　さらに備え、
　前記送信制御部は、前記異常の検出結果に基づいて、前記テキスト情報の送信を制御する
　前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
　前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始する
　前記（６）に記載の信号処理装置。
（８）
　前記テキスト情報生成部は、前記異常の検出結果に関わらず、前記テキスト情報を継続して生成し、
　前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始するとともに、所定の時間前から前記異常が検出されるまでの間の前記テキスト情報を送信する
　前記（７）に記載の信号処理装置。
（９）
　前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始する
　前記（７）に記載の信号処理装置。
（１０）
　前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始し、
　前記送信制御部は、前記異常の兆候が検出された場合、前記テキスト情報の送信を開始する
　前記（６）に記載の信号処理装置。
（１１）
　前記テキスト情報は、前記異常の兆候に関する情報を文字で表したデータを含む
　前記（１０）に記載の信号処理装置。
（１２）
　前記信号処理装置は、車両に設けられ、
　前記異常の兆候は、前記車両の事故の危険要因、及び、前記車両が事故を回避するための動作のうち少なくとも１つを含む
　前記（１０）に記載の信号処理装置。
（１３）
　前記テキスト情報は、前記異常に関する情報を文字で表したデータを含む
　前記（６）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
　前記異常に関する情報を含む受信データを受信する受信部を
　さらに備え、
　前記テキスト情報は、前記受信データの内容を文字で表すデータをさらに含む
　前記（６）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
　前記異常検出部は、さらに前記受信データに基づいて、前記異常の検出処理を行う
　前記（１４）に記載の信号処理装置。
（１６）
　前記受信データは、音声データを含み、
　前記テキスト情報は、前記音声データを音声認識した内容を文字で表すデータを含む
　前記（１４）又は（１５）に記載の信号処理装置。
（１７）
　前記撮像部は、所定の監視領域の撮像を行い、
　前記テキスト情報は、前記監視領域の状況に関する情報を文字で表したデータを含む
　前記（１）に記載の信号処理装置。
（１８）
　前記撮像部を
　さらに備える前記（１）乃至（１７）のいずれかに記載の信号処理装置。
（１９） 
　前記撮像部及び前記認識部を備えるイメージセンサを
　さらに備える前記（１８）に記載の信号処理装置。
（２０）
　撮像部により撮像された撮像画像の内容を認識し、
　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
　前記テキスト情報の送信を制御する
　信号処理方法。
（２１）
　撮像部により撮像された撮像画像の内容を認識し、
　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
　前記テキスト情報の送信を制御する
　処理をコンピュータに実行させるためのプログラム。
（２２） 
　撮像部と、
　前記撮像部により撮像された撮像画像の内容を認識する認識部と、
　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
　前記テキスト情報の送信を制御する送信制御部と
　を備える撮像装置。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０　車両，　１００　車両制御システム，　１０１　入力部，　１０２　データ取得部，　１０３　通信部，　１４１　車外情報検出部，　１４２　車内情報検出部，　１４３　車両状態検出部，　１５３　状況認識部，　２０１　信号処理システム，　２１１　撮像部，　２１２　受信部，　２１３　信号処理部，　２１４　送信部，　２２１　認識部，　２２２　テキスト情報生成部，　２２３　異常検出部，　２２４　送信制御部，　３０１　信号処理システム，　３１１　信号処理部，　３２１　異常検出部，　３２２　テキスト情報生成部，　３２３　送信制御部

Claims (22)

  1. 　撮像部により撮像された撮像画像の内容を認識する認識部と、
    　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
    　前記テキスト情報の送信を制御する送信制御部と
    　を備える信号処理装置。
  2. 　前記信号処理装置は、車両に設けられ、
    　前記テキスト情報生成部は、認識された前記撮像画像の内容、並びに、車内及び車外の少なくとも一方からの受信データの内容に基づいて、前記テキスト情報を生成する
    　請求項１に記載の信号処理装置。
  3. 　前記テキスト情報は、前記車両及び前記車両の周囲の少なくとも一方の異常に関する情報を文字で表したデータを含む
    　請求項２に記載の信号処理装置。
  4. 　前記異常に関する情報は、前記車両の周囲の他の車両の特徴、前記他の車両の状態、前記他の車両の運転者の特徴、事故の状況、前記車両の特徴、前記車両の状態、前記車両の運転者の特徴、及び、前記車両の運転者の状態のうち少なくとも１つを含む
    　請求項３に記載の信号処理装置。
  5. 　前記他の車両の特徴は、前記他の車両のナンバープレートの内容を含む
    　請求項４に記載の信号処理装置。
  6. 　認識された前記撮像画像の内容に基づいて異常の検出処理を行う異常検出部を
    　さらに備え、
    　前記送信制御部は、前記異常の検出結果に基づいて、前記テキスト情報の送信を制御する
    　請求項１に記載の信号処理装置。
  7. 　前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始する
    　請求項６に記載の信号処理装置。
  8. 　前記テキスト情報生成部は、前記異常の検出結果に関わらず、前記テキスト情報を継続して生成し、
    　前記送信制御部は、前記異常が検出された場合、前記テキスト情報の送信を開始するとともに、所定の時間前から前記異常が検出されるまでの間の前記テキスト情報を送信する
    　請求項７に記載の信号処理装置。
  9. 　前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始する
    　請求項７に記載の信号処理装置。
  10. 　前記テキスト情報生成部は、前記異常の兆候が検出された場合、前記テキスト情報の生成を開始し、
    　前記送信制御部は、前記異常の兆候が検出された場合、前記テキスト情報の送信を開始する
    　請求項６に記載の信号処理装置。
  11. 　前記テキスト情報は、前記異常の兆候に関する情報を文字で表したデータを含む
    　請求項１０に記載の信号処理装置。
  12. 　前記信号処理装置は、車両に設けられ、
    　前記異常の兆候は、前記車両の事故の危険要因、及び、前記車両が事故を回避するための動作のうち少なくとも１つを含む
    　請求項１０に記載の信号処理装置。
  13. 　前記テキスト情報は、前記異常に関する情報を文字で表したデータを含む
    　請求項６に記載の信号処理装置。
  14. 　前記異常に関する情報を含む受信データを受信する受信部を
    　さらに備え、
    　前記テキスト情報は、前記受信データの内容を文字で表すデータをさらに含む
    　請求項６に記載の信号処理装置。
  15. 　前記異常検出部は、さらに前記受信データに基づいて、前記異常の検出処理を行う
    　請求項１４に記載の信号処理装置。
  16. 　前記受信データは、音声データを含み、
    　前記テキスト情報は、前記音声データを音声認識した内容を文字で表すデータを含む
    　請求項１４に記載の信号処理装置。
  17. 　前記撮像部は、所定の監視領域の撮像を行い、
    　前記テキスト情報は、前記監視領域の状況に関する情報を文字で表したデータを含む
    　請求項１に記載の信号処理装置。
  18. 　前記撮像部を
    　さらに備える請求項１に記載の信号処理装置。
  19. 　前記撮像部及び前記認識部を備えるイメージセンサを
    　さらに備える請求項１８に記載の信号処理装置。
  20. 　撮像部により撮像された撮像画像の内容を認識し、
    　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
    　前記テキスト情報の送信を制御する
    　信号処理方法。
  21. 　撮像部により撮像された撮像画像の内容を認識し、
    　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成し、
    　前記テキスト情報の送信を制御する
    　処理をコンピュータに実行させるためのプログラム。
  22. 　撮像部と、
    　前記撮像部により撮像された撮像画像の内容を認識する認識部と、
    　認識された前記撮像画像の内容を文字で表したデータを含むテキスト情報を生成するテキスト情報生成部と、
    　前記テキスト情報の送信を制御する送信制御部と
    　を備える撮像装置。
PCT/JP2020/019373 2019-05-28 2020-05-15 信号処理装置、信号処理方法、プログラム、及び、撮像装置 WO2020241292A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021522207A JP7367014B2 (ja) 2019-05-28 2020-05-15 信号処理装置、信号処理方法、プログラム、及び、撮像装置
US17/611,029 US20220309848A1 (en) 2019-05-28 2020-05-15 Signal processing device, signal processing method, program, and imaging device
DE112020002741.4T DE112020002741T5 (de) 2019-05-28 2020-05-15 Signalverarbeitungsvorrichtung, signalverarbeitungsverfahren, programm und bildgebungsvorrichtung
CN202080037215.4A CN113841187A (zh) 2019-05-28 2020-05-15 信号处理设备、信号处理方法、程序和成像设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019099011 2019-05-28
JP2019-099011 2019-05-28

Publications (1)

Publication Number Publication Date
WO2020241292A1 true WO2020241292A1 (ja) 2020-12-03

Family

ID=73553442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019373 WO2020241292A1 (ja) 2019-05-28 2020-05-15 信号処理装置、信号処理方法、プログラム、及び、撮像装置

Country Status (5)

Country Link
US (1) US20220309848A1 (ja)
JP (1) JP7367014B2 (ja)
CN (1) CN113841187A (ja)
DE (1) DE112020002741T5 (ja)
WO (1) WO2020241292A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006120137A (ja) * 2001-02-19 2006-05-11 Hitachi Kokusai Electric Inc 画像情報通報システム
JP2007172483A (ja) * 2005-12-26 2007-07-05 Kayaba Ind Co Ltd ドライブレコーダ
JP2015207049A (ja) * 2014-04-17 2015-11-19 株式会社デンソー 車両事故状況予測装置及び車両事故状況予測システム、車両事故通報装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1233387A2 (en) * 2001-02-19 2002-08-21 Hitachi Kokusai Electric Inc. Vehicle emergency reporting system and method
JP2004217188A (ja) * 2003-01-17 2004-08-05 Matsushita Electric Ind Co Ltd 車載表示装置および表示方法
JP4487633B2 (ja) * 2004-05-24 2010-06-23 日産自動車株式会社 車両内コミュニケーション装置
KR20090081459A (ko) * 2008-01-24 2009-07-29 주식회사 토페스 교통 상황 정보 제공 시스템
JP5434448B2 (ja) * 2009-10-02 2014-03-05 トヨタ自動車株式会社 車両用故障検出装置、電子制御ユニット、車両用故障検出方法
JP2012095040A (ja) * 2010-10-26 2012-05-17 Nippon Seiki Co Ltd 撮像装置
JP6163302B2 (ja) * 2012-12-21 2017-07-12 セコム株式会社 監視システム
US9818239B2 (en) * 2015-08-20 2017-11-14 Zendrive, Inc. Method for smartphone-based accident detection
JP2017090220A (ja) 2015-11-09 2017-05-25 トヨタ自動車株式会社 レーダ装置
US9940530B2 (en) * 2015-12-29 2018-04-10 Thunder Power New Energy Vehicle Development Company Limited Platform for acquiring driver behavior data
US9905131B2 (en) * 2015-12-29 2018-02-27 Thunder Power New Energy Vehicle Development Company Limited Onboard vehicle notification system
CN107161097B (zh) * 2017-04-06 2019-09-10 南京航空航天大学 基于北斗导航系统的车辆行驶智能安全系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006120137A (ja) * 2001-02-19 2006-05-11 Hitachi Kokusai Electric Inc 画像情報通報システム
JP2007172483A (ja) * 2005-12-26 2007-07-05 Kayaba Ind Co Ltd ドライブレコーダ
JP2015207049A (ja) * 2014-04-17 2015-11-19 株式会社デンソー 車両事故状況予測装置及び車両事故状況予測システム、車両事故通報装置

Also Published As

Publication number Publication date
JPWO2020241292A1 (ja) 2020-12-03
DE112020002741T5 (de) 2022-03-03
US20220309848A1 (en) 2022-09-29
CN113841187A (zh) 2021-12-24
JP7367014B2 (ja) 2023-10-23

Similar Documents

Publication Publication Date Title
CN113168772B (zh) 信息处理装置，信息处理方法和记录介质
US20210155269A1 (en) Information processing device, mobile device, information processing system, method, and program
JPWO2019069581A1 (ja) 画像処理装置及び画像処理方法
US11873007B2 (en) Information processing apparatus, information processing method, and program
WO2020031924A1 (ja) 情報処理装置、端末装置、情報処理方法および情報処理プログラム
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2020250725A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021065559A1 (ja) 情報処理システム、および情報処理方法、並びに情報処理装置
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
WO2021024805A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022024803A1 (ja) 学習モデルの生成方法、情報処理装置、情報処理システム
WO2020241292A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
US11912307B2 (en) Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
CN116128053A (zh) 用于自主运载工具的方法和系统以及计算机可读介质
WO2020122057A1 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2022113772A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2021006287A1 (ja) 異常検出装置と異常検出方法およびプログラムと情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20813987

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021522207

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20813987

Country of ref document: EP

Kind code of ref document: A1