WO2017029847A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2017029847A1
WO2017029847A1 PCT/JP2016/064835 JP2016064835W WO2017029847A1 WO 2017029847 A1 WO2017029847 A1 WO 2017029847A1 JP 2016064835 W JP2016064835 W JP 2016064835W WO 2017029847 A1 WO2017029847 A1 WO 2017029847A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sensor
vehicle
information processing
processing apparatus
Prior art date
Application number
PCT/JP2016/064835
Other languages
English (en)
French (fr)
Inventor
慎吾 高松
河本　献太
井手　直紀
由幸 小林
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2017535260A priority Critical patent/JP7003660B2/ja
Priority to CN201680047530.9A priority patent/CN107924632B/zh
Priority to US15/579,365 priority patent/US10891495B2/en
Priority to EP16836839.7A priority patent/EP3340205B1/en
Publication of WO2017029847A1 publication Critical patent/WO2017029847A1/ja
Priority to US17/140,150 priority patent/US11295143B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • a traffic system for improving the safety of a vehicle by using a sensor such as an in-vehicle sensor or a surveillance camera on the road.
  • useful information is extracted by integrating information detected by a plurality of sensors, and utilized such as being notified to a driver or used as input information for automatic driving.
  • Patent Document 1 a technique for recognizing the relative positional relationship between the host vehicle and the other vehicle based on position information and speed information detected in the host vehicle and the other vehicle. Is disclosed.
  • Patent Document 2 discloses a technique for notifying a driver of information related to other vehicles and pedestrians that lurk in a blind spot when viewed from the host vehicle, based on an image captured by an environment-installed camera. Yes.
  • Patent Documents 1 and 2 The technology proposed in the above-mentioned Patent Documents 1 and 2 has not been developed yet, and it is difficult to say that the technology for utilizing the sensor in various aspects has been sufficiently proposed. For example, a technique for appropriately handling a difference in detection results between sensors is one that has not been sufficiently proposed.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of appropriately handling differences in detection results between sensors.
  • a detection unit that detects first information about a moving body, an acquisition unit that acquires second information about the moving body detected by an external device, and the same moving body are detected.
  • an information processing apparatus includes a control unit that controls processing based on a comparison result between the first information and the second information.
  • detecting the first information about the moving body acquiring the second information about the moving body detected by an external device, and detecting the same moving body. Further, there is provided an information processing method including controlling a process based on a comparison result between the first information and the second information by a processor.
  • the computer includes a detection unit that detects first information about a moving body, and an acquisition unit that acquires second information about the moving body detected by an external device.
  • a program is provided for functioning as a control unit that controls processing based on a comparison result between the first information and the second information detected for a mobile object.
  • FIG. 1 is an explanatory diagram for explaining an overview of a system 1 according to the present embodiment.
  • FIG. 1 shows a situation in which the vehicle 10A travels in the X direction and the vehicle 10B travels in the -Y direction and enters the intersection.
  • the driver of the vehicle 10A may not be able to visually recognize the vehicle 10B, it is desirable to provide information on the vehicle 10B. The same applies to the driver of the vehicle 10B.
  • the sensor devices included in the system 1 share information detected by the built-in or connected sensors.
  • the system 1 can provide various services. For example, the system 1 notifies the driver of the danger that the driver himself / herself does not recognize, or provides each vehicle with information for automatic driving of the vehicle.
  • the sensor device can be mounted on a moving body such as the vehicle 10A or 10B.
  • the sensor device can be mounted in a facility such as the traffic lights 20A and 20B.
  • the sensor device mounted on the vehicle 10A (the vehicle-mounted sensor device 100 described with reference to FIG. 2) and the sensor device mounted on the traffic light 20A (the environment-installed sensor device 200 described with reference to FIG. 3).
  • the sensor device mounted on the vehicle 10B and the sensor device mounted on the traffic light 20B perform sensing related to the vehicle 10B or the driver of the vehicle 10B.
  • the sensor information obtained regarding the vehicle 10A or the driver of the vehicle 10A and the sensor information obtained regarding the driver of the vehicle 10B or the vehicle 10B are shared between these sensor devices. Thereby, each sensor apparatus can perform the process based on the shared sensor information.
  • the sensor device mounted on the vehicle 10A performs a process for avoiding an accident with the vehicle 10B based on the sensor information obtained regarding the vehicle 10B or the driver of the vehicle 10B.
  • Information sharing may be performed directly between sensor devices, for example.
  • information sharing and / or processing based on shared information may be performed by the server 30 on the cloud, for example.
  • the server 30 can be realized as an MEC (Mobile Edge Computing) server provided in a mobile communication base station, for example, to reduce service latency. It is effective for.
  • MEC Mobile Edge Computing
  • sensors are mounted on various devices such as moving bodies such as vehicles and equipment such as traffic lights.
  • the service provided by the system 1 is based on information detected by these sensors. Therefore, the quality of service depends on whether the sensor is normal or abnormal.
  • Sensor abnormality can occur due to various factors.
  • the factors include, for example, the influence of weather such as fog or rain, change in the sensor installation angle due to rough driving, and the like.
  • weather such as fog or rain
  • change in the sensor installation angle due to rough driving and the like.
  • the system 1 according to an embodiment of the present disclosure has been created with the above circumstances in mind.
  • a sensor abnormality is autonomously discovered, and processing corresponding to the sensor abnormality is performed.
  • FIG. 2 is a block diagram illustrating an example of a logical configuration of the in-vehicle sensor device 100 according to the present embodiment.
  • the in-vehicle sensor device 100 includes a detection unit 110, an acquisition unit 120, a first notification unit 130, a second notification unit 140, an operation control unit 150, a storage unit 160, and a control unit 170. .
  • the detection unit 110 has a function of detecting (sensing) various information.
  • the detection unit 110 detects information about the moving body.
  • This moving body may be the moving body itself on which the in-vehicle sensor device 100 is mounted, or may be a moving body other than that.
  • the detected information may include, for example, the position, velocity, acceleration, and / or size of the moving body.
  • the detection unit 110 may include a stereo camera, a laser range sensor, a millimeter wave radar, or the like.
  • the detection unit 110 may include a gyro sensor, an acceleration sensor, or the like.
  • the detection part 110 is arrange
  • the detection unit 110 includes a recognition module for recognizing speed and the like from raw data obtained by these sensors.
  • first sensor information first information
  • the acquisition unit 120 has a function of acquiring information regarding a moving object detected by an external device.
  • the acquisition unit 120 acquires information (first sensor information) detected by another sensor device (the other vehicle-mounted sensor device 100 or the environment-installed sensor device 200).
  • the acquisition unit 120 can be realized by a communication device.
  • the information acquired by the acquisition unit 120 is hereinafter also referred to as second sensor information (second information).
  • second sensor information is first sensor information for another sensor device from which the data is acquired.
  • sensor information When it is not necessary to distinguish between the first sensor information and the second sensor information, they are collectively referred to as sensor information.
  • the 1st notification part 130 has a function which notifies various information to the driver (user) of the vehicle by which the vehicle-mounted sensor apparatus 100 is mounted.
  • the first notification unit 130 can be realized by a display device, an audio output device, an actuator that performs vibration, or the like.
  • the 2nd notification part 140 has a function which notifies various information to apparatuses other than the vehicle by which the vehicle-mounted sensor apparatus 100 is mounted.
  • the second notification unit 140 can be realized by a communication device.
  • the second notification unit 140 may be realized by a display device. In that case, the receiving side can recognize the notified information by, for example, recognizing the displayed information as an image.
  • Operation control unit 150 has a function of automatically driving a vehicle on which the in-vehicle sensor device 100 is mounted. For example, the driving control unit 150 grasps the vehicle mounted with the in-vehicle sensor device 100, other vehicles, and the road surface state based on the first sensor information or the second sensor information, and performs steering control, accelerator Control and brake control are performed. ON / OFF of the automatic driving function by the driving control unit 150 is switched by the control unit 170.
  • Storage unit 160 The storage unit 160 temporarily or permanently stores a program for operating the vehicle-mounted sensor device 100 and various data.
  • Control unit 170 functions as an arithmetic processing device and a control device, and controls the overall operation in the in-vehicle sensor device 100 according to various programs.
  • the control unit 170 provides various functions of the in-vehicle sensor device 100. The functions provided by the controller 170 will be described in detail later.
  • FIG. 3 is a block diagram illustrating an example of a logical configuration of the environment-installed sensor device 200 according to the present embodiment.
  • the environment-installed sensor device 200 includes a detection unit 210, an acquisition unit 220, a first notification unit 230, a second notification unit 240, a storage unit 250, and a control unit 260.
  • the functions of these components are the same as those of the detection unit 110, the acquisition unit 120, the first notification unit 130, the second notification unit 140, the storage unit 160, and the control unit 170 included in the in-vehicle sensor device 100. That is, the environment-installed sensor device 200 has the same functional configuration as the vehicle-mounted sensor device 100 except for the operation control unit 150.
  • a vehicle on which the in-vehicle sensor device 100 of interest is mounted is also referred to as a host vehicle, and other vehicles are also referred to as other vehicles.
  • the vehicle-mounted sensor device 100 mounted on another vehicle is also referred to as another vehicle-mounted sensor device 100.
  • a sensor device other than the vehicle-mounted sensor device 100 is also referred to as another sensor device.
  • Each sensor device shares information.
  • the vehicle-mounted sensor device 100 for example, the second notification unit 140
  • the vehicle-mounted sensor apparatus 100 acquires 2nd sensor information from another sensor apparatus.
  • the in-vehicle sensor device 100 may share sensor information with other sensor devices existing within a predetermined distance from the host vehicle. Whether or not it exists within a predetermined distance can be determined based on a transmission / reception result of a short-range wireless communication signal such as Bluetooth (registered trademark) or position information of another sensor device registered in advance. Each sensor device may transmit and receive mutual position information via the server 30.
  • a short-range wireless communication signal such as Bluetooth (registered trademark) or position information of another sensor device registered in advance.
  • Each sensor device may transmit and receive mutual position information via the server 30.
  • the in-vehicle sensor device 100 may preferentially acquire the second sensor information from another sensor device that can detect a range that overlaps the range that can be detected by itself. In that case, the in-vehicle sensor device 100 can obtain multifaceted sensor information regarding the same range.
  • the in-vehicle sensor device 100 may preferentially acquire the second sensor information from another sensor device that can detect a range (that is, a blind spot) that does not overlap with a range that can be detected by itself. More simply, the in-vehicle sensor device 100 may preferentially acquire the second sensor information from another sensor device existing in the blind spot.
  • the blind spot refers to a region where sensor information cannot be detected from the sensor of the in-vehicle sensor device 100 due to an obstacle between the vehicle and the vehicle.
  • the in-vehicle sensor device 100 can acquire a wider range of sensor information by acquiring sensor information relating to blind spots.
  • the in-vehicle sensor device 100 may acquire the second sensor information preferentially from another sensor device predicted to be in the vicinity of the own vehicle or in the near future. In that case, the in-vehicle sensor device 100 can efficiently acquire sensor information related to the future of the host vehicle.
  • the in-vehicle sensor device 100 (for example, the acquisition unit 120) preferentially acquires the second sensor information from another sensor device that can detect the sensor information with higher accuracy than itself (that is, the detection unit 110). Also good. In that case, the in-vehicle sensor device 100 can efficiently acquire more accurate sensor information.
  • the sensor information can include information on the moving object.
  • the sensor information can include, for example, at least one of the position, size, type, speed, acceleration, moving direction, detection accuracy, or detection time of the moving body.
  • the sensor information may include the above information of each of the plurality of moving objects.
  • the mobile body may be the host vehicle, another vehicle, or an arbitrary mobile body such as a pedestrian.
  • the sensor information may include driver biometric information.
  • Biological information includes heart rate, body temperature, sweating, blood pressure, sweating, pulse, breathing, blink, eye movement, staring time, pupil size, blood pressure, electroencephalogram, body movement, body position, skin temperature, skin electrical resistance, MV (Microvibration), myoelectric potential, and / or SPO2 (blood oxygen saturation).
  • the biological information may include such information itself, or may include information indicating a degree of tension recognized based on, for example, body temperature and sweating.
  • the sensor information can include reliability.
  • the reliability is information indicating the accuracy of the sensor information.
  • the reliability is sensor information detected by a plurality of sensors with good sensor performance, consistent information over a predetermined period, and detected while the host vehicle is traveling at a predetermined speed or less. It is a high value in the sensor information, etc.
  • the sensor information may include attribute information or information indicating an internal state of the sensor device that detects the sensor information or a device in which the sensor device is mounted.
  • the sensor information may include, for example, at least one of information indicating whether it is an in-vehicle type or an environment-installed type, information indicating a position and posture where the sensor device is provided, or sensor identification information included in the sensor device.
  • the in-vehicle sensor device 100 can perform various processes based on shared information.
  • the in-vehicle sensor device 100 (for example, the control unit 170) performs processing based on the comparison result between the first sensor information and the second sensor information detected for the same moving body. May be controlled.
  • the in-vehicle sensor device 100 determines the abnormality of the detection unit 110 based on the comparison result.
  • the detection unit 110 may have a plurality of sensors.
  • the vehicle-mounted sensor device 100 may determine an abnormality for each of the plurality of sensors.
  • the abnormality of the detection unit 110 is also referred to as a sensor abnormality below.
  • the in-vehicle sensor device 100 determines that the sensor is abnormal when an error between the first sensor information and the second sensor information satisfies a predetermined condition. For example, the vehicle-mounted sensor device 100 determines that the sensor is abnormal when the error between the first sensor information and the second sensor information regarding the same moving object is greater than the threshold, and the error is equal to or less than the threshold. Is determined to be normal. This point will be described in detail with reference to FIGS.
  • FIG. 4 shows a situation where the vehicles 10A and 10B are traveling in the X direction and are reaching the pedestrian crossing where the traffic light 20 is provided. At the pedestrian crossing, the person 10C is crossing.
  • the sensor devices the vehicle-mounted sensor device 100 or the environment-installed sensor device 200 mounted on the vehicles 10A and 10B and the traffic light 20 share sensor information related to the person 10C that is a moving body.
  • the sensor information sharing result is shown in FIG.
  • the coordinate 40A indicates the position of the person 10C detected by the in-vehicle sensor device 100A mounted on the vehicle 10A.
  • the coordinate 40B indicates the position of the person 10C detected by the vehicle-mounted sensor device 100B mounted on the vehicle 10B.
  • the coordinates 40C indicate the position of the person 10C detected by the environmentally installed sensor device 200 mounted on the traffic light 20. For example, since the coordinate 40A is separated from the coordinates 40B and 40C, the in-vehicle sensor device 100A can determine that its own sensor is abnormal.
  • each sensor information It can be determined by various methods whether or not the target of each sensor information is the same moving object. For example, when the coordinates of a moving body targeted by each sensor information are within a predetermined distance, it can be determined that they are the same moving body. Moreover, when the same identification information is recognized from the mobile body which each sensor information makes object, it can determine with it being the same mobile body.
  • the identification information may be an identification ID transmitted from the vehicle or the sensor device, or an automobile registration number obtained by recognizing a license plate image.
  • the in-vehicle sensor device 100 may use only sensor information with a reliability level equal to or higher than a predetermined value as a comparison target. Thereby, it is prevented that the sensor abnormality is erroneously determined based on the comparison with the abnormal value.
  • the in-vehicle sensor device 100 may perform the comparison process with the first sensor information with each of the plurality of second sensor information. In that case, the in-vehicle sensor device 100 may determine the presence or absence of the final sensor abnormality based on the ratio at which the sensor abnormality is determined, or may set the certainty of the determination result of the sensor abnormality. .
  • the in-vehicle sensor device 100 may select the second sensor information to be compared based on an arbitrary criterion. For example, the in-vehicle sensor device 100 may preferentially select the second sensor information acquired from another in-vehicle sensor device 100 mounted on another vehicle facing the host vehicle. In this case, a large amount of second sensor information to be compared can be collected in a short time. The in-vehicle sensor device 100 may preferentially select the second sensor information acquired from another in-vehicle sensor device 100 mounted on another vehicle before or after the host vehicle or another vehicle running in parallel. Good. In that case, it is possible to acquire the second sensor information with a large amount of data communication or to perform a time-consuming comparison process.
  • the vehicle-mounted sensor device 100 preferentially receives the second sensor information acquired from another vehicle-mounted sensor device 100 mounted on another stopped vehicle or the environment-installed sensor device 200 mounted in a facility. You may choose. In that case, it is possible to collect more stable (that is, highly reliable) second sensor information.
  • the in-vehicle sensor device 100 calculates an evaluation value by the following mathematical formula (1), and determines that the sensor is abnormal when the evaluation value is larger than the threshold value.
  • s i is a difference value related to the pair i.
  • the difference value is the Euclidean distance between the first sensor information and the second sensor information when the sensor information is expressed by a numerical vector.
  • I (s i > c) takes a value of 1 when s i is greater than c and 0 when c is less than or equal to c.
  • c is a threshold value and is set in advance.
  • r i is the product of the reliability of both in the i-th sensor information pair.
  • the in-vehicle sensor device 100 is described as determining the abnormality of its own sensor based on the relationship between the first sensor information and the second sensor information detected by another sensor device. In the same manner, the in-vehicle sensor device 100 may determine the abnormality of the sensor based on the relationship between sensor information detected by a plurality of sensors that the in-vehicle sensor device 100 has.
  • the in-vehicle sensor device 100 (for example, the first notification unit 130 and the control unit 170) notifies the driver (user) of information indicating sensor abnormality.
  • the driver can recognize the sensor abnormality of the host vehicle, and can respond to the sensor abnormality such as switching from automatic driving to manual driving.
  • FIG. 6 shows an example of a UI related to such notification.
  • the in-vehicle sensor device 100 displays a warning message on the display 131 that the rear camera sensor B is not operating correctly, A warning sound 132 is output.
  • the in-vehicle sensor device 100 notifies other devices of information indicating sensor abnormality.
  • the vehicle-mounted sensor device 100 notifies information indicating a sensor abnormality to other sensor devices, insurance company devices, dealer devices, and a failure DB (Data Base).
  • the sensor abnormality of the own vehicle is shared with the surroundings, and an appropriate response to the sensor abnormality is realized.
  • the repair facility can place an order for such a sensor in advance and can promptly repair the sensor.
  • the driver can receive the provision of the road service without contacting the road service provider.
  • the other vehicles can take measures such as increasing the inter-vehicle distance in order to avoid an accident.
  • the vehicle-mounted sensor device 100 may adjust the detection unit 110 so that an error between the first sensor information and the second sensor information is reduced.
  • the in-vehicle sensor device 100 performs calibration by adjusting parameters of each sensor or recognition module included in the detection unit 110.
  • the in-vehicle sensor device 100 accumulates the difference evaluation values calculated by the mathematical formula (1) or the mathematical formula (2), and performs calibration so that the accumulated evaluation values change in a decreasing direction. Reliability may be added to the calibration. Through such calibration processing, the in-vehicle sensor device 100 can correct the abnormality of its own sensor.
  • the in-vehicle sensor device 100 may select sensor information to be used.
  • the in-vehicle sensor device 100 uses corresponding second sensor information (detected by the same type of sensor) instead of the first sensor information detected by the detection unit 110 determined to be abnormal. May be.
  • second sensor information detected by the same type of sensor
  • the vehicle-mounted sensor device 100 can continue the automatic driving of the host vehicle even when the sensor is abnormal.
  • the in-vehicle sensor device 100 (for example, the first notification unit 130) may notify the user of information related to the selection.
  • the in-vehicle sensor device 100 can notify the user of information indicating that sensor information to be used has been switched, information indicating another sensor device from which the sensor information to be used is acquired, and the like.
  • the vehicle-mounted sensor device 100 may perform automatic operation using the shared sensor information.
  • the vehicle-mounted sensor device 100 can perform an automatic operation based on correct sensor information by performing the above-described selection process of sensor information to be used or the complementary process of sensor information.
  • the in-vehicle sensor device 100 may stop the automatic operation of the vehicle corresponding to the in-vehicle sensor device 100 (that is, the host vehicle). . Specifically, the vehicle-mounted sensor device 100 stops the host vehicle or switches from automatic driving to manual driving. This prevents automatic operation using sensor information detected by an abnormal sensor.
  • the vehicle-mounted sensor device 100 controls the host vehicle so that the host vehicle stays longer in the detection range of the second sensor information of the other sensor devices.
  • the vehicle-mounted sensor device 100 controls the host vehicle so as to reduce the speed, travel on a road where many other sensor devices exist, or turn at a corner where the environment-installed sensor device 200 is installed. . Thereby, since the period until automatic driving
  • the in-vehicle sensor device 100 may supplement the sensor information.
  • the in-vehicle sensor device 100 may supplement the first sensor information with second sensor information obtained by a type of sensor not included in the detection unit 110.
  • the in-vehicle sensor device 100 complements the first sensor information with the second sensor information obtained from another sensor device that can detect a range (that is, a blind spot) that does not overlap with a range that can be detected by itself. May be.
  • the in-vehicle sensor device 100 (for example, the first notification unit 130) may notify the user of information regarding the complement.
  • the in-vehicle sensor device 100 can notify the user of information indicating that the sensor information is complemented and information indicating other sensor devices that are complemented.
  • the amount of sensor information that can be used by the in-vehicle sensor device 100 increases due to the complement of sensor information.
  • the in-vehicle sensor device 100 inputs the supplemented second sensor information to the operation control unit 150 in addition to the first sensor information, compared with a case where only the first sensor information is input. Automatic operation with higher safety can be realized.
  • FIG. 7 is an explanatory diagram for explaining a sensor information complementing process according to the present embodiment.
  • FIG. 7 shows a situation in which the vehicle 10A travels in the X direction and the vehicle 10B travels in the ⁇ Y direction, and each of them is approaching a corner. It is assumed that a sensor is provided on the front side of the vehicle 10A, and a blind spot 60 is generated due to the influence of the wall 50 provided on the inside of the corner.
  • the vehicle-mounted sensor device 100 mounted on the vehicle 10A is provided with the second sensor information from the environment-installed sensor device 200 provided in the surveillance camera 20 provided in the blind spot 60 or having the blind spot 60 as a detection range. And the first sensor information is complemented.
  • the vehicle-mounted sensor apparatus 100 can perform automatic driving in consideration of the presence of the vehicle 10B existing in the blind spot 60, the accident avoidance rate is improved.
  • the in-vehicle sensor device 100 may supplement information with low accuracy (or reliability) in the first sensor information with the second sensor information. For example, since there is a large difference in brightness between the inside and outside of the tunnel at the entrance and exit of the tunnel, it is difficult to accurately detect the situation outside the tunnel from the own vehicle inside the tunnel. Therefore, the vehicle-mounted sensor device 100 may acquire the second sensor information from another sensor device that exists outside the tunnel, and may supplement the first sensor information. The in-vehicle sensor device 100 simply supplements the first sensor information with the second sensor information acquired from the other sensor device when the sensor accuracy of the other sensor device is higher than that of itself. May be.
  • the vehicle-mounted sensor device 100 may perform prediction based on sensor information.
  • the in-vehicle sensor device 100 may predict future sensor information. Specifically, the vehicle-mounted sensor device 100 may perform prediction of the position, size, type, speed, acceleration, or movement direction of the moving body. In addition, the vehicle-mounted sensor device 100 may perform prediction of driver biometric information. Moreover, the vehicle-mounted sensor apparatus 100 may perform reliability prediction. Further, these predicted values may be included in the shared sensor information. Of course, the in-vehicle sensor device 100 can similarly perform the processing based on the comparison result described above and the complement of the sensor information with respect to the predicted value.
  • the in-vehicle sensor device 100 may perform prediction of the relative relationship between the vehicles based on the prediction of the sensor information. For example, the in-vehicle sensor device 100 can predict the distance between the host vehicle and another vehicle, the approach speed, the approach acceleration, or the like.
  • the in-vehicle sensor device 100 (for example, the control unit 170) can perform various processes based on the sensor information.
  • the in-vehicle sensor device 100 can perform various processes such as estimation of the position of the host vehicle, estimation of the collision probability, recognition of the object type, and confirmation of the system state based on the sensor information.
  • the technical features of the in-vehicle sensor device 100 according to the present embodiment have been described above.
  • the technical features described above may also be included in the environment-installed sensor device 200 in addition to features relating to automatic driving.
  • FIG. 8 is a flowchart showing an example of the flow of information processing executed in the in-vehicle sensor device 100 according to the present embodiment.
  • the detection unit 110 detects first sensor information (step S100). Subsequently, the acquisition unit 120 acquires second sensor information (step S200). And the control part 170 determines sensor abnormality by comparing 1st sensor information and 2nd sensor information (step S300), and performs calibration (step S400). Next, the control unit 170 notifies the user and / or another device of a warning indicating an abnormality of the detection unit 110 (step S500). Then, the operation control unit 150 performs automatic operation (step S600).
  • FIG. 9 is a flowchart illustrating an example of a flow of second sensor information acquisition processing executed in the in-vehicle sensor device 100 according to the present embodiment. This flow shows a detailed flow of the processing in step S200 in FIG.
  • the acquisition unit 120 acquires position information of another sensor device whose distance from the host vehicle is within the threshold value X1 from the server 30 (step S202).
  • the control unit 170 calculates the distance between the host vehicle and another sensor device from the position information of the host vehicle and the position information acquired from the server 30, and the other sensor device whose calculated distance is within the threshold value X2. Is determined to be a nearby sensor device (step S204).
  • the control unit 170 determines that the other sensor device of the transmission source is a nearby sensor device (step S206). ).
  • the acquisition part 120 acquires 2nd sensor information from the nearby sensor apparatus (step S208).
  • FIG. 10 is a flowchart illustrating an example of a flow of second sensor information acquisition processing executed in the in-vehicle sensor device 100 according to the present embodiment. This flow shows a detailed flow of the processing in step S200 in FIG.
  • the control unit 170 calculates blind spot position information (step S212). For example, the control unit 170 recognizes an obstacle such as a wall based on a captured image obtained by capturing the front of the host vehicle, and calculates position information of a region behind the recognized obstacle based on the position information of the host vehicle. .
  • control part 170 acquires 2nd sensor information from the other sensor apparatus which has the positional information contained in the calculated positional information of a blind spot among the nearby sensor apparatuses (step S214).
  • the determination of the nearby sensor devices can be performed in the same manner as the processing described above with reference to FIG.
  • FIG. 11 is a flowchart illustrating an example of a sensor abnormality determination process executed in the in-vehicle sensor device 100 according to the present embodiment. This flow shows a detailed flow of the processing in step S300 in FIG.
  • the control unit 170 pairs the first sensor information and the second sensor information detected for the same moving body (step S302).
  • the second sensor information is acquired from a plurality of other sensor devices, a plurality of pairs are generated.
  • control unit 170 extracts a pair in which the reliability of the sensor information included in the pair is equal to or higher than the threshold Y1 from the plurality of pairs (step S304).
  • control unit 170 calculates a difference evaluation value for the extracted pair (step S306). For this calculation, for example, the formula (1) or the formula (2) described above can be used.
  • control part 170 determines with the sensor which detected the sensor information whose ratio of the pair whose evaluation value is more than threshold value Y2 is more than threshold value Y3 being abnormal (step S308).
  • FIG. 12 is a flowchart illustrating an example of the flow of the calibration process executed in the in-vehicle sensor device 100 according to the present embodiment. This flow shows a detailed flow of the processing in step S400 in FIG.
  • control unit 170 stores the evaluation value of the difference calculated in step S306 (step S402). Then, the control unit 170 performs calibration so that the evaluation value becomes small based on the accumulated evaluation value (step S404).
  • FIG. 13 is a flowchart showing an example of the flow of the warning process executed in the in-vehicle sensor device according to the present embodiment. This flow shows a detailed flow of the processing in step S500 in FIG.
  • control unit 170 determines whether or not there is a sensor that has failed calibration in step S400 (step S502).
  • step S502 When there is a sensor that has failed in calibration (step S502 / YES), the control unit 170 notifies the user or other surrounding vehicles of a warning that a sensor abnormality has occurred, the first notification unit 130 or the second notification unit.
  • the notification unit 140 is controlled (step S504). If there is no sensor that has failed calibration (step S502 / NO), the control unit 170 does not issue a warning.
  • FIG. 14 is a flowchart showing an example of the flow of the automatic driving process executed in the in-vehicle sensor device 100 according to the present embodiment. This flow shows a detailed flow of the processing in step S600 in FIG.
  • control unit 170 determines whether or not a majority of the sensors included in the detection unit 110 are determined to be abnormal (step S602).
  • step S602 When it is determined that a majority of the sensors are abnormal (step S602 / YES), the operation control unit 150 performs automatic operation based on the second sensor information (step S604). And the control part 170 stops the own vehicle within the detection range of the 2nd sensor information of another sensor apparatus (step S606).
  • step S602 when it is determined that the majority of the sensors are normal (step S602 / NO), the operation control unit 150 performs automatic operation based on the first sensor information and the second sensor information (step S608). .
  • the vehicle-mounted sensor device 100 may be realized as a device mounted on any type of vehicle such as an automobile, an electric vehicle, a hybrid electric vehicle, and a motorcycle. Further, at least a part of the components of the in-vehicle sensor device 100 may be realized in a module (for example, an integrated circuit module configured by one die) for a device mounted on a vehicle.
  • a module for example, an integrated circuit module configured by one die
  • the environment-installed sensor device 200 may be realized as a device installed in an environment such as a traffic light, a monitoring camera, a digital signage, an electric bulletin board.
  • the components of the environment-installed sensor device 200 may be realized in a module (for example, an integrated circuit module configured by one die) for a device installed in the environment.
  • FIG. 15 is a block diagram illustrating an example of a schematic configuration of a vehicle control system 900 to which the technology according to the present disclosure can be applied.
  • a vehicle control system 900 shown in FIG. 15 can realize, for example, the in-vehicle sensor device 100 shown in FIG.
  • the vehicle control system 900 includes an electronic control unit 902, a storage device 904, an input device 906, an out-of-vehicle sensor 908, a vehicle state sensor 910, a passenger sensor 912, a communication IF 914, an output device 916, a power generation device 918, a braking device 920, a steering. 922 and a lamp actuating device 924.
  • the electronic control unit 902 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the vehicle control system 900 according to various programs.
  • the electronic control unit 902 can be formed as an ECU (Electronic Control Unit) together with a storage device 904 described later.
  • a plurality of ECUs may be included in the vehicle control system 900.
  • each of the various sensors or the various drive systems may be provided with an ECU for controlling them, and further provided with an ECU for controlling the plurality of ECUs in a coordinated manner.
  • the electronic control unit 902 can form, for example, the operation control unit 150 or the control unit 170 shown in FIG.
  • the storage device 904 is a data storage device formed as an example of a storage unit of the vehicle control system 900.
  • the storage apparatus 904 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 904 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 904 stores programs executed by the electronic control unit 902, various data, various data acquired from the outside, and the like.
  • the storage device 904 can form, for example, the storage unit 160 shown in FIG.
  • the input device 906 is realized by a device in which information is input by a passenger (driver or passenger) such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA corresponding to the operation of the vehicle control system 900.
  • the input device 906 may be a camera, for example, and in that case, the passenger can input information by gesture.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above-described input means and outputs the input signal to the electronic control unit 902.
  • the passenger can operate the input device 906 to input various data to the vehicle control system 900 and to instruct processing operations.
  • the input device 906 can form, for example, the detection unit 110 illustrated in FIG.
  • the vehicle outside sensor 908 is realized by a sensor that detects information outside the vehicle.
  • the outside sensor 908 includes a sonar device, a radar device, a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device, a camera, a stereo camera, a ToF (Time Of Flight) camera, an infrared sensor, an environmental sensor, a microphone, and the like. May be included.
  • the vehicle exterior sensor 908 can form, for example, the detection unit 110 shown in FIG.
  • Vehicle state sensor 910 is realized by a sensor that detects information related to the vehicle state.
  • the vehicle state sensor 910 may include a sensor that detects an operation by the driver such as an accelerator opening, a brake depression pressure, or a steering angle.
  • the vehicle state sensor 910 may include a sensor that detects the state of the power source, such as the rotational speed or torque of the internal combustion engine or motor.
  • the vehicle state sensor 910 may include a sensor for detecting information related to the movement of the vehicle such as a gyro sensor or an acceleration sensor.
  • the vehicle state sensor 910 receives a GNSS signal (for example, a GPS signal from a GPS (Global Positioning System) satellite) from a GNSS (Global Navigation Satellite System) satellite, and includes position information including the latitude, longitude, and altitude of the device.
  • a GNSS module may be included.
  • the vehicle state sensor 910 may detect the position by transmission / reception with Wi-Fi (registered trademark), a mobile phone / PHS / smartphone or the like, or near field communication.
  • Wi-Fi registered trademark
  • the vehicle state sensor 910 can form, for example, the detection unit 110 shown in FIG.
  • the passenger sensor 912 is realized by a sensor that detects information related to the passenger.
  • the passenger sensor 912 may include a camera, a microphone, and an environment sensor provided in the vehicle.
  • the passenger sensor 912 may include a biological sensor that detects biological information of the passenger.
  • the biometric sensor is provided on, for example, a seat surface or a steering wheel, and can detect biometric information of a passenger sitting on the seat or a driver who holds the steering wheel.
  • the passenger sensor 912 can form, for example, the detection unit 110 shown in FIG.
  • various sensors such as the outside sensor 908, the vehicle state sensor 910, and the passenger sensor 912 each output information indicating the detection result to the electronic control unit 902. These various sensors may set a sensing range or accuracy based on control by the electronic control unit 902. These various sensors include a recognition module that performs recognition processing based on raw data such as processing for recognizing the traveling position of the host vehicle on the road based on the position of the white line included in the captured image. Also good.
  • the communication IF 914 is a communication interface that mediates communication with other devices by the vehicle control system 900.
  • the communication IF 914 may include, for example, a V2X communication module.
  • V2X communication is a concept including vehicle-to-vehicle (Vehicle to Vehicle) communication and road-to-vehicle (Vehicle to Infrastructure) communication.
  • the communication IF 914 can be a wireless local area network (LAN), Wi-Fi (registered trademark), 3G, LTE (Long Term Evolution), Bluetooth (registered trademark), NFC (Near Field Communication), or WUSB (Wireless USB). ) Communication module.
  • LAN local area network
  • Wi-Fi registered trademark
  • 3G Third Generation
  • LTE Long Term Evolution
  • Bluetooth registered trademark
  • NFC Near Field Communication
  • WUSB Wireless USB
  • the communication IF 914 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or a communication device outside the vehicle.
  • the communication IF 914 can form, for example, the acquisition unit 120 or the second notification unit 140 illustrated in FIG.
  • the output device 916 is realized by a device that can notify the passenger of the acquired information visually or audibly.
  • Such devices include display devices such as instrument panels, head-up displays, projectors or lamps, and audio output devices such as speakers or headphones.
  • the display device visually displays the results obtained by various processes performed by the vehicle control system 900 in various formats such as text, images, tables, and graphs. At that time, a virtual object such as an AR (Augmented Reality) object may be displayed.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the display device or the audio output device can form, for example, the first notification unit 130 shown in FIG.
  • the power generation device 918 is a device for generating a driving force of the vehicle.
  • the power generation device 918 may be realized by an internal combustion engine, for example. In that case, the power generation device 918 performs start control, stop control, throttle valve opening control, fuel injection control, EGR (Exhaust Gas Recirculation) control, and the like based on a control command from the electronic control unit 902. .
  • the power generation device 918 may be realized by, for example, a motor, an inverter, and a battery. In that case, the power generation device 918 supplies electric power from the battery to the motor via the inverter based on a control command from the electronic control unit 902 and outputs a positive torque, so-called power running, and torque to the motor. And a regenerative operation of charging the battery via an inverter.
  • the braking device 920 is a device for applying a braking force to the vehicle, or decelerating or stopping the vehicle.
  • the braking device 920 may include, for example, a brake installed on each wheel, a brake pipe or an electric circuit for transmitting the depression pressure of the brake pedal to the brake, and the like.
  • the braking device 920 may include a control device for operating a sliding or skid prevention mechanism by brake control such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • Steering 922 is a device for controlling the traveling direction (steering angle) of the vehicle.
  • the steering 922 can include, for example, a steering wheel, a steering shaft, a steering gear, and a tie rod.
  • the steering 922 may include power steering for assisting steering by the driver.
  • the steering 922 may include a power source such as a motor for realizing automatic steering.
  • the lamp operating device 924 is a device that operates various lamps such as a headlight, a blinker, a vehicle width light, a fog light, or a stop lamp.
  • the lamp operating device 924 controls, for example, the blinking of the lamp, the amount of light, or the irradiation direction.
  • the power generation device 918, the braking device 920, the steering 922, and the lamp operation device 924 may operate based on a manual operation by a driver or may operate based on an automatic operation by the electronic control unit 902. .
  • FIG. 16 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus according to the present embodiment.
  • the information processing apparatus 1000 illustrated in FIG. 16 can realize, for example, the environment-installed sensor apparatus 200 illustrated in FIG.
  • Information processing by the environment-installed sensor device 200 according to the present embodiment is realized by cooperation between software and hardware described below.
  • the information processing apparatus 1000 includes a CPU (Central Processing Unit) 1001, a ROM (Read Only Memory) 1002, a RAM (Random Access Memory) 1003, and a host bus 1004a.
  • the information processing apparatus 1000 includes a bridge 1004, an external bus 1004b, an interface 1005, an input device 1006, an output device 1007, a storage device 1008, a drive 1009, a connection port 1011, and a communication device 1013.
  • the information processing apparatus 1000 may include a processing circuit such as a DSP or an ASIC in place of or in addition to the CPU 1001.
  • the CPU 1001 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 1000 according to various programs. Further, the CPU 1001 may be a microprocessor.
  • the ROM 1002 stores programs, calculation parameters, and the like used by the CPU 1001.
  • the RAM 1003 temporarily stores programs used in the execution of the CPU 1001, parameters that change as appropriate during the execution, and the like.
  • the CPU 1001 can form the control unit 260 shown in FIG.
  • the CPU 1001, the ROM 1002, and the RAM 1003 are connected to each other by a host bus 1004a including a CPU bus.
  • the host bus 1004a is connected to an external bus 1004b such as a PCI (Peripheral Component Interconnect / Interface) bus through a bridge 1004.
  • an external bus 1004b such as a PCI (Peripheral Component Interconnect / Interface) bus through a bridge 1004.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 1006 is realized by a device in which information is input by the user, such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever.
  • the input device 1006 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or a PDA that supports the operation of the information processing device 1000.
  • the input device 1006 may include, for example, an input control circuit that generates an input signal based on information input by the user using the above input means and outputs the input signal to the CPU 1001.
  • the user of the information processing apparatus 1000 can input various data and instruct processing operations to the information processing apparatus 1000 by operating the input device 1006.
  • the input device 1006 can be formed by a device that detects various information.
  • the input device 1006 includes various sensors such as an image sensor (for example, a camera), a depth sensor (for example, a stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance sensor, and a force sensor. Can be included.
  • the input device 1006 is information regarding the state of the information processing apparatus 1000 itself, such as the posture and movement speed of the information processing apparatus 1000, and information regarding the surrounding environment of the information processing apparatus 1000, such as brightness and noise around the information processing apparatus 1000. May be obtained.
  • the input device 1006 receives a GNSS signal (for example, a GPS signal from a GPS (Global Positioning System) satellite) from a GNSS (Global Navigation Satellite System) satellite, and receives position information including the latitude, longitude, and altitude of the device.
  • a GNSS module to measure may be included.
  • the input device 1006 may detect the position by transmission / reception with Wi-Fi (registered trademark), mobile phone / PHS / smartphone, or the like, or short-range communication.
  • the input device 1006 can form, for example, the detection unit 210 shown in FIG.
  • the output device 1007 is formed of a device capable of visually or audibly notifying the acquired information to the user. Examples of such devices include CRT display devices, liquid crystal display devices, plasma display devices, EL display devices, display devices such as laser projectors, LED projectors and lamps, audio output devices such as speakers and headphones, printer devices, and the like. .
  • the output device 1007 outputs results obtained by various processes performed by the information processing apparatus 1000. Specifically, the display device visually displays the results obtained by various processes performed by the information processing device 1000 in various formats such as text, images, tables, and graphs.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs it aurally.
  • the display device or the audio output device can form, for example, the first notification unit 230 shown in FIG.
  • the storage device 1008 is a data storage device formed as an example of a storage unit of the information processing device 1000.
  • the storage apparatus 1008 is realized by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 1008 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 1008 stores programs executed by the CPU 1001, various data, various data acquired from the outside, and the like.
  • the storage device 1008 can form, for example, the storage unit 250 shown in FIG.
  • the drive 1009 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 1000.
  • the drive 1009 reads information recorded on a mounted removable storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 1003.
  • the drive 1009 can also write information on a removable storage medium.
  • connection port 1011 is an interface connected to an external device, and is a connection port with an external device that can transmit data by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 1013 is a communication interface formed by a communication device or the like for connecting to the network 1020, for example.
  • the communication device 1013 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 1013 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 1013 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or other communication devices.
  • the communication device 1013 can form, for example, the acquisition unit 220 or the second notification unit 240 illustrated in FIG.
  • the network 1020 is a wired or wireless transmission path for information transmitted from a device connected to the network 1020.
  • the network 1020 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various LANs including Ethernet (registered trademark), a wide area network (WAN), and the like.
  • the network 1020 may also include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • IP-VPN Internet Protocol-Virtual Private Network
  • a computer program for realizing each function of the vehicle-mounted sensor device 100 or the environment-installed sensor device 200 according to the present embodiment as described above can be produced and mounted on an ECU, a PC, or the like.
  • a computer-readable recording medium storing such a computer program can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the above computer program may be distributed via a network, for example, without using a recording medium.
  • the sensor device detects the first sensor information, acquires the second sensor information, and the first sensor information and the second sensor information detected for the same moving object.
  • the processing based on the comparison result with the sensor information is controlled.
  • the sensor device can appropriately handle a difference in detection results between different sensor devices.
  • the sensor device can determine the abnormality of the sensor based on the comparison result. Thereby, the sensor device can autonomously find a sensor abnormality that may occur due to various factors and automatically correct it to a normal state.
  • the sensor device may notify the driver or other peripheral devices of the abnormality of the sensor.
  • the driver of the own vehicle or the other vehicle can recognize the sensor abnormality of the own vehicle and take appropriate measures. Since it is possible to cope with a sensor abnormality stage before a fatal accident, it is possible to prevent the accident.
  • the sensor device can use the second sensor information instead of the first sensor information detected by the sensor determined to be abnormal. Thereby, even if it is a case where sensor abnormality generate
  • the vehicle-mounted sensor device 100 and the environment-installed sensor device 200 are described as examples of the sensor device, but the present technology is not limited to such an example.
  • the sensor device can be mounted on an arbitrary moving body such as an aircraft, a bicycle, or a motorcycle.
  • the sensor device may be realized as a user device such as a smartphone or an HMD (Head Mounted Display).
  • each device described in this specification may be realized as a single device, or a part or all of them may be realized as separate devices.
  • the storage unit 160 and the control unit 170 include the detection unit 110, the acquisition unit 120, the first notification unit 130, the second notification unit 140, and It may be provided in a device such as a server connected to the operation control unit 150 via a network or the like. The same applies to the environmental installation type sensor device 200.
  • a detection unit for detecting first information about the moving body An acquisition unit that acquires second information related to the moving object detected by an external device; A control unit that controls processing based on a comparison result between the first information and the second information detected for the same moving object;
  • An information processing apparatus comprising: (2) The information processing apparatus according to (1), wherein the control unit determines an abnormality of the detection unit based on the comparison result. (3) The information processing apparatus according to (2), wherein the control unit determines that the detection unit is abnormal when an error between the first information and the second information satisfies a predetermined condition.
  • the information processing apparatus (9) The information processing apparatus according to (8), wherein the control unit stops a vehicle corresponding to the information processing apparatus. (10) The information processing apparatus according to (8), wherein the control unit switches a vehicle corresponding to the information processing apparatus from automatic driving to manual driving. (11) The control unit controls the vehicle so that the vehicle corresponding to the information processing device stays longer in the detection range of the second information of the external device, any of (8) to (10) The information processing apparatus according to one item. (12) The acquisition unit acquires the second sensor information preferentially from the external device predicted to be in the vicinity of the vehicle corresponding to the information processing device or in the near future, according to (1) to (11) The information processing apparatus according to any one of claims.
  • the acquisition unit acquires the second information preferentially from the external device capable of detecting the information related to the moving body with higher accuracy than the detection unit, any one of (1) to (12)
  • the first information and the second information are at least one of the position, size, type, speed, acceleration, moving direction of the moving object, or a predicted value, detection accuracy, detection time, or reliability.
  • An information processing method including: (17) Computer A detection unit for detecting first information about the moving body; An acquisition unit that acquires second information related to the moving object detected by an external device; A control unit that controls processing based on a comparison result between the first information and the second information detected for the same moving object; Program to function as.

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】センサ間の検出結果の差異を適切に取り扱うことが可能な情報処理装置、情報処理方法及びプログラムを提供する。 【解決手段】移動体に関する第１の情報を検出する検出部と、外部の装置により検出された前記移動体に関する第２の情報を取得する取得部と、同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理を制御する制御部と、を備える情報処理装置。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　近年、車載のセンサ又は路上の監視カメラ等のセンサを用いて車の安全性を向上させる交通システムが注目されている。そのような交通システムでは、複数のセンサにより検出された情報を統合することで有用な情報が抽出され、ドライバーに通知される又は自動運転の入力情報にされる等の活用がなされている。
　そのような技術の一例として、例えば、下記特許文献１では、自車両及び他車両において検出された位置情報及び速度情報に基づいて、自車両と他車両との相対的な位置関係を認識する技術が開示されている。
　また、下記特許文献２では、環境設置されたカメラにより撮像された画像に基づいて、自車両から見て死角となる位置に潜む他車両や歩行者に関する情報をドライバーに通知する技術が開示されている。
特開２０１４－７１８３９号公報 特開２０１３－２００８２０号公報
　上記の特許文献１又は２などで提案されている技術は、未だ開発されてから日が浅く、さまざまな局面でセンサを活用するための技術が十分に提案されているとはいいがたい。例えば、センサ間の検出結果の差異を適切に取り扱うための技術も、十分には提案されていないものの一つである。
　そこで、本開示では、センサ間の検出結果の差異を適切に取り扱うことが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
　本開示によれば、移動体に関する第１の情報を検出する検出部と、外部の装置により検出された前記移動体に関する第２の情報を取得する取得部と、同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理を制御する制御部と、を備える情報処理装置が提供される。
　また、本開示によれば、移動体に関する第１の情報を検出することと、外部の装置により検出された前記移動体に関する第２の情報を取得することと、同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理をプロセッサにより制御することと、を含む情報処理方法が提供される。
　また、本開示によれば、コンピュータを、移動体に関する第１の情報を検出する検出部と、外部の装置により検出された前記移動体に関する第２の情報を取得する取得部と、同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理を制御する制御部と、として機能させるためのプログラムが提供される。
　以上説明したように本開示によれば、センサ間の検出結果の差異を適切に取り扱うことが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概要を説明するための説明図である。 第１の実施形態に係る車載型センサ装置の論理的な構成の一例を示すブロック図である。 同実施形態に係る環境設置型センサ装置の論理的な構成の一例を示すブロック図である。 同実施形態に係るセンサ異常の判定処理を説明するための説明図である。 同実施形態に係るセンサ異常の判定処理を説明するための説明図である。 同実施形態に係るＵＩ例を説明するための図である。 同実施形態に係るセンサ情報の補完処理を説明するための説明図である。 同実施形態に係る車載型センサ装置において実行される情報処理の流れの一例を示すフローチャートである。 同実施形態に係る車載型センサ装置において実行される第２のセンサ情報の取得処理の流れの一例を示すフローチャートである。 同実施形態に係る車載型センサ装置において実行される第２のセンサ情報の取得処理の流れの一例を示すフローチャートである。 同実施形態に係る車載型センサ装置において実行されるセンサ異常の判定処理の流れの一例を示すフローチャートである。 同実施形態に係る車載型センサ装置において実行されるキャリブレーション処理の流れの一例を示すフローチャートである。 同実施形態に係る車載型センサ装置において実行される警告処理の流れの一例を示すフローチャートである。 同実施形態に係る車載型センサ装置において実行される自動運転処理の流れの一例を示すフローチャートである。 車両システムのハードウェア構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．はじめに
　　　１．１．概要
　　　１．２．技術的課題
　　２．第１の実施形態
　　　２．１．車載型センサ装置の構成例
　　　２．２．環境設置型センサ装置の構成例
　　　２．３．技術的特徴
　　　２．４．処理の流れ
　　３．ハードウェア構成例
　　４．まとめ
　＜＜１．はじめに＞＞
　　＜１．１．概要＞
　まず、図１を参照して、本開示の一実施形態に係るシステム１の概要を説明する。
　図１は、本実施形態に係るシステム１の概要を説明するための説明図である。図１では、車両１０ＡがＸ方向に、車両１０Ｂが－Ｙ方向にそれぞれ走行して、交差点に進入しつつある状況を示している。例えば、車両１０Ａのドライバーにとっては、車両１０Ｂを視認できない場合もあるので、車両１０Ｂの情報が提供されることが望ましい。車両１０Ｂのドライバーにとっても同様である。
　そのため、システム１に含まれる各センサ装置は、内蔵する又は接続されたセンサにより検出した情報を互いに共有する。これにより、システム１は、多様なサービスを提供することが可能となる。例えば、システム１は、ドライバーにドライバー自身が認識していない危険を通知したり、車両の自動運転のための情報を各車両に提供したりする。
　センサ装置は、例えば車両１０Ａ、１０Ｂ等の移動体に搭載され得る。また、センサ装置は、例えば信号機２０Ａ、２０Ｂ等の施設に搭載され得る。例えば、車両１０Ａに搭載されたセンサ装置（図２を参照して説明する車載型センサ装置１００）、及び信号機２０Ａに搭載されたセンサ装置（図３を参照して説明する環境設置型センサ装置２００）は、車両１０Ａ又は車両１０Ａのドライバーに関するセンシングを行う。同様に、車両１０Ｂに搭載されたセンサ装置、及び信号機２０Ｂに搭載されたセンサ装置は、車両１０Ｂ又は車両１０Ｂのドライバーに関するセンシングを行う。そして、車両１０Ａ又は車両１０Ａのドライバーに関して得られたセンサ情報、及び車両１０Ｂ又は車両１０Ｂのドライバーに関して得られたセンサ情報は、これらのセンサ装置の間で共有される。これにより、各センサ装置は、共有されたセンサ情報に基づく処理を行うことができる。例えば、車両１０Ａに搭載されたセンサ装置は、車両１０Ｂ又は車両１０Ｂのドライバーに関して得られたセンサ情報に基づいて、車両１０Ｂとの事故を回避するための処理を行う。
　情報の共有は、例えばセンサ装置間で直接的に行われてもよい。他にも、情報の共有、及び／又は共有された情報に基づく処理は、例えばクラウド上のサーバ３０により行われてもよい。情報共有される地理的範囲が限定され得ることを考慮すれば、サーバ３０は例えば移動体通信の基地局に設けられるＭＥＣ（Mobile　edge　Computing）サーバとして実現されることも、サービスのレイテンシ低減のために有効である。
　　＜１．２．技術的課題＞
　上記説明したシステム１では、車両等の移動体及び信号機等の設備といった多様な装置にセンサが搭載される。システム１により提供されるサービスは、これらのセンサにより検出された情報に基づく。そのため、サービスの質は、センサが正常であるか又は異常であるかに依存することとなる。
　センサの異常は、多様な要因により発生し得る。その要因としては、例えば霧又は雨といった天候の影響、荒い運転によるセンサ設置角の変化等が挙げられる。センサが搭載される装置の数が膨大になり得ることを考慮すると、センサの異常が自律的に発見され、正常な状態に自動的に修正されることが望ましい。
　そこで、上記事情を一着眼点にして本開示の一実施形態に係るシステム１を創作するに至った。本実施形態に係るシステム１では、センサの異常が自律的に発見され、センサの異常に応じた処理が行われる。
　＜＜２．第１の実施形態＞＞
　まず、図２及び図３を参照して、各装置の構成例を説明する。
　　＜２．１．車載型センサ装置の構成例＞
　図２は、本実施形態に係る車載型センサ装置１００の論理的な構成の一例を示すブロック図である。図２に示すように、車載型センサ装置１００は、検出部１１０、取得部１２０、第１の通知部１３０、第２の通知部１４０、運転制御部１５０、記憶部１６０及び制御部１７０を含む。
　　（１）検出部１１０
　検出部１１０は、多様な情報を検出（センシング）する機能を有する。
　例えば、検出部１１０は、移動体に関する情報を検出する。この移動体は、車載型センサ装置１００が搭載される移動体自身であってもよいし、それ以外の移動体であってもよい。検出される情報は、例えば移動体の位置、速度、加速度、及び／又は大きさを含み得る。検出部１１０は、ステレオカメラ、レーザレンジセンサ、又はミリ波レーダ等を含んでいてもよい。また、検出部１１０は、ジャイロセンサ、又は加速度センサ等を含んでいてもよい。また、検出部１１０は、車両の各部に配置され、エンジンの回転数、トルク、又は車両の操作状態等を検出するための各種センサを含んでいてもよい。検出部１１０は、これらのセンサにより得られた生データから、速度等を認識するための認識モジュールを含むものとする。
　検出部１１０により検出された情報を、以下では第１のセンサ情報（第１の情報）とも称する。
　　（２）取得部１２０
　取得部１２０は、外部の装置により検出された移動体に関する情報を取得する機能を有する。例えば、取得部１２０は、他のセンサ装置（他の車載型センサ装置１００又は環境設置型センサ装置２００）により検出された情報（第１のセンサ情報）を取得する。例えば、取得部１２０は、通信装置により実現され得る。
　取得部１２０により取得された情報を、以下では第２のセンサ情報（第２の情報）とも称する。なお、第２のセンサ情報は、取得元の他のセンサ装置にとっての第１のセンサ情報である。第１のセンサ情報と第２のセンサ情報とを特に区別する必要がない場合、センサ情報と総称する。
　　（３）第１の通知部１３０
　第１の通知部１３０は、車載型センサ装置１００が搭載される車両のドライバー（ユーザ）へ、多様な情報を通知する機能を有する。例えば、第１の通知部１３０は、表示装置、音声出力装置、又は振動等を行うアクチュエータ等により実現され得る。
　　（４）第２の通知部１４０
　第２の通知部１４０は、車載型センサ装置１００が搭載される車両以外の装置へ、多様な情報を通知する機能を有する。例えば、第２の通知部１４０は、通信装置により実現され得る。他にも、第２の通知部１４０は、表示装置により実現されてもよい。その場合、受信側は、例えば表示された情報を画像認識等することで、通知された情報を認識し得る。
　　（５）運転制御部１５０
　運転制御部１５０は、車載型センサ装置１００が搭載された車両の自動運転を行う機能を有する。例えば、運転制御部１５０は、第１のセンサ情報又は第２のセンサ情報に基づいて、車載型センサ装置１００が搭載された車両、他の車両、及び路面の状況を把握し、ステアリング制御、アクセル制御、及びブレーキ制御等を行う。運転制御部１５０による自動運転機能のＯＮ／ＯＦＦは、制御部１７０により切り替えられる。
　　（６）記憶部１６０
　記憶部１６０は、車載型センサ装置１００の動作のためのプログラム及び様々なデータを一時的に又は恒久的に記憶する。
　　（７）制御部１７０
　制御部１７０は、演算処理装置及び制御装置として機能し、各種プログラムに従って車載型センサ装置１００内の動作全般を制御する。制御部１７０は、車載型センサ装置１００の様々な機能を提供する。制御部１７０により提供される機能については、後に詳細に説明する。
　　＜２．２．環境設置型センサ装置の構成例＞
　図３は、本実施形態に係る環境設置型センサ装置２００の論理的な構成の一例を示すブロック図である。図３に示すように、環境設置型センサ装置２００は、検出部２１０、取得部２２０、第１の通知部２３０、第２の通知部２４０、記憶部２５０及び制御部２６０を含む。これらの構成要素の機能は、車載型センサ装置１００に含まれる検出部１１０、取得部１２０、第１の通知部１３０、第２の通知部１４０、記憶部１６０及び制御部１７０と同様である。即ち、環境設置型センサ装置２００は、運転制御部１５０以外、車載型センサ装置１００と同様の機能構成を有する。
　以上、各装置の構成例を説明した。
　　＜２．３．技術的特徴＞
　続いて、図４～図７を参照して、本実施形態に係る車載型センサ装置１００の技術的特徴を説明する。以下では、ひとつの車載型センサ装置１００に着目して技術的特徴を説明する。着目する車載型センサ装置１００が搭載される車両を自車両とも称し、他の車両を他車両とも称する。他車両に搭載される車載型センサ装置１００を、他の車載型センサ装置１００とも称する。また、車載型センサ装置１００以外のセンサ装置（他の車載型センサ装置１００又は環境設置型センサ装置２００）を、他のセンサ装置とも称する。
　　（１）情報の共有
　各センサ装置は、情報の共有を行う。例えば、車載型センサ装置１００（例えば、第２の通知部１４０）は、他のセンサ装置へ第１のセンサ情報を送信する。また、車載型センサ装置１００（例えば、取得部１２０）は、他のセンサ装置から第２のセンサ情報を取得する。
　車載型センサ装置１００（例えば、制御部１７０）は、自車両から所定距離内に存在する他のセンサ装置との間でセンサ情報を共有してもよい。所定距離内に存在するか否かは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信信号の送受信結果、又は予め登録された他のセンサ装置の位置情報に基づいて判定され得る。各センサ装置は、サーバ３０を経由して互いの位置情報を送受信していてもよい。
　車載型センサ装置１００は、自身で検出可能な範囲と重複する範囲を検出可能な他のセンサ装置から、優先的に第２のセンサ情報を取得してもよい。その場合、車載型センサ装置１００は、同一の範囲に関する多面的なセンサ情報を知得可能である。
　車載型センサ装置１００は、自身で検出可能な範囲と重複しない範囲（即ち、死角）を検出可能な他のセンサ装置から、優先的に第２のセンサ情報を取得してもよい。より簡易には、車載型センサ装置１００は、死角に存在する他のセンサ装置から、優先的に第２のセンサ情報を取得してもよい。ここで、死角とは、自車両との間に障害物があるなどの原因で、車載型センサ装置１００のセンサからではセンサ情報を検出できない領域を指す。車載型センサ装置１００は、死角にかかるセンサ情報を取得することで、より広い範囲のセンサ情報を知得可能である。
　車載型センサ装置１００（例えば、取得部１２０）は、自車両の近傍又は将来近傍になると予測される他のセンサ装置から、優先的に第２のセンサ情報を取得してもよい。その場合、車載型センサ装置１００は、自車両の将来に関連するセンサ情報を効率的に知得可能である。
　車載型センサ装置１００（例えば、取得部１２０）は、自身（即ち、検出部１１０）よりも精度よくセンサ情報を検出可能な他のセンサ装置から、優先的に第２のセンサ情報を取得してもよい。その場合、車載型センサ装置１００は、より精度の高いセンサ情報を効率的に知得可能である。
　上記説明した、どの他のセンサ装置から優先的に第２のセンサ情報を取得するかの基準は、任意の順位付けがなされてもよいし、適宜組み合わされてもよい。
　　（２）共有されるセンサ情報
　共有されるセンサ情報は多様に考えられる。
　例えば、センサ情報は、移動体に関する情報を含み得る。センサ情報は、例えば、移動体の位置、大きさ、種類、速度、加速度、移動方向、検出精度、又は検出時刻の少なくともいずれかを含み得る。センサ情報は、複数の移動体の各々の上記情報を含み得る。ここで、移動体とは、自車両であってもよいし、他車両であってもよいし、歩行者等の任意の移動体であってもよい。
　また、センサ情報は、ドライバーの生体情報を含み得る。生体情報は、心拍、体温、発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、又はＳＰＯ２（血中酸素飽和度）の少なくともいずれかを含み得る。生体情報は、これらの情報そのものを含んでいてもよいし、例えば体温及び発汗等に基づいて認識される緊張度等を示す情報が含まれていてもよい。
　また、センサ情報は、信頼度を含み得る。信頼度は、センサ情報の確からしさを示す情報である。例えば、信頼度は、センサの性能が良い、所定期間以上の期間に渡って情報の一貫性が有る、複数のセンサにより検出されたセンサ情報である、自車両が所定速度以下で走行中に検出されたセンサ情報である、等において高い値となる。
　また、センサ情報は、当該センサ情報を検出したセンサ装置又は当該センサ装置が搭載される装置の属性情報又は内部状態を示す情報を含み得る。センサ情報は、例えば、車載型か環境設置型かを示す情報、センサ装置が設けられた位置及び姿勢を示す情報、又はセンサ装置が含むセンサの識別情報の少なくともいずれかを含み得る。
　　（３）共有された情報に基づく処理
　車載型センサ装置１００は、共有された情報に基づいて多様な処理を行い得る。
　　（３－１）比較結果に基づく処理
　車載型センサ装置１００（例えば、制御部１７０）は、同一の移動体について検出された第１のセンサ情報と第２のセンサ情報との比較結果に基づく処理を制御してもよい。
　　　（異常判定）
　例えば、車載型センサ装置１００（例えば、制御部１７０）は、比較結果に基づいて検出部１１０の異常を判定する。検出部１１０は、複数のセンサを有し得る。車載型センサ装置１００は、これらの複数のセンサの各々について異常を判定してもよい。検出部１１０の異常を、以下ではセンサ異常とも称する。
　車載型センサ装置１００は、第１のセンサ情報と第２のセンサ情報との誤差が所定の条件を満たす場合に、センサ異常であると判定する。例えば、車載型センサ装置１００は、同一の移動体に関する第１のセンサ情報と第２のセンサ情報との誤差が閾値よりも大きい場合にセンサ異常であると判定し、誤差が閾値以下である場合は正常であると判定する。この点について、図４及び図５を参照して詳しく説明する。
　図４及び図５は、本実施形態に係るセンサ異常の判定処理を説明するための説明図である。図４では、車両１０Ａ及び１０ＢがＸ方向に走行して、信号機２０が設けられた横断歩道に到達しつつある状況を示している。横断歩道では、人１０Ｃが横断中である。このような状況下では、例えば車両１０Ａ、１０Ｂ及び信号機２０に搭載されたセンサ装置（車載型センサ装置１００又は環境設置型センサ装置２００）は、移動体である人１０Ｃに関するセンサ情報を共有する。センサ情報の共有結果を図５に示す。座標４０Ａは、車両１０Ａに搭載された車載型センサ装置１００Ａにより検出された人１０Ｃの位置を示す。座標４０Ｂは、車両１０Ｂに搭載された車載型センサ装置１００Ｂにより検出された人１０Ｃの位置を示す。座標４０Ｃは、信号機２０に搭載された環境設置型センサ装置２００により検出された人１０Ｃの位置を示す。例えば、座標４０Ｂと４０Ｃから座標４０Ａは離れているので、車載型センサ装置１００Ａは、自身のセンサは異常であると判定し得る。
　各センサ情報の対象が同一の移動体であるか否かは、多様な方法により判定され得る。例えば、各センサ情報が対象とする移動体の座標が所定距離以内である場合に、同一の移動体であると判定され得る。また、各センサ情報が対象とする移動体から同一の識別情報が認識された場合に、同一の移動体であると判定され得る。識別情報は、車両又はセンサ装置から発信される識別ＩＤであってもよいし、ナンバープレートを画像認識することで得られる自動車登録番号等であってもよい。
　車載型センサ装置１００は、信頼度が所定値以上のセンサ情報のみを比較対象としてもよい。これにより、異常値との比較に基づいてセンサ異常が誤って判定されることが防止される。
　また、車載型センサ装置１００は、第１のセンサ情報との比較処理を、複数の第２のセンサ情報との間でそれぞれ行ってもよい。その場合、車載型センサ装置１００は、センサ異常が判定された割合に基づいて、最終的なセンサ異常の有無を判定してもよいし、センサ異常の判定結果の確信度を設定してもよい。
　車載型センサ装置１００は、比較対象となる第２のセンサ情報を、任意の基準で選択してもよい。例えば、車載型センサ装置１００は、自車両に対向する他車両に搭載された他の車載型センサ装置１００から取得された第２のセンサ情報を優先的に選択してもよい。その場合、比較対象となる第２のセンサ情報を短時間で大量に収集することが可能となる。また、車載型センサ装置１００は、自車両の前後の他車両又は並走する他車両に搭載された他の車載型センサ装置１００から取得された第２のセンサ情報を優先的に選択してもよい。その場合、データ通信量が多い第２のセンサ情報を取得すること又は時間がかかる比較処理を行うことが可能となる。また、車載型センサ装置１００は、停車中の他車両に搭載された他の車載型センサ装置１００又は施設に搭載された環境設置型センサ装置２００から取得された第２のセンサ情報を優先的に選択してもよい。その場合、より安定した（即ち、信頼度が高い）第２のセンサ情報を収集することが可能となる。
　以下、センサ異常の判定処理の具体例を説明する。
　例えば、信頼度が所定値以上である第１のセンサ情報と第２のセンサ情報とのペアが所定時間内にｎ個得られたものとする。その場合、車載型センサ装置１００は、下記の数式（１）により評価値を算出して、評価値が閾値より大きい場合にセンサ異常であると判定する。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｓｉは、ペアｉに係る差分値である。例えば、差分値は、センサ情報を数値ベクトルで表現した場合の、第１のセンサ情報と第２のセンサ情報とのユークリッド距離である。Ｉ（ｓｉ＞ｃ）は、ｓｉがｃより大きい場合に１、ｃ以下である場合に０の値をとる。ｃは、閾値であり、あらかじめ設定される。
　また、上記数式（１）に代わり、信頼度により重み付けされた下記の数式（２）が用いられてもよい。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｒｉは、ｉ番目のセンサ情報のペアにおける双方の信頼度の積である。
　以上、センサ異常の判定処理の具体例を説明した。
　なお、上記では、車載型センサ装置１００は、第１のセンサ情報と他のセンサ装置により検出された第２のセンサ情報との関係で、自身のセンサの異常を判定するものとして説明した。同様の方法で、車載型センサ装置１００は、自身が有する複数のセンサにより検出されたセンサ情報同士の関係で、センサの異常を判定してもよい。
　　　（警告）
　例えば、車載型センサ装置１００（例えば、第１の通知部１３０及び制御部１７０）は、センサ異常を示す情報をドライバー（ユーザ）へ通知する。これにより、ドライバーは、自車両のセンサ異常を認識し、例えば自動運転から手動運転に切り替えたりする等、センサ異常への対応が可能となる。図６に、このような通知に係るＵＩ例を示した。例えば、後方カメラセンサＢに異常が発生した場合、図６に示すように、車載型センサ装置１００は、後方カメラセンサＢが正しく動作していない旨の警告文をディスプレイ１３１によりを表示すると共に、警告音１３２を出力する。
　例えば、車載型センサ装置１００（例えば、第２の通知部１４０及び制御部１７０）は、センサ異常を示す情報を他の装置へ通知する。例えば、車載型センサ装置１００は、センサ異常を示す情報を、他のセンサ装置、保険会社の装置、ディーラーの装置、障害ＤＢ（Data　Base）へ通知する。これにより、自車両のセンサ異常が周囲に共有され、センサ異常への適切な対応が実現される。例えば、センサ異常が車両の修理施設へ通知されると、修理施設は、かかるセンサを予め発注することが可能となり、速やかな修理を行うことが可能となる。また、センサ異常がロードサービス提供者へ通知されると、ドライバーは、ロードサービス提供者へ連絡を行わなくても、ロードサービスの提供を受けることができる。また、センサ異常が周囲の他車両へ通知されると、他車両は、事故回避のために車間距離を空ける等の対応を行うことができる。
　　　（キャリブレーション）
　例えば、車載型センサ装置１００（例えば、検出部１１０及び制御部１７０）は、第１のセンサ情報と第２のセンサ情報との誤差が低減するよう検出部１１０を調整してもよい。具体的には、車載型センサ装置１００は、検出部１１０に含まれる各センサ又は認識モジュールのパラメータを調整することで、キャリブレーションを行う。例えば、車載型センサ装置１００は、上記数式（１）又は数式（２）により算出した差分の評価値を蓄積し、蓄積した評価値が小さくなる方向に変化するようキャリブレーションを行う。キャリブレーションに、信頼度が加味されてもよい。このようなキャリブレーション処理により、車載型センサ装置１００は、自身のセンサの異常を正すことが可能である。
　　　（利用するセンサ情報の選択）
　例えば、車載型センサ装置１００（例えば、制御部１７０）は、利用するセンサ情報の選択を行ってもよい。例えば、車載型センサ装置１００は、異常であると判定された検出部１１０により検出された第１のセンサ情報に代えて、対応する（同種のセンサにより検出された）第２のセンサ情報を用いてもよい。これにより、例えば正常なセンサにより得られたセンサ情報のみを用いた自動運転が実現され、自動運転の安全性が向上する。また、車載型センサ装置１００は、センサに異常がある場合であっても、自車両の自動運転を継続させることができる。なお、利用するセンサ情報の選択が行われた場合、車載型センサ装置１００（例えば、第１の通知部１３０）は、当該選択に関する情報をユーザへ通知してもよい。例えば、車載型センサ装置１００は、利用するセンサ情報を切り替えたことを示す情報、及び利用するセンサ情報の取得元の他のセンサ装置を示す情報等をユーザへ通知し得る。
　　　（自動運転）
　車載型センサ装置１００（例えば、運転制御部１５０及び制御部１７０）は、共有されたセンサ情報を用いて、自動運転を行ってもよい。車載型センサ装置１００は、上述した利用するセンサ情報の選択処理、又はセンサ情報の補完処理を経ることで、正しいセンサ情報に基づく自動運転を行うことができる。
　センサ異常が発生した場合、車載型センサ装置１００（例えば、運転制御部１５０及び制御部１７０）は、車載型センサ装置１００に対応する車両（即ち、自車両）の自動運転を停止させてもよい。具体的には、車載型センサ装置１００は、自車両を停止させたり、自動運転から手動運転に切り替えたりする。これにより、異常なセンサにより検出されたセンサ情報を用いた自動運転が行われることが防止される。
　自動運転が停止されるまでの間、上述したように、第２のセンサ情報が自動運転のために利用される。そして、第２のセンサ情報が得られる範囲を出た場合又はその範囲内で、自動運転は停止され得る。そのため、車載型センサ装置１００（例えば、運転制御部１５０及び制御部１７０）は、自車両が他のセンサ装置の第２のセンサ情報の検出範囲内により長く滞在するよう自車両を制御してもよい。例えば、車載型センサ装置１００は、スピードを落としたり、他のセンサ装置が数多く存在する道を選んで走行したり、環境設置型センサ装置２００が設置された曲がり角で曲がるよう、自車両を制御する。これにより、自動運転が停止されるまでの期間が長くなるので、ユーザは落ち着いて手動運転の準備を行うことができる。
　　（３－２）センサ情報の補完
　車載型センサ装置１００（例えば、制御部１７０）は、センサ情報の補完を行ってもよい。例えば、車載型センサ装置１００は、検出部１１０に含まれない種類のセンサにより得られた第２のセンサ情報により、第１のセンサ情報を補完してもよい。また、車載型センサ装置１００は、自身で検出可能な範囲と重複しない範囲（即ち、死角）を検出可能な他のセンサ装置から得られた第２のセンサ情報により、第１のセンサ情報を補完してもよい。なお、センサ情報の補完が行われた場合、車載型センサ装置１００（例えば、第１の通知部１３０）は、当該補完に関する情報をユーザへ通知してもよい。例えば、車載型センサ装置１００は、センサ情報の補完が行われたことを示す情報、及び補完している他のセンサ装置を示す情報等をユーザへ通知し得る。
　センサ情報の補完により、車載型センサ装置１００が利用可能なセンサ情報の情報量が増加する。例えば、車載型センサ装置１００は、第１のセンサ情報に加えて、補完した第２のセンサ情報を運転制御部１５０へ入力することで、第１のセンサ情報のみを入力する場合と比較して、より安全性が高い自動運転を実現することができる。
　以下、図７を参照して、死角のセンサ情報の補完について説明する。
　図７は、本実施形態に係るセンサ情報の補完処理を説明するための説明図である。図７では、車両１０ＡがＸ方向に、車両１０Ｂが－Ｙ方向にそれぞれ走行して、それぞれが曲がり角に差し掛かっている状況を示している。車両１０Ａのフロント側にセンサが設けられており、曲がり角内側に設けられた壁５０の影響で死角６０が生じているものとする。その場合、車両１０Ａに搭載された車載型センサ装置１００は、死角６０に設けられた又は死角６０を検出範囲とする、監視カメラ２０に設けられた環境設置型センサ装置２００から第２のセンサ情報を取得して、第１のセンサ情報を補完する。これにより、車載型センサ装置１００は、死角６０に存在する車両１０Ｂの存在を加味した自動運転を行うことができるので、事故回避率が向上する。
　他にも、車載型センサ装置１００は、第１のセンサ情報のうち精度（又は信頼度）が低い情報を、第２のセンサ情報により補完してもよい。例えば、トンネルの出入り口では、トンネルの内外で明暗の差が大きいため、トンネル内の自車両からトンネル外の様子を正確に検出することは困難である。そのため、車載型センサ装置１００は、トンネル外に存在する他のセンサ装置から第２のセンサ情報を取得して、第１のセンサ情報を補完してもよい。また、車載型センサ装置１００は、単に他のセンサ装置の方が自身よりもセンサ精度が高い場合に、当該他のセンサ装置から取得した第２のセンサ情報で、第１のセンサ情報を補完してもよい。
　　（３－３）予測
　車載型センサ装置１００（例えば、制御部１７０）は、センサ情報に基づいて予測を行ってもよい。
　例えば、車載型センサ装置１００は、将来のセンサ情報の予測を行ってもよい。詳しくは、車載型センサ装置１００は、移動体の位置、大きさ、種類、速度、加速度、又は移動方向の予測を行ってもよい。他にも、車載型センサ装置１００は、ドライバーの生体情報の予測を行ってもよい。また、車載型センサ装置１００は、信頼度の予測を行ってもよい。さらに、これらの予測値が、共有されるセンサ情報に含まれてもよい。もちろん、車載型センサ装置１００は、この予測値に関しても、上述した比較結果に基づく処理、及びセンサ情報の補完を同様に行い得る。
　例えば、車載型センサ装置１００は、上記センサ情報の予測に基づいて、各車両間の相対関係の予測を行ってもよい。例えば、車載型センサ装置１００は、自車両と他車両との距離、接近速度、又は接近加速度等を予測し得る。
　　（３－４）その他
　他にも車載型センサ装置１００（例えば、制御部１７０）は、センサ情報に基づいて多様な処理を行い得る。例えば、車載型センサ装置１００は、センサ情報に基づいて自車両の位置推定、衝突確率の推定、物体の種類の認識、システム状態の確認等の、多様な処理を行い得る。
　以上、本実施形態に係る車載型センサ装置１００の技術的特徴を説明した。上記説明した技術的特徴は、自動運転に関する特徴以外、環境設置型センサ装置２００も同様に有し得る。
　　＜２．４．処理の流れ＞
　続いて、図８～図１３を参照して、本実施形態に係る車載型センサ装置１００において実行される処理の流れを説明する。
　　（１）全体的な処理
　図８は、本実施形態に係る車載型センサ装置１００において実行される情報処理の流れの一例を示すフローチャートである。
　図８に示すように、まず、検出部１１０は、第１のセンサ情報を検出する（ステップＳ１００）。続いて、取得部１２０は、第２のセンサ情報を取得する（ステップＳ２００））。そして、制御部１７０は、第１のセンサ情報と第２のセンサ情報とを比較することでセンサ異常を判定し（ステップＳ３００）、キャリブレーションを行う（ステップＳ４００）。次いで、制御部１７０は、検出部１１０の異常を示す警告を、ユーザ及び／又は他の装置へ通知する（ステップＳ５００）。そして、運転制御部１５０は、自動運転を行う（ステップＳ６００）。
　以上、全体的な処理の流れの一例を説明した。続いて、各ステップにおける詳細な処理の流れを説明する。
　　（２）第２のセンサ情報の取得処理
　まず、図９を参照して第１の例を説明し、続いて図１０を参照して第２の例を説明する。
　　（２－１）第１の例
　図９は、本実施形態に係る車載型センサ装置１００において実行される第２のセンサ情報の取得処理の流れの一例を示すフローチャートである。本フローは、図８におけるステップＳ２００における処理の詳細な流れを示している。
　図９に示すように、まず、取得部１２０は、自車両からの距離が閾値Ｘ１以内である他のセンサ装置の位置情報をサーバ３０から取得する（ステップＳ２０２）。次いで、制御部１７０は、自車両の位置情報とサーバ３０から取得した位置情報とから、自車両と他のセンサ装置との距離を算出し、算出した距離が閾値Ｘ２以内である他のセンサ装置を、近傍のセンサ装置であると判定する（ステップＳ２０４）。
　また、制御部１７０は、取得部１２０が他のセンサ装置からの近距離無線通信信号の受信に成功した場合、送信元の他のセンサ装置を、近傍のセンサ装置であると判定する（ステップＳ２０６）。
　そして、取得部１２０は、近傍のセンサ装置から第２のセンサ情報を取得する（ステップＳ２０８）。
　　（２－２）第２の例
　図１０は、本実施形態に係る車載型センサ装置１００において実行される第２のセンサ情報の取得処理の流れの一例を示すフローチャートである。本フローは、図８におけるステップＳ２００における処理の詳細な流れを示している。
　図１０に示すように、まず、制御部１７０は、死角の位置情報を算出する（ステップＳ２１２）。例えば、制御部１７０は、自車両の前方を撮像した撮像画像に基づいて壁等の障害物を認識し、認識した障害物より後方の領域の位置情報を自車両の位置情報に基づいて算出する。
　そして、制御部１７０は、近傍のセンサ装置のうち、算出した死角の位置情報に含まれる位置情報を有する他のセンサ装置から、第２のセンサ情報を取得する（ステップＳ２１４）。なお、近傍のセンサ装置の判定は、図９を参照して上記説明した処理と同様にして行われ得る。
　　（３）センサ異常の判定処理
　図１１は、本実施形態に係る車載型センサ装置１００において実行されるセンサ異常の判定処理の流れの一例を示すフローチャートである。本フローは、図８におけるステップＳ３００における処理の詳細な流れを示している。
　図１１に示すように、まず、制御部１７０は、同一の移動体について検出された第１のセンサ情報と第２のセンサ情報とをペアリングする（ステップＳ３０２）。複数の他のセンサ装置から第２のセンサ情報が取得された場合、ペアは複数生成されることとなる。
　次いで、制御部１７０は、複数のペアの中から、ペアに含まれるセンサ情報の信頼度が共に閾値Ｙ１以上であるペアを抽出する（ステップＳ３０４）。次に、制御部１７０は、抽出したペアについて差分の評価値を算出する（ステップＳ３０６）。この算出には、例えば上述した数式（１）又は数式（２）が用いられ得る。
　そして、制御部１７０は、評価値が閾値Ｙ２以上であるペアの割合が閾値Ｙ３以上であるセンサ情報を検出したセンサは異常であると判定する（ステップＳ３０８）。
　　（４）キャリブレーション処理
　図１２は、本実施形態に係る車載型センサ装置１００において実行されるキャリブレーション処理の流れの一例を示すフローチャートである。本フローは、図８におけるステップＳ４００における処理の詳細な流れを示している。
　図１２に示すように、まず、制御部１７０は、上記ステップＳ３０６において算出される差分の評価値を蓄積する（ステップＳ４０２）。そして、制御部１７０は、蓄積した評価値に基づき、評価値が小さくなるようキャリブレーションを行う（ステップＳ４０４）。
　　（５）警告処理
　図１３は、本実施形態に係る車載型センサ装置において実行される警告処理の流れの一例を示すフローチャートである。本フローは、図８におけるステップＳ５００における処理の詳細な流れを示している。
　図１３に示すように、まず、制御部１７０は、上記ステップＳ４００においてキャリブレーションに失敗したセンサがあるか否かを判定する（ステップＳ５０２）。
　キャリブレーションに失敗したセンサがある場合（ステップＳ５０２／ＹＥＳ）、制御部１７０は、ユーザ又は周囲の他車両にセンサ異常が発生した旨の警告を通知するよう第１の通知部１３０又は第２の通知部１４０を制御する（ステップＳ５０４）。キャリブレーションに失敗したセンサがない場合（ステップＳ５０２／ＮＯ）、制御部１７０は、警告を行わない。
　　（６）自動運転処理
　図１４は、本実施形態に係る車載型センサ装置１００において実行される自動運転処理の流れの一例を示すフローチャートである。本フローは、図８におけるステップＳ６００における処理の詳細な流れを示している。
　図１４に示すように、まず、制御部１７０は、検出部１１０に含まれる過半数のセンサが異常であると判定されたか否かを判定する（ステップＳ６０２）。
　過半数のセンサが異常であると判定された場合（ステップＳ６０２／ＹＥＳ）、運転制御部１５０は、第２のセンサ情報に基づいて自動運転を行う（ステップＳ６０４）。そして、制御部１７０は、他のセンサ装置の第２のセンサ情報の検出範囲内で自車両を停止させる（ステップＳ６０６）。
　一方で、過半数のセンサは正常であると判定された場合（ステップＳ６０２／ＮＯ）、運転制御部１５０は、第１のセンサ情報及び第２のセンサ情報に基づいて自動運転を行う（ステップＳ６０８）。
　＜＜４．ハードウェア構成例＞＞
　本開示に係る技術は、様々な製品へ応用可能である。例えば、車載型センサ装置１００は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。また、車載型センサ装置１００の少なくとも一部の構成要素は、車両に搭載される装置のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。
　また、環境設置型センサ装置２００は、信号機、監視カメラ、デジタルサイネージ、電光掲示板などの環境に設置される装置として実現されてもよい。また、環境設置型センサ装置２００の少なくとも一部の構成要素は、環境に設置される装置のためのモジュール（例えば、１つのダイで構成される集積回路モジュール）において実現されてもよい。
　　＜４．１．車両制御システムの構成例＞
　図１５は、本開示に係る技術が適用され得る車両制御システム９００の概略的な構成の一例を示すブロック図である。図１５に示す車両制御システム９００は、例えば、図２に示した車載型センサ装置１００を実現し得る。車両制御システム９００は、電子制御ユニット９０２、ストレージ装置９０４、入力装置９０６、車外センサ９０８、車両状態センサ９１０、搭乗者センサ９１２、通信ＩＦ９１４、出力装置９１６、動力生成装置９１８、制動装置９２０、ステアリング９２２及びランプ作動装置９２４を備える。
　電子制御ユニット９０２は、演算処理装置及び制御装置として機能し、各種プログラムに従って車両制御システム９００内の動作全般を制御する。電子制御ユニット９０２は、後述するストレージ装置９０４と合わせて、ＥＣＵ（Electronic　Control　Unit）として形成され得る。ＥＣＵ（即ち、電子制御ユニット９０２及びストレージ装置９０４）は、車両制御システム９００内に複数含まれてもよい。例えば、各種センサ類又は各種駆動系の各々に、それらを制御するためのＥＣＵが設けられ、それら複数のＥＣＵを協調的に制御するＥＣＵがさらに設けられてもよい。これら複数のＥＣＵ間は、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘｒａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークを介して接続される。電子制御ユニット９０２は、例えば、図２に示す運転制御部１５０又は制御部１７０を形成し得る。
　ストレージ装置９０４は、車両制御システム９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０４は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０４は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０４は、電子制御ユニット９０２が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０４は、例えば、図２に示す記憶部１６０を形成し得る。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、搭乗者（ドライバー又は同乗者）によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。また、入力装置９０６は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、電子制御ユニット９０２に出力する入力制御回路などを含んでいてもよい。搭乗者は、この入力装置９０６を操作することにより、車両制御システム９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図２に示す検出部１１０を形成し得る。
　車外センサ９０８は、車外の情報を検出するセンサによって実現される。例えば、車外センサ９０８は、ソナー装置、レーダ装置、ＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置、カメラ、ステレオカメラ、ＴｏＦ（Time　Of　Flight）カメラ、赤外線センサ、環境センサ、マイク等を含んでいてもよい。車外センサ９０８は、例えば、図２に示す検出部１１０を形成し得る。
　車両状態センサ９１０は、車両状態に関する情報を検出するセンサによって実現される。例えば、車両状態センサ９１０は、アクセル開度、ブレーキ踏圧力、又はステアリング操舵角等の運転者による操作を検出するセンサを含んでいてもよい。また、車両状態センサ９１０は、内燃機関又はモータの回転数又はトルク等の、動力源の状態を検出するセンサを含んでいてもよい。また、車両状態センサ９１０は、ジャイロセンサ又は加速度センサ等の車両の動きに関する情報を検出するためのセンサを含んでいてもよい。また、車両状態センサ９１０は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。なお、位置情報に関しては、車両状態センサ９１０は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、又は近距離通信等により位置を検知するものであってもよい。車両状態センサ９１０は、例えば、図２に示す検出部１１０を形成し得る。
　搭乗者センサ９１２は、搭乗者に関する情報を検出するセンサによって実現される。例えば、搭乗者センサ９１２は、車内に設けられたカメラ、マイク、環境センサを含んでいてもよい。また、搭乗者センサ９１２は、搭乗者の生体情報を検出する生体センサを含んでいてもよい。生体センサは、例えば座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングを握るドライバーの生体情報を検出可能である。搭乗者センサ９１２は、例えば、図２に示す検出部１１０を形成し得る。
　なお、車外センサ９０８、車両状態センサ９１０、及び搭乗者センサ９１２といった各種センサは、それぞれ検出結果を示す情報を電子制御ユニット９０２へ出力する。これら各種センサは、電子制御ユニット９０２による制御に基づいて、センシング範囲又は精度等の設定を行ってもよい。また、これら各種センサは、例えば撮像された撮像画像に含まれる白線位置に基づいて、道路における自車両の走行位置を認識する処理等の、生データに基づく認識処理を行う認識モジュールを含んでいてもよい。
　通信ＩＦ９１４は、車両制御システム９００による他の装置との通信を仲介する通信インタフェースである。通信ＩＦ９１４は、例えばＶ２Ｘ通信モジュールを含み得る。なお、Ｖ２Ｘ通信とは、車車間（Vehicle　to　Vehicle）通信及び路車間（Vehicle　to　Infrastructure）通信を含む概念である。他にも、通信ＩＦ９１４は、無線ＬＡＮ（Local　Area　Network）、Ｗｉ－Ｆｉ（登録商標）、３Ｇ、ＬＴＥ（Long　Term　Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）のための通信モジュールを含んでいてもよい。この通信ＩＦ９１４は、例えばインターネット又は車外の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信ＩＦ９１４は、例えば、図２に示す取得部１２０又は第２の通知部１４０を形成し得る。
　出力装置９１６は、取得した情報を搭乗者に対して視覚的又は聴覚的に通知することが可能な装置で実現される。このような装置として、インストルメントパネル、ヘッドアップディスプレイ、プロジェクタ又はランプ等の表示装置や、スピーカ又はヘッドホン等の音声出力装置がある。具体的には、表示装置は、車両制御システム９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。その際、ＡＲ（Augmented　Reality）オブジェクト等の仮想的なオブジェクトが表示されてもよい。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置又は上記音声出力装置は、例えば、図２に示す第１の通知部１３０を形成し得る。
　動力生成装置９１８は、車両の駆動力を生成するための装置である。動力生成装置９１８は、例えば内燃機関により実現されてもよい。その場合、動力生成装置９１８は、電子制御ユニット９０２からの制御指令に基づいて、始動制御、停止制御、スロットルバルブの開度の制御、燃料噴射制御、又はＥＧＲ（Exhaust　Gas　Recirculation）制御等を行う。また、動力生成装置９１８は、例えばモータ、インバータ及びバッテリーにより実現されてもよい。その場合、動力生成装置９１８は、電子制御ユニット９０２からの制御指令に基づき、インバータを介してバッテリーからモータへ電力を供給し、正のトルクを出力させるモータ動作（いわゆる力行）と、モータにトルクを吸収させて発電し、インバータを介してバッテリーの充電を行う回生動作と、を行い得る。
　制動装置９２０は、車両に制動力を付与し、あるいは、車両を減速又は停止させるための装置である。制動装置９２０は、例えば各ホイールに設置されるブレーキ、及びブレーキペダルの踏圧力をブレーキに伝達するためのブレーキパイプ又は電気回路等を含み得る。また、制動装置９２０は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等のブレーキ制御による滑走又は横滑り防止機構を作動させるための制御装置を含んでいてもよい。
　ステアリング９２２は、車両の進行方向（操舵角）を制御するための装置である。ステアリング９２２は、例えばステアリングホイール、ステアリングシャフト、ステアリングギア、及びタイロッド等を含み得る。また、ステアリング９２２は、ドライバーによる操舵を支援するためのパワーステアリングを含み得る。さらに、ステアリング９２２は、自動的な操舵を実現するためのモータ等の動力源を含み得る。
　ランプ作動装置９２４は、ヘッドライト、ウィンカー、車幅灯、フォグライト、又はストップランプ等の各種ランプの作動させる装置である。ランプ作動装置９２４は、例えばランプの明滅、光量、又は照射方向等を制御する。
　なお、動力生成装置９１８、制動装置９２０、ステアリング９２２、及びランプ作動装置９２４は、ドライバーによる手動操作に基づいて動作してもよいし、電子制御ユニット９０２による自動操作に基づいて動作してもよい。
　　＜４．２．情報処理装置の構成例＞
　図１６は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。図１６に示す情報処理装置１０００は、例えば、図３に示した環境設置型センサ装置２００を実現し得る。本実施形態に係る環境設置型センサ装置２００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図１６に示すように、情報処理装置１０００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１００１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１００２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１００３及びホストバス１００４ａを備える。また、情報処理装置１０００は、ブリッジ１００４、外部バス１００４ｂ、インタフェース１００５、入力装置１００６、出力装置１００７、ストレージ装置１００８、ドライブ１００９、接続ポート１０１１及び通信装置１０１３を備える。情報処理装置１０００は、ＣＰＵ１００１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ１００１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０００内の動作全般を制御する。また、ＣＰＵ１００１は、マイクロプロセッサであってもよい。ＲＯＭ１００２は、ＣＰＵ１００１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１００３は、ＣＰＵ１００１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ１００１は、例えば、図３に示す制御部２６０を形成し得る。
　ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３は、ＣＰＵバスなどを含むホストバス１００４ａにより相互に接続されている。ホストバス１００４ａは、ブリッジ１００４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１００４ｂに接続されている。なお、必ずしもホストバス１００４ａ、ブリッジ１００４および外部バス１００４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置１００６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置１００６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１０００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置１００６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ１００１に出力する入力制御回路などを含んでいてもよい。情報処理装置１０００のユーザは、この入力装置１００６を操作することにより、情報処理装置１０００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　他にも、入力装置１００６は、多様な情報を検知する装置により形成され得る。例えば、入力装置１００６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置１００６は、情報処理装置１０００の姿勢、移動速度等、情報処理装置１０００自身の状態に関する情報や、情報処理装置１０００の周辺の明るさや騒音等、情報処理装置１０００の周辺環境に関する情報を取得してもよい。また、入力装置１００６は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置１００６は、Ｗｉ－Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
　入力装置１００６は、例えば、図３に示す検出部２１０を形成し得る。
　出力装置１００７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置１００７は、例えば、情報処理装置１０００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置又は上記音声出力装置は、例えば、図３に示す第１の通知部２３０を形成し得る。
　ストレージ装置１００８は、情報処理装置１０００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置１００８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置１００８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置１００８は、ＣＰＵ１００１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置１００８は、例えば、図３に示す記憶部２５０を形成し得る。
　ドライブ１００９は、記憶媒体用リーダライタであり、情報処理装置１０００に内蔵、あるいは外付けされる。ドライブ１００９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１００３に出力する。また、ドライブ１００９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート１０１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置１０１３は、例えば、ネットワーク１０２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置１０１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置１０１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置１０１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置１０１３は、例えば、図３に示す取得部２２０又は第２の通知部２４０を形成し得る。
　なお、ネットワーク１０２０は、ネットワーク１０２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１０２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１０２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　　＜４．３．補足＞
　以上、本実施形態に係る車載型センサ装置１００又は環境設置型センサ装置２００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本実施形態に係る車載型センサ装置１００又は環境設置型センサ装置２００の各機能を実現するためのコンピュータプログラムを作製し、ＥＣＵ又はＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜４．まとめ＞＞
　以上、図１～図１６を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るセンサ装置は、第１のセンサ情報を検出し、第２のセンサ情報を取得し、同一の移動体について検出された第１のセンサ情報と第２のセンサ情報との比較結果に基づく処理を制御する。これにより、センサ装置は、異なるセンサ装置との間の検出結果の差異を適切に取り扱うことが可能である。
　例えば、センサ装置は、比較結果に基づいて、センサの異常を判定し得る。これにより、センサ装置は、多様な要因により発生し得るセンサの異常を、自律的に発見して、正常な状態に自動的に修正することが可能である。
　例えば、センサ装置は、センサの異常をドライバー又は周囲の他の装置へ通知してもよい。これにより、自車両のドライバー又は他車両は、自車両のセンサ異常を認識して、適切な対処を行うこと可能となる。致命的な事故になる前の、センサ異常の段階での対処が可能であるので、事故を未然に防ぐことが可能である。
　例えば、センサ装置は、異常であると判定されたセンサにより検出された第１のセンサ情報に代えて、第２のセンサ情報を用いることができる。これにより、センサ異常が発生した場合であっても、センサ装置は、第２のセンサ情報を用いて自動運転等のサービスを継続することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、センサ装置の一例として車載型センサ装置１００及び環境設置型センサ装置２００を挙げたが、本技術はかかる例に限定されない。例えば、センサ装置は、航空機、自転車、自動二輪車等の任意の移動体に搭載可能である。また、センサ装置は、スマートフォン又はＨＭＤ（Head　Mounted　Display）等のユーザデバイスとして実現されてもよい。
　また、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図２に示した車載型センサ装置１００の機能構成例のうち、記憶部１６０及び制御部１７０が、検出部１１０、取得部１２０、第１の通知部１３０、第２の通知部１４０及び運転制御部１５０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。環境設置型センサ装置２００についても同様である。
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　移動体に関する第１の情報を検出する検出部と、
　外部の装置により検出された前記移動体に関する第２の情報を取得する取得部と、
　同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理を制御する制御部と、
を備える情報処理装置。
（２）
　前記制御部は、前記比較結果に基づいて前記検出部の異常を判定する、前記（１）に記載の情報処理装置。
（３）
　前記制御部は、前記第１の情報と第２の情報との誤差が所定の条件を満たす場合に、前記検出部は異常であると判定する、前記（２）に記載の情報処理装置。
（４）
　前記制御部は、前記第１の情報と前記第２の情報との誤差が低減するよう前記検出部を調整する、前記（２）又は（３）のいずれか一項に記載の情報処理装置。
（５）
　前記制御部は、前記異常を示す情報をユーザへ通知させる、前記（２）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記制御部は、前記異常を示す情報を他の装置へ通知させる、前記（２）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記制御部は、異常であると判定された前記検出部により検出された前記第１の情報に代えて、対応する前記第２の情報を用いる、前記（２）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記制御部は、前記情報処理装置に対応する車両の自動運転を停止させる、前記（２）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記制御部は、前記情報処理装置に対応する車両を停止させる、前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記情報処理装置に対応する車両を自動運転から手動運転に切り替える、前記（８）に記載の情報処理装置。
（１１）
　前記制御部は、前記情報処理装置に対応する車両が前記外部の装置の前記第２の情報の検出範囲内により長く滞在するよう前記車両を制御する、前記（８）～（１０）のいずれか一項に記載の情報処理装置。
（１２）
　前記取得部は、前記情報処理装置に対応する車両の近傍又は将来近傍になると予測される前記外部の装置から、優先的に第２のセンサ情報を取得する、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記取得部は、前記検出部よりも精度よく前記移動体に関する情報を検出可能な前記外部の装置から、優先的に第２の情報を取得する、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記第１の情報及び前記第２の情報は、前記移動体の位置、大きさ、種類、速度、加速度、移動方向、若しくはこれらの予測値、検出精度、検出時刻、又は信頼度の少なくともいずれかを含む、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１５）
　前記外部の装置は、前記情報処理装置に対応する車両に対向する他の車両、並走する他の車両、若しくは停止中の他の車両又は施設に設けられる、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１６）
　移動体に関する第１の情報を検出することと、
　外部の装置により検出された前記移動体に関する第２の情報を取得することと、
　同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理をプロセッサにより制御することと、
を含む情報処理方法。
（１７）
　コンピュータを、
　移動体に関する第１の情報を検出する検出部と、
　外部の装置により検出された前記移動体に関する第２の情報を取得する取得部と、
　同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理を制御する制御部と、
として機能させるためのプログラム。
　１　　　　システム
　１０　　　移動体
　１００　　車載型センサ装置
　１１０　　検出部
　１２０　　取得部
　１３０　　第１の通知部
　１４０　　第２の通知部
　１５０　　運転制御部
　１６０　　記憶部
　１７０　　制御部
　２０　　　施設
　２００　　環境設置型センサ装置
　２１０　　検出部
　２２０　　取得部
　２３０　　第１の通知部
　２４０　　第２の通知部
　２５０　　記憶部
　２６０　　制御部
　３０　　　サーバ

Claims (17)

  1. 　移動体に関する第１の情報を検出する検出部と、
    　外部の装置により検出された前記移動体に関する第２の情報を取得する取得部と、
    　同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理を制御する制御部と、
    を備える情報処理装置。
  2. 　前記制御部は、前記比較結果に基づいて前記検出部の異常を判定する、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記第１の情報と第２の情報との誤差が所定の条件を満たす場合に、前記検出部は異常であると判定する、請求項２に記載の情報処理装置。
  4. 　前記制御部は、前記第１の情報と前記第２の情報との誤差が低減するよう前記検出部を調整する、請求項２に記載の情報処理装置。
  5. 　前記制御部は、前記異常を示す情報をユーザへ通知させる、請求項２に記載の情報処理装置。
  6. 　前記制御部は、前記異常を示す情報を他の装置へ通知させる、請求項２に記載の情報処理装置。
  7. 　前記制御部は、異常であると判定された前記検出部により検出された前記第１の情報に代えて、対応する前記第２の情報を用いる、請求項２に記載の情報処理装置。
  8. 　前記制御部は、前記情報処理装置に対応する車両の自動運転を停止させる、請求項２に記載の情報処理装置。
  9. 　前記制御部は、前記情報処理装置に対応する車両を停止させる、請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記情報処理装置に対応する車両を自動運転から手動運転に切り替える、請求項８に記載の情報処理装置。
  11. 　前記制御部は、前記情報処理装置に対応する車両が前記外部の装置の前記第２の情報の検出範囲内により長く滞在するよう前記車両を制御する、請求項８に記載の情報処理装置。
  12. 　前記取得部は、前記情報処理装置に対応する車両の近傍又は将来近傍になると予測される前記外部の装置から、優先的に第２のセンサ情報を取得する、請求項１に記載の情報処理装置。
  13. 　前記取得部は、前記検出部よりも精度よく前記移動体に関する情報を検出可能な前記外部の装置から、優先的に第２の情報を取得する、請求項１に記載の情報処理装置。
  14. 　前記第１の情報及び前記第２の情報は、前記移動体の位置、大きさ、種類、速度、加速度、移動方向、若しくはこれらの予測値、検出精度、検出時刻、又は信頼度の少なくともいずれかを含む、請求項１に記載の情報処理装置。
  15. 　前記外部の装置は、前記情報処理装置に対応する車両に対向する他の車両、並走する他の車両、若しくは停止中の他の車両又は施設に設けられる、請求項１に記載の情報処理装置。
  16. 　移動体に関する第１の情報を検出することと、
    　外部の装置により検出された前記移動体に関する第２の情報を取得することと、
    　同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理をプロセッサにより制御することと、
    を含む情報処理方法。
  17. 　コンピュータを、
    　移動体に関する第１の情報を検出する検出部と、
    　外部の装置により検出された前記移動体に関する第２の情報を取得する取得部と、
    　同一の前記移動体について検出された前記第１の情報と前記第２の情報との比較結果に基づく処理を制御する制御部と、
    として機能させるためのプログラム。
PCT/JP2016/064835 2015-08-19 2016-05-19 情報処理装置、情報処理方法及びプログラム WO2017029847A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017535260A JP7003660B2 (ja) 2015-08-19 2016-05-19 情報処理装置、情報処理方法及びプログラム
CN201680047530.9A CN107924632B (zh) 2015-08-19 2016-05-19 信息处理设备、信息处理方法和程序
US15/579,365 US10891495B2 (en) 2015-08-19 2016-05-19 Information processing apparatus, information processing method, and program
EP16836839.7A EP3340205B1 (en) 2015-08-19 2016-05-19 Information processing device, information processing method, and program
US17/140,150 US11295143B2 (en) 2015-08-19 2021-01-04 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015161791 2015-08-19
JP2015-161791 2015-08-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/579,365 A-371-Of-International US10891495B2 (en) 2015-08-19 2016-05-19 Information processing apparatus, information processing method, and program
US17/140,150 Continuation US11295143B2 (en) 2015-08-19 2021-01-04 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
WO2017029847A1 true WO2017029847A1 (ja) 2017-02-23

Family

ID=58051719

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064835 WO2017029847A1 (ja) 2015-08-19 2016-05-19 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (2) US10891495B2 (ja)
EP (1) EP3340205B1 (ja)
JP (1) JP7003660B2 (ja)
CN (1) CN107924632B (ja)
WO (1) WO2017029847A1 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136917A (ja) * 2017-02-22 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、情報処理方法及びプログラム
WO2018235154A1 (ja) * 2017-06-20 2018-12-27 株式会社日立製作所 走行制御システム
WO2019035458A1 (en) * 2017-08-18 2019-02-21 Sony Semiconductor Solutions Corporation CONTROL DEVICE AND CONTROL SYSTEM
JP2019079467A (ja) * 2017-10-27 2019-05-23 日本電気通信システム株式会社 車両状態判定装置、車両状態判定システム、車両状態判定方法、及び、車両状態判定プログラム
JP2019078617A (ja) * 2017-10-24 2019-05-23 日本電信電話株式会社 モビリティ装置及びモビリティ装置における環境センシング方法
CN109993965A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 目标速度计算方法及装置、mec服务器及存储介质
JP2019142246A (ja) * 2018-02-15 2019-08-29 本田技研工業株式会社 車両制御装置
JP2019152896A (ja) * 2018-02-28 2019-09-12 本田技研工業株式会社 走行制御装置、走行制御方法およびプログラム
JP2019158762A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 異常検出装置、異常検出方法および異常検出システム
JP2020013437A (ja) * 2018-07-20 2020-01-23 株式会社デンソー 車両制御装置および車両制御方法
WO2020021954A1 (ja) * 2018-07-26 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021022866A (ja) * 2019-07-29 2021-02-18 京セラ株式会社 交通通信システム、基地局、移動局、及び車両
JP2021149344A (ja) * 2020-03-17 2021-09-27 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
JP2021149345A (ja) * 2020-03-17 2021-09-27 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
JP6968475B1 (ja) * 2021-06-03 2021-11-17 望 窪田 情報処理方法、プログラム及び情報処理装置
DE112020005414T5 (de) 2019-10-31 2022-09-08 Sony Group Corporation Datenverarbeitungsvorrichtung, datenverarbeitungssystem und datenverarbeitungsverfahren
WO2023145404A1 (ja) * 2022-01-26 2023-08-03 株式会社デンソー 車両用装置、情報統合方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6610665B2 (ja) * 2015-06-23 2019-11-27 日本電気株式会社 検出システム、検出方法、及び、プログラム
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US10308246B1 (en) 2016-01-22 2019-06-04 State Farm Mutual Automobile Insurance Company Autonomous vehicle signal control
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
DE102017201663A1 (de) * 2017-02-02 2018-08-02 Robert Bosch Gmbh Verfahren zur Lokalisierung eines höher automatisierten, z.B. hochautomatisierten Fahrzeugs (HAF) in einer digitalen Lokalisierungskarte
WO2018198239A1 (ja) * 2017-04-26 2018-11-01 三菱電機株式会社 処理装置および物体識別情報の生成方法
US10591313B2 (en) * 2017-09-29 2020-03-17 Intel Corporation Detecting mobile device sensor malfunctions
JP6981224B2 (ja) * 2017-12-18 2021-12-15 トヨタ自動車株式会社 車両制御装置、方法およびプログラム
JP7008217B2 (ja) * 2018-03-28 2022-01-25 パナソニックＩｐマネジメント株式会社 異常報知装置、車両、異常報知方法、及び、プログラム
KR102471498B1 (ko) * 2018-04-02 2022-11-28 삼성전자주식회사 차량을 진단하는 전자 장치 및 방법
CN108830969B (zh) * 2018-04-27 2021-01-08 榛硕（武汉）智能科技有限公司 无人驾驶车辆赛事监测系统及监测方法
CN108573247B (zh) * 2018-05-09 2021-09-28 深圳市微埃智能科技有限公司 基于边缘计算的用于检测车位停车状态的方法
US10775509B2 (en) * 2018-09-19 2020-09-15 Ford Global Technologies, Llc Sensor field of view mapping
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
US11987271B2 (en) 2018-12-07 2024-05-21 Sony Semiconductor Solutions Corporation Information processing apparatus, information processing method, mobile-object control apparatus, and mobile object
JP2020167550A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 通信装置、通信方法及びプログラム
WO2020199183A1 (en) * 2019-04-04 2020-10-08 Qualcomm Incorporated Sensor data sharing between vehicles
US11772671B2 (en) 2019-06-03 2023-10-03 Toyota Research Institute, Inc. Systems and methods for predicting control handback
JP7097867B2 (ja) * 2019-09-24 2022-07-08 本田技研工業株式会社 遠隔駐車システム
JP7380449B2 (ja) * 2020-06-30 2023-11-15 トヨタ自動車株式会社 判定装置及びプログラム
JP7466396B2 (ja) * 2020-07-28 2024-04-12 株式会社Soken 車両制御装置
WO2022085904A1 (ko) * 2020-10-19 2022-04-28 한국자동차연구원 센싱 데이터를 보정하기 위한 전자 장치 및 방법
CN114639262B (zh) * 2020-12-15 2024-02-06 北京万集科技股份有限公司 感知设备的状态检测方法、装置、计算机设备和存储介质
DE102021109425B3 (de) * 2021-04-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug
CN114999179B (zh) * 2022-07-20 2022-10-25 山东金宇信息科技集团有限公司 一种隧道安全行车方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050187A (ja) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd 周辺車両検出装置
JP2008299676A (ja) * 2007-05-31 2008-12-11 Toyota Motor Corp 死角情報要求／提供装置及びこれらを利用した車車間通信システム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100792A (en) * 1996-05-20 2000-08-08 Alpine Electronics, Inc. Car security apparatus and car security system
US6774988B2 (en) * 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
US6292725B1 (en) * 1997-04-04 2001-09-18 Komatsu Ltd. Interference preventing device for vehicle
JP3537705B2 (ja) 1999-05-31 2004-06-14 本田技研工業株式会社 自動追従走行システム
JP2001301485A (ja) 2000-02-15 2001-10-31 Toyota Motor Corp 車両制御装置
JP3898085B2 (ja) * 2002-05-16 2007-03-28 富士通株式会社 車載センサ情報提供プログラムおよび車載センサ情報利用プログラム
DE102005005720A1 (de) * 2005-02-09 2006-08-17 Robert Bosch Gmbh Fahrerassistenzsystem mit redundanter Entscheidungseinheit
JP2006315427A (ja) * 2005-05-10 2006-11-24 Fujitsu Ten Ltd 車両用通信システム
JP2007114857A (ja) * 2005-10-18 2007-05-10 Honda Motor Co Ltd 交通情報処理装置
JP4345832B2 (ja) * 2007-03-12 2009-10-14 トヨタ自動車株式会社 道路状況検出システム
CN101101702A (zh) * 2007-07-16 2008-01-09 陈拙夫 汽车车际间信息共享型自动驾驶系统及其控制方法
US8315759B2 (en) * 2008-04-04 2012-11-20 GM Global Technology Operations LLC Humidity sensor diagnostic systems and methods
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
JP5585177B2 (ja) * 2010-04-12 2014-09-10 トヨタ自動車株式会社 先行車位置判定装置
JP5625603B2 (ja) 2010-08-09 2014-11-19 トヨタ自動車株式会社 車両制御装置、車両制御システムおよび管制装置
KR20130046818A (ko) 2011-10-28 2013-05-08 현대자동차주식회사 외부 데이터베이스를 이용한 차량의 제어시스템
KR101784526B1 (ko) * 2011-11-29 2017-10-11 엘지이노텍 주식회사 오토 포커스 캘리브레이션의 오류 검출 방법 및 시스템
JP6077210B2 (ja) * 2011-12-22 2017-02-08 トヨタ自動車株式会社 車両用後方監視装置
JP2013168065A (ja) * 2012-02-16 2013-08-29 Sony Corp 情報処理装置、端末装置、情報処理方法、及び状況表示方法
JP2013200820A (ja) 2012-03-26 2013-10-03 Hitachi Consumer Electronics Co Ltd 画像送受信システム
JPWO2014024606A1 (ja) * 2012-08-07 2016-07-25 ソニー株式会社 情報処理装置と情報処理方法および情報処理システム
CN104583041A (zh) * 2012-09-07 2015-04-29 丰田自动车株式会社 车间距离控制装置
JP5902076B2 (ja) * 2012-10-01 2016-04-13 本田技研工業株式会社 情報処理装置、情報処理方法およびプログラム
CN105074385B (zh) * 2013-02-26 2019-09-10 北极星工业有限公司 休闲车辆交互式遥测、测绘和行程规划系统
DE102013225563A1 (de) * 2013-12-11 2015-06-11 Robert Bosch Gmbh Verfahren zur Überwachung eines Sensors eines Fahrzeugs
JP5991332B2 (ja) * 2014-02-05 2016-09-14 トヨタ自動車株式会社 衝突回避制御装置
EP3127403B8 (en) * 2014-04-04 2019-04-10 Signify Holding B.V. System and methods to support autonomous vehicles via environmental perception and sensor calibration and verification
CN103996312B (zh) * 2014-05-23 2015-12-09 北京理工大学 具有社会行为交互的无人驾驶汽车控制系统
JP6290009B2 (ja) * 2014-06-06 2018-03-07 日立オートモティブシステムズ株式会社 障害物情報管理装置
US20210118249A1 (en) * 2014-11-13 2021-04-22 State Farm Mutual Automobile Insurance Company Autonomous vehicle salvage and repair

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050187A (ja) * 2003-07-30 2005-02-24 Nissan Motor Co Ltd 周辺車両検出装置
JP2008299676A (ja) * 2007-05-31 2008-12-11 Toyota Motor Corp 死角情報要求／提供装置及びこれらを利用した車車間通信システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3340205A4 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7015665B2 (ja) 2017-02-22 2022-02-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JP2018136917A (ja) * 2017-02-22 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、情報処理方法及びプログラム
JPWO2018235154A1 (ja) * 2017-06-20 2020-03-26 株式会社日立製作所 走行制御システム
WO2018235154A1 (ja) * 2017-06-20 2018-12-27 株式会社日立製作所 走行制御システム
US10930152B2 (en) 2017-06-20 2021-02-23 Hitachi, Ltd. Travel control system
WO2019035458A1 (en) * 2017-08-18 2019-02-21 Sony Semiconductor Solutions Corporation CONTROL DEVICE AND CONTROL SYSTEM
JP2019034664A (ja) * 2017-08-18 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 制御装置および制御システム
US11853074B2 (en) 2017-08-18 2023-12-26 Sony Semiconductor Solutions Corporation Control device and control system
JP2019078617A (ja) * 2017-10-24 2019-05-23 日本電信電話株式会社 モビリティ装置及びモビリティ装置における環境センシング方法
JP2019079467A (ja) * 2017-10-27 2019-05-23 日本電気通信システム株式会社 車両状態判定装置、車両状態判定システム、車両状態判定方法、及び、車両状態判定プログラム
CN109993965B (zh) * 2018-01-02 2021-03-30 中国移动通信有限公司研究院 目标速度计算方法及装置、mec服务器及存储介质
CN109993965A (zh) * 2018-01-02 2019-07-09 中国移动通信有限公司研究院 目标速度计算方法及装置、mec服务器及存储介质
JP2019142246A (ja) * 2018-02-15 2019-08-29 本田技研工業株式会社 車両制御装置
JP7018330B2 (ja) 2018-02-15 2022-02-10 本田技研工業株式会社 車両制御装置
JP7048353B2 (ja) 2018-02-28 2022-04-05 本田技研工業株式会社 走行制御装置、走行制御方法およびプログラム
JP2019152896A (ja) * 2018-02-28 2019-09-12 本田技研工業株式会社 走行制御装置、走行制御方法およびプログラム
JP2019158762A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 異常検出装置、異常検出方法および異常検出システム
JP7036633B2 (ja) 2018-03-15 2022-03-15 株式会社デンソーテン 異常検出装置、異常検出方法および異常検出システム
JP2020013437A (ja) * 2018-07-20 2020-01-23 株式会社デンソー 車両制御装置および車両制御方法
JP7044000B2 (ja) 2018-07-20 2022-03-30 株式会社デンソー 車両制御装置および車両制御方法
WO2020021954A1 (ja) * 2018-07-26 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021022866A (ja) * 2019-07-29 2021-02-18 京セラ株式会社 交通通信システム、基地局、移動局、及び車両
JP7316138B2 (ja) 2019-07-29 2023-07-27 京セラ株式会社 交通通信システム、基地局、移動局、及び車両
DE112020005414T5 (de) 2019-10-31 2022-09-08 Sony Group Corporation Datenverarbeitungsvorrichtung, datenverarbeitungssystem und datenverarbeitungsverfahren
JP2021149345A (ja) * 2020-03-17 2021-09-27 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
JP7405657B2 (ja) 2020-03-17 2023-12-26 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
JP2021149344A (ja) * 2020-03-17 2021-09-27 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
JP7463146B2 (ja) 2020-03-17 2024-04-08 本田技研工業株式会社 移動体監視システム、及び移動体監視方法
US12014628B2 (en) 2020-03-17 2024-06-18 Honda Motor Co., Ltd. Mobile object monitoring system and mobile object monitoring method
US12057012B2 (en) 2020-03-17 2024-08-06 Honda Motor Co., Ltd. Mobile object monitoring system and mobile object monitoring method
JP6968475B1 (ja) * 2021-06-03 2021-11-17 望 窪田 情報処理方法、プログラム及び情報処理装置
JP2022185827A (ja) * 2021-06-03 2022-12-15 望 窪田 情報処理方法、プログラム及び情報処理装置
WO2023145404A1 (ja) * 2022-01-26 2023-08-03 株式会社デンソー 車両用装置、情報統合方法

Also Published As

Publication number Publication date
US20210124956A1 (en) 2021-04-29
EP3340205A4 (en) 2019-05-15
JP7003660B2 (ja) 2022-01-20
CN107924632B (zh) 2022-05-31
EP3340205A1 (en) 2018-06-27
US11295143B2 (en) 2022-04-05
US10891495B2 (en) 2021-01-12
CN107924632A (zh) 2018-04-17
JPWO2017029847A1 (ja) 2018-06-07
US20180357493A1 (en) 2018-12-13
EP3340205B1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
WO2017029847A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10699569B2 (en) Information processing apparatus, information processing method, and program
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP2023168361A (ja) 情報処理システム、情報処理方法及びプログラム
WO2019157193A1 (en) Controlling autonomous vehicles using safe arrival times
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
KR20170099188A (ko) 차량 운전 보조장치 및 이를 포함하는 차량
US11873007B2 (en) Information processing apparatus, information processing method, and program
CN112534487B (zh) 信息处理设备、移动体、信息处理方法和程序
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
JPWO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US12067761B2 (en) Information processing device, information processing method, and program
WO2019049828A1 (en) INFORMATION PROCESSING APPARATUS, CLEAN POSITION ESTIMATING METHOD, AND PROGRAM
JPWO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2021033574A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR20220014438A (ko) 자율주행차량 및 그의 드론을 활용한 비상 대응 방법
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023145404A1 (ja) 車両用装置、情報統合方法
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US20230410486A1 (en) Information processing apparatus, information processing method, and program
US20230206596A1 (en) Information processing device, information processing method, and program
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16836839

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017535260

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016836839

Country of ref document: EP