WO2023145404A1 - 車両用装置、情報統合方法 - Google Patents

車両用装置、情報統合方法 Download PDF

Info

Publication number
WO2023145404A1
WO2023145404A1 PCT/JP2023/000164 JP2023000164W WO2023145404A1 WO 2023145404 A1 WO2023145404 A1 WO 2023145404A1 JP 2023000164 W JP2023000164 W JP 2023000164W WO 2023145404 A1 WO2023145404 A1 WO 2023145404A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle
unit
external
internal
Prior art date
Application number
PCT/JP2023/000164
Other languages
English (en)
French (fr)
Inventor
慶祐 小澤
貴久 山城
真一郎 安藤
厚志 馬場
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202380018359.9A priority Critical patent/CN118591834A/zh
Publication of WO2023145404A1 publication Critical patent/WO2023145404A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a vehicle device and an information integration method that integrate information acquired from different sources.
  • each vehicle can use information other than the information acquired by the own vehicle, for example, for danger prediction. It is considered possible.
  • the present disclosure has been made in view of the circumstances described above, and its purpose is to provide a vehicle device and an information integration method capable of integrating information relating to the same object obtained from different sources.
  • a vehicle device includes an acquisition unit that acquires information detected by a sensor provided in a vehicle as internal information, the internal information, and an external device of the vehicle. and a comparison unit that compares the information acquired in the step with external information received via a communication unit provided in the own vehicle, and based on the comparison result of the comparison unit, the internal information and the external information and an integration unit that integrates information on the same target acquired from different acquisition sources based on the determination result of the determination unit. Prepare. As a result, information relating to the same object obtained from different sources can be integrated.
  • FIG. 1 is a diagram schematically showing an electrical configuration example of a vehicle device according to a first embodiment
  • FIG. 2 is a diagram schematically showing an example of the surrounding environment of the own vehicle
  • FIG. 3 is a diagram showing the flow of information integration processing executed by own vehicle
  • FIG. 4 is a diagram showing an example of internal information, external information, and integrated information
  • FIG. 5 is a diagram showing an example of type setting
  • FIG. 6 is a diagram 1 schematically showing an example of a mode of notifying danger
  • FIG. 7 is a second diagram schematically showing an example of a mode of notifying danger
  • FIG. 1 is a diagram schematically showing an electrical configuration example of a vehicle device according to a first embodiment
  • FIG. 2 is a diagram schematically showing an example of the surrounding environment of the own vehicle
  • FIG. 3 is a diagram showing the flow of information integration processing executed by own vehicle
  • FIG. 4 is a diagram showing an example of internal information, external information, and integrated information
  • FIG. 5 is a diagram showing an example of
  • FIG. 8 is a diagram schematically showing a mode of extracting feature points of an object according to the second embodiment
  • FIG. 9 is a diagram schematically showing an example of a mode of predicting danger based on feature points
  • FIG. 10 is a diagram schematically showing an example of a mode of determining the same object based on feature points
  • FIG. 11 is a diagram schematically showing an example of the surrounding environment of the own vehicle according to the third embodiment
  • FIG. 12 is a diagram showing the flow of information integration adjustment processing executed by the host vehicle
  • FIG. 13 is a diagram showing an example of color tone setting
  • FIG. 14 is a diagram showing an example of integrated information in which the amount of information is adjusted
  • FIG. 15 shows an example of lane setting
  • FIG. 16 is a diagram showing an example of information for transmission whose information amount is adjusted.
  • a vehicle device 1 of this embodiment is mounted on a vehicle 2, and is connected to a display device 3, a voice input/output device 4, a vehicle-side sensor 5, a plurality of ECUs 6, and the like.
  • ECU is an abbreviation for Electronic Control Unit.
  • the vehicle device 1 is also one of the electronic devices provided in the own vehicle 2 like the ECU 6, the two are distinguished here for the sake of explanation.
  • the display device 3 is composed of, for example, a liquid crystal display, receives image signals and video signals output from the vehicle device 1, and displays images and videos.
  • the display device 3 also functions as an input device for inputting various operations to the vehicle device 1 using mechanical switches (not shown) and a touch panel provided corresponding to the screen.
  • the display device 3 is assumed to be attached to the center console, but a so-called head-up display or a type that projects on the front shield can be adopted or combined with them.
  • the audio input/output device 4 is composed of a speaker and a microphone, reproduces an audio signal output from the vehicle device 1 to output voice, and inputs an operation to the vehicle device 1 by a user's voice. It allows you to Also, the voice input/output device 4 can be used in common or in combination with a device for so-called hands-free communication.
  • the vehicle-side sensor 5 is composed of sensors such as a camera 5a, a LiDAR 5b, a millimeter wave radar 5c, a gyro 5d, and a GNSS 5e.
  • LiDAR is an abbreviation for Light Detection And Ranging
  • GNSS is an abbreviation for Global Navigation Satellite System.
  • the vehicle device 1 does not necessarily have to include all of these, and at least any one of them may be provided.
  • the vehicle device 1 may include one sensor such as the camera 5a, the LiDAR 5b, the millimeter wave radar 5c, and the gyro 5d, or may include a plurality of sensors.
  • a plurality of cameras 5a may be provided in the vehicle device 1 and the own vehicle 2 depending on the application, such as front, rear, and side.
  • the LiDAR 5b measures scattered light when an object is irradiated with a laser, and detects the distance and direction to the object.
  • a plurality of LiDARs 5b may be provided in the vehicle device 1 (here, the own vehicle 2) according to the application, such as front, rear, and side, or may be of a rotating type capable of detecting the entire circumference of the vehicle. may be provided.
  • the millimeter wave radar 5c irradiates an object with millimeter waves and detects the distance to the object, the positional relationship with the own vehicle 2, the relative speed with respect to the object, and the like with high accuracy.
  • a plurality of millimeter wave radars 5c may be provided in the vehicle device 1 (here, the own vehicle 2) according to the application such as front use, rear use, and side use. Further, the millimeter wave radar 5c can be configured to have different frequencies for different installation positions and different detection targets, for example.
  • GNSS5e can acquire the position of the own vehicle 2, the present time, etc. by receiving the signal from an artificial satellite, and is used for the navigation control of the own vehicle 2, route guidance, etc., for example.
  • a plurality of ECUs 6 are provided in the own vehicle 2 in order to control environmental and control system vehicle equipment 7 such as an air conditioner, a driving device, or a brake, for example.
  • Each ECU 6 is communicably connected to each other and to the vehicle device 1 via an in-vehicle network 8 .
  • the ECU 6 is connected to an in-vehicle sensor 9 that detects, for example, vehicle speed, acceleration, turning state, accelerator opening, brake pedal operating state, and the like.
  • the vehicle-side sensor 5 and the vehicle-mounted sensor 9 are also simply referred to as sensors.
  • Information detected by the in-vehicle sensor 9 can be obtained by the in-vehicle device 1 via the in-vehicle network 8.
  • information acquired by the ECU 6 is also referred to as vehicle information for convenience. Vehicle information can also be used by other ECUs 6 via the in-vehicle network 8 .
  • the vehicle device 1 can acquire information from the sensor.
  • Information acquired by the own vehicle 2 is hereinafter referred to as internal information, and the internal information referred to here means information directly acquired by the own vehicle 2 . Therefore, even if the information is related to the outside of the own vehicle 2, such as road conditions in front, if it is information detected by the vehicle-side sensor 5 or the in-vehicle sensor 9, it becomes internal information.
  • Information such as the vehicle speed and traveling direction of the own vehicle 2 is, of course, included in the internal information.
  • the vehicle device 1 also includes a control unit 10, a storage unit 11, an input/output circuit 12, an in-vehicle communication unit 13, a V2X communication unit 14, and the like.
  • the control unit 10 is configured as a computer system including a CPU (Central Processing Unit), a ROM (Read Only Memory) and a RAM (Random Access Memory), an input/output interface (not shown), and the like.
  • the entire vehicle device 1 is controlled by executing a computer program installed therein.
  • control unit 10 includes an acquisition unit 10a, a comparison unit 10b, a determination unit 10c, an integration unit 10d, an adjustment unit 10e, and a danger prediction unit 10f in relation to this embodiment.
  • acquisition unit 10a a comparison unit 10b
  • determination unit 10c a determination unit 10c
  • integration unit 10d a comparison unit 10b
  • adjustment unit 10e a determination unit 10c
  • danger prediction unit 10f a danger prediction unit 10f in relation to this embodiment.
  • Each of these units is configured by software by executing a program in this embodiment. However, each part can be configured by hardware, or can be configured by software and hardware.
  • the acquisition unit 10a performs a process of acquiring information detected by the vehicle-side sensor 5 and the vehicle-mounted sensor 9 as internal information at a predetermined cycle.
  • the acquired internal information and the external information acquired and received outside the host vehicle 2 are temporarily stored in, for example, a RAM.
  • the comparison unit 10b performs a process of comparing internal information acquired by the own vehicle 2 and external information acquired outside the own vehicle 2 .
  • the determination unit 10c performs a process of determining whether or not the internal information and the external information contain information regarding the same object. At this time, the determination unit 10c determines whether or not the object is the same object based on at least one or more information among the position, speed, orientation, and shape of the object included in the internal information and the external information.
  • the integration unit 10d performs processing to integrate information about the same object included in the internal information and the external information and acquired from different sources. At this time, although the details will be described later, the integration unit 10d receives information about moving objects existing around the own vehicle 2 detected by the camera 5a or the LiDAR 5b, or information detected by the gyro 5d, the GNSS 5e, the in-vehicle sensor 9, or the like. At least one of the information related to own vehicle 2 is integrated. In addition, the integration unit 10d, although details will be described later, is configured to store the internal information and the external information in at least one of a state in which the vehicle 2 can be controlled and a state in which the user can be notified. integrate.
  • the integration unit 10d integrates the information based on the reliability of each information when different information is acquired for the same object between the internal information and the external information, the details of which will be described later.
  • the respective pieces of information to be integrated are not limited to being integrated based only on reliability, and can be integrated by other methods such as calculating the average of parameters such as speed.
  • the adjustment unit 10e selects the integrated information integrated by the integration unit 10d, and executes processing for adjusting the amount of information to be transmitted.
  • the danger prediction unit 10f executes a process of predicting danger based on at least one of internal information, external information, and integrated information, and a process of informing the user of the predicted danger. Therefore, the danger prediction unit 10f also functions as a notification unit that notifies the user.
  • the storage unit 11 is configured by, for example, a semiconductor storage device such as an eMMC (embedded Multi Media Card) or flash memory, a HDD (Hard Disk Drive), or the like. It stores various data required for the processing to be executed. The storage unit 11 can also store information such as settings of the vehicle device 1 .
  • the input/output circuit 12 performs signal input/output between the control unit 10 and peripheral devices such as the display device 3, the audio input/output device 4, or the vehicle-side sensor 5.
  • the signal output from the control unit 10 is composed of a signal conversion circuit that converts an electrical signal into an electrical signal that can be input to a peripheral device, or vice versa, that converts an electrical signal output from a peripheral device into an electrical signal that can be input to the control unit 10.
  • the in-vehicle communication unit 13 is implemented as an interface for communicating with the ECU 6 via the in-vehicle network 8 .
  • CAN communication is assumed as the in-vehicle communication unit 13, but other standards such as Etherner (registered trademark), for example, can also be adopted.
  • Etherner registered trademark
  • CAN is an abbreviation for Controller Area Network.
  • the V2X communication unit 14 is implemented as an interface that communicates with an external device that exists outside the own vehicle 2, and is assumed to perform V2X communication in this embodiment.
  • This V2X communication is Vehicle to Everything, that is, a general term for communication technology for connecting a vehicle and various devices and systems by wireless communication for mutual cooperation.
  • V2X communication includes, for example, vehicle-to-vehicle (V2V) communication between vehicles, vehicle-to-infrastructure (V2I) communication between vehicles and infrastructure such as roadside equipment, vehicle-to-human V2P (Vehicle to People) that communicates with a terminal owned by a vehicle, V2N (Vehicle to Network) that communicates between a vehicle and a network, etc. are included.
  • V2V vehicle-to-vehicle
  • V2I vehicle-to-infrastructure
  • V2P Vehicle to People
  • V2N Vehicle to Network
  • V2X communication unit 14 does not necessarily support all of the communication technologies described above.
  • the V2X communication unit 14 supports V2V and V2I.
  • the V2X communication unit 14 may be compatible with all the communication technologies described above.
  • V2X communication specifically includes DSRC (Dedicated Short-Range Communications), which is dedicated short-range communication, and divides an area into specific sections and installs base stations in each section. Communication is performed using a cellular system or the like for communicating with devices.
  • DSRC Dedicated Short-Range Communications
  • the vehicle device 1 communication can be performed with an external device capable of V2X communication that exists in the vicinity of the own vehicle 2.
  • the external device may be, for example, the roadside device 20 installed near the road.
  • the roadside device 20 includes a roadside sensor 21 that acquires information on the surrounding environment and a roadside communication unit 22 that can transmit the information detected by the roadside sensor 21 to the own vehicle 2 .
  • another vehicle 23A that exists in the vicinity of the own vehicle 2 can be considered as an external device.
  • the other vehicle 23A includes the other vehicle-side sensor 24 having the same configuration as the vehicle-side sensor 5 and the other-vehicle-side communication unit 25 that is compatible with V2I and capable of transmitting information detected by the other vehicle-side sensor 24 to the roadside device 20. and can provide information to the own vehicle 2 via the roadside unit 20. If the other vehicle side communication unit 25 is compatible with V2V, communication between the own vehicle 2 and the other vehicle 23A can be performed. V2X communication can also take place directly between them.
  • the own vehicle 2 can obtain information that is more detailed or accurate than the internal information, or can obtain information that is more detailed than the internal information. It is assumed that new information that is not included in the By using the external information, for example, it is considered possible to perform danger prediction with higher accuracy.
  • the received external information is basically considered to be information about the vicinity of the own vehicle 2, it is assumed that the external information includes information related to the same object that has already been acquired as the internal information. be. In that case, if external information is treated as separate information from internal information, it is necessary to process the information separately even if it relates to the same subject, which increases the information processing load and delays the processing. I was afraid.
  • the vehicle device 1 integrates the information about the same object included in the internal information obtained from different sources and the external information.
  • the information integrated by the vehicle device 1 will be referred to as integrated information.
  • the integration here means that internal information and external information are combined so as to eliminate the need to repeatedly execute the same processing for the same object. It means aggregating information about the same object.
  • a specific method for integrating information by the vehicle device 1 will be described below. To facilitate understanding, first, as shown in FIG. , the flow of processing will be explained according to the situation.
  • FIG. 2 when north is 0 degrees, east is 90 degrees, south is 180 degrees, and west is 270 degrees, the vehicle 2 is traveling northward on a two-lane road. It is assumed that there is The black arrow superimposed on each vehicle indicates the direction of travel.
  • An XY coordinate system in which a predetermined reference position is the origin, the X direction is to the right or east of the traveling direction of the own vehicle 2, and the Y direction is the opposite direction to the traveling direction of the own vehicle 2, or to the south. is set.
  • the XY coordinate system is set for convenience to facilitate understanding of the explanation, but it is possible to set the XY coordinate system by converting the latitude and longitude obtained by GNSS5e into the distance from the reference position. can.
  • a roadside unit 20 is installed in the vicinity of the intersection.
  • 23A is running, and another vehicle 23B is running from the left toward the intersection, that is, toward the east.
  • a building 28 exists on the left side of the own vehicle 2 in the vicinity of the intersection, and the range (H1) indicated by the hatched dashed line due to the building 28 is the range where the vehicle-side sensor 5 cannot or hardly detects.
  • H1 indicated by the hatched dashed line due to the building 28 is the range where the vehicle-side sensor 5 cannot or hardly detects.
  • a road sign exists in the vicinity of the roadside unit 20, and the roadside sensor 21 cannot detect a range (H2) indicated by hatching with dashed lines due to the road sign. 29 exist.
  • FIG. 2 shows another vehicle 23A, which is an object that can be detected by both the own vehicle 2 and an external device such as the roadside device 20, and an object that cannot be detected by the own vehicle 2 but can be detected by the roadside device 20. It schematically shows a situation in which there are another vehicle 23B and a fallen object 29 that is an object that can be detected by the own vehicle 2 but cannot be detected by the roadside unit 20 .
  • information about the other vehicle 23A is included in both the internal information and the external information
  • information about the other vehicle 23B is included in the external information but not in the internal information
  • information about the fallen object 29 is included in the external information.
  • FIG. 2 is an example.
  • the vehicle device 1 executes information integration processing shown in FIG. 3 in order to integrate internal information and external information.
  • this information integration processing is performed by the comparison unit 10b, the determination unit 10c, the integration unit 10d, and the adjustment unit 10e, etc., the vehicle device 1 will be described below for the sake of simplicity of explanation. to explain.
  • the vehicle device 1 When the vehicle device 1 starts processing after being powered on, it acquires internal information (S1). At this time, as shown in FIG. 4, the vehicle device 1 acquires, as internal information, the X coordinate, Y coordinate, speed, orientation, type, and reliability information for three objects N1, N2, and N3, for example. and A method of acquiring internal information will be described in a second embodiment later.
  • internal information is obtained by the own vehicle 2. For example, when transmitting and receiving image data, the band for V2X communication is insufficient or processing of the received information is performed. It was set mainly to reduce the load of V2X communication because there is a risk that the load of V2X communication may increase. Also, the types and numbers of information included in the internal information shown in FIG. 4 are examples.
  • the X coordinate and Y coordinate indicate the position in the above XY coordinate system, the speed indicates the moving speed of the object, and the azimuth indicates the moving direction of the object.
  • the type indicates the type of object, and is set as an identification number corresponding to the type of object.
  • 0 is a moving body
  • 1 is a motorcycle
  • 2 is a passenger car
  • 3 is a truck
  • 4 is a bus
  • 5 is a trailer
  • 6 is an emergency vehicle
  • 7 is a person
  • 8 is a bicycle 27, 100.
  • 101 is set as a fallen object 29 in the same lane as the own vehicle 2
  • 102 is set as a fallen object 29 in another lane.
  • the type is known, it is possible to identify the shape of the object to some extent.
  • the information of the object can be notified to the outside and the information of the object can be obtained from the outside without transmitting/receiving information with a relatively large capacity such as image data. be able to
  • the type is set in a common manner in the information sharing system 30 . Further, 0 is set assuming a moving object whose type cannot be specified, and 100 is set assuming a stationary object whose type cannot be specified.
  • the types shown in FIG. 5 are only examples, and settings can be made based on regulations such as the so-called Road Traffic Law and Vehicle Law, or common standards and specifications for using V2X communication.
  • Reliability indicates the accuracy of information.
  • the velocity of the moving object can be obtained by performing image processing on the image captured by the camera 5a.
  • the velocity measured by the millimeter wave radar 5c is considered to be more accurate than the velocity obtained by image processing.
  • the reliability is set relatively higher than the velocity obtained by image processing. Also, even with the same millimeter wave radar 5c, it is considered that the higher the resolution, the higher the accuracy. Therefore, the reliability is set as a relative value in consideration of measurement conditions such as the detection capabilities of the vehicle-side sensor 5 and the road-side sensor 21 and the positions and orientations of these sensors.
  • the vehicle device 1 acquires information on the other vehicle 23A and the fallen object 29 existing within the detection range.
  • the vehicle device 1 also acquires the vehicle information of the own vehicle 2 as internal information as described above, the internal information corresponds to N1 corresponding to the own vehicle 2, N2 corresponding to the other vehicle 23A, and fallen object 29.
  • the information of the three objects of N3 to be acquired will be acquired.
  • the vehicle device 1 transmits the internal information to the outside as a V2X communication message (S2), and receives the external information as a V2X communication message (S3).
  • the vehicle device 1 encodes, for example, a Collective Perception Message (CPM).
  • CCM Collective Perception Message
  • the vehicle device 1 transmits internal information to an external device through V2X communication, and acquires external information from the external device through V2X communication, thereby enabling information sharing.
  • the processing of steps S1 to S2 and the processing of step S3 can be executed in random order.
  • the message received from the roadside device 20 includes a message sent to the other vehicle 23B as shown in FIG.
  • the types and numbers of information included in the external information shown in FIG. 4 are examples.
  • the vehicle device 1 compares the internal information and the external information (S4), and determines whether or not the information regarding the same object is included in the internal information and the external information. (S5).
  • This processing is performed by the comparing section 10b and the determining section 10c. Specifically, the vehicle device 1 compares the information of N1, N2 and N3 acquired as the internal information shown in FIG. 4, for example, with the information of E1 to E3 acquired as the external information.
  • the vehicular device 1 determines whether or not the object is the same object based on the similarity of the vector of the object described in the second embodiment.
  • the vehicular device 1 determines whether or not the object is the same object based on information regarding the object observed from different viewpoints, such as the position, speed, and direction of the object included in the internal information and the external information. are doing.
  • the comparison target can be appropriately set or selected, such as comparing only the position or comparing the position and speed.
  • the vehicle device 1 determines that the information of the same target is included (S5: YES), it integrates the internal information and the external information (S6). At this time, the vehicle device 1 integrates the internal information and the external information according to predetermined conditions, such as ranking the information or averaging the information. In other words, the vehicle device 1 integrates information about the moving body including information about the own vehicle 2 .
  • the information of the own vehicle 2 is included in the external information, it can be confirmed that the own vehicle 2 is grasped at least by the sender of the external information, and the information of the own vehicle included in the internal information and the external information can be confirmed. 2 match, it can also be confirmed that the information sharing system 30 is operating normally.
  • N1 and E2 are determined to be the same object and the information is integrated
  • the reliability of N1 is higher than that of E2. Since it is higher than reliability, internal information with high reliability is prioritized over external information. As a result, the same information as the internal information is stored for N1, as shown as integrated information.
  • the vehicle device 1 integrates the information based on the reliability of each piece of information. In this case, by excluding the information of E2 included in the external information, the amount of information regarding the same object is reduced compared to the state in which the information is distributed between the internal information and the external information.
  • N2 and E3 have the same reliability but have a slight difference in speed
  • the vehicle device 1 integrates them by averaging them.
  • the average value of the internal information and the external information is stored for the speed of N2, as shown as integrated information.
  • the vehicle device 1 also stores, as integrated information, information that is included in the internal information but not included in the external information. For example, even if information corresponding to N3 is not included in the external information, the vehicular device 1 stores N3 as correct information as integrated information because the reliability of N3 is high. In other words, the vehicle device 1 also integrates information about stationary objects.
  • the vehicle device 1 integrates the information about the same target in step S6, or determines that the information about the same target is not included in step S5 (S5: NO), there is unacquired information in the external information. (S7).
  • the unacquired information means information that is not included in the internal information but is included in the external information.
  • the unacquired information means information that is not included in the internal information but is included in the external information.
  • the other vehicle 23B shown in FIG. 2 since it is located in a range (H1) that cannot be detected by the own vehicle 2, it is not included in the internal information as shown in FIG. 3, but is included in the external information. included as E1.
  • the vehicle device 1 determines that there is unacquired information (S7: YES), and integrates information about E1 as unacquired information (S8). Specifically, the vehicle device 1 adds the information about E1 corresponding to the unacquired information to the integrated information as N4 indicating the fourth object existing in the vicinity of the own vehicle 2 . That is, when information is integrated, overlapping information between internal information and external information is reduced, while information included in either one is stored as integrated information. As a result, it is possible to grasp an object that could not be detected by the own vehicle 2 side.
  • the vehicle device 1 delivers integrated information to, for example, the danger prediction unit 10f and the ECU 6 that controls the drive system or brake system (S9). That is, the vehicle device 1 integrates the internal information and the external information into a state that can be used for notification to the user and a state that can be used for controlling the running of the own vehicle 2 . As a result, the own vehicle 2 can use the internal information and the external information, which are separate pieces of information obtained from different sources, in the form of one piece of integrated information.
  • the danger prediction unit 10f refers to the integrated information to determine whether the own vehicle 2 and N4 are relative to each other. It is possible to grasp the position, the type, direction and speed of N4.
  • the danger prediction unit 10f can predict potential dangers that have not been detected by the own vehicle 2. Become.
  • the risk prediction unit 10f can predict the risk of the own vehicle 2 by executing processing on the integrated information, it is necessary to perform separate processing on the internal information and the external information. It is possible to suppress duplication and delay of processing.
  • the danger prediction unit 10f grasps that there is a possibility that a truck may enter the road on which the own vehicle 2 is traveling, the risk prediction unit 10f predicts the possibility of a collision. By displaying on the display device 3 such as "a truck is coming from the left", the user can be notified of the danger. Alternatively, the danger prediction unit 10f predicts the possibility of contact with the own vehicle 2 for a falling object 29 that is not included in the external information. By displaying a message such as "There is a falling object 100 meters ahead", the danger can be notified to the user.
  • the display method on the display device 3 is not limited to the method of displaying characters as shown in FIG. 6 or FIG.
  • a graphical display method such as displaying together with and a plurality of notification modes combined with voice notification can be used to notify the danger.
  • the vehicle device 1 integrates the internal information and the external information, so that the vehicle 2 can share the information detected by the sensor or the like of the external device. It is possible to improve the accuracy and reliability of danger prediction, such as being able to predict dangers that are not detected by 2. Moreover, the risk prediction unit 10f can also notify the risk by outputting a sound from the sound input/output device 4. FIG.
  • the vehicle device 1 can perform, for example, accelerator control and brake control based on the integrated information by passing the integrated information to the ECU 6 .
  • the ECU 6 can process the integrated information, so that the situation can be grasped and judged more quickly than in the case where the internal information and the external information are processed separately. becomes possible.
  • the own vehicle 2 can be controlled quickly, and danger can be avoided, that is, safety can be improved.
  • the vehicle device 1 includes an acquisition unit 10a that acquires information detected by a sensor provided in the own vehicle 2 as internal information, an internal information, and information acquired outside the own vehicle 2 that is acquired from the own vehicle. 2, and based on the comparison result of the comparison unit 10b, both the internal information and the external information include information about the same object. and an integration unit 10d that integrates information obtained from different acquisition sources regarding the same object based on the determination result of the determination unit 10c.
  • the vehicle device 1 can integrate information regarding the same object among objects included in internal information and external information obtained from different sources, and for example, perform processing regarding the same object based on a single piece of information. It will be possible to implement In addition, by processing internal information and external information separately, it is possible to suppress the duplication and repetition of processing for the same object, which increases the processing load and delays the processing. Fear is reduced. That is, the vehicle device 1 can quickly process information about the same object.
  • the integration unit 10d of the vehicle device 1 integrates the information about the moving body. For example, it is possible to recognize an object approaching the own vehicle 2 and use it for danger prediction.
  • the integration unit 10d of the vehicle device 1 integrates information about the own vehicle 2. As a result, if the information of the own vehicle 2 is included in the external information, it can be confirmed that the own vehicle 2 is grasped at least by the sender of the external information, and the information of the own vehicle included in the internal information and the external information can be confirmed. 2 match, it can be confirmed that the information sharing system 30 is operating normally.
  • the integrating unit 10d of the vehicle device 1 integrates into a state that can be used for controlling the traveling of the own vehicle 2.
  • the integrating unit 10d of the vehicle device 1 integrates into a state that can be used for controlling the traveling of the own vehicle 2.
  • the integration unit 10d of the vehicle device 1 integrates into a state that can be used for notification to the user. As a result, for example, it is possible to notify the danger of an object that is not detected by the own vehicle 2, and it is possible to improve safety.
  • the integration unit 10d of the vehicle device 1 integrates the information based on the reliability of each information.
  • the reliability of the information can be improved, and highly reliable information can be used, for example, for risk prediction and control of the own vehicle 2, thereby further improving safety.
  • the integration unit 10d of the vehicle device 1 integrates information that is not included in the internal information but is included in the external information as unacquired information. As a result, objects that are not detected by the own vehicle 2 can be grasped, the accuracy of danger prediction can be improved, and the own vehicle 2 can be controlled to avoid danger, thereby further improving safety. can be achieved.
  • the integration unit 10d of the vehicle device 1 integrates information that is included in the internal information but not included in the external information as unacquired information. As a result, even if the external information detected by the own vehicle 2 does not contain information about the same object, it is possible to prevent the information detected by the own vehicle 2 from being discarded, thereby improving the accuracy of risk prediction. It is possible to control the own vehicle 2 to avoid danger and danger, and to further improve safety.
  • the information integration method is for integrating information acquired from different sources in a vehicle, and includes a step of acquiring information detected by a sensor provided in the own vehicle 2 as internal information; a step of comparing information acquired outside the own vehicle 2 with external information received via a communication unit provided in the own vehicle 2; and integrating information obtained from different acquisition sources regarding the same object based on the determination result.
  • the vehicle device 1 extracts the feature amount from the acquired image, and sets the type by performing object detection, feature extraction, modality processing, compact representation generation, similarity scoring, identification, and association processing. Although these processes are performed by software by the control unit 10, hardware such as an image processing IC may be provided to perform the processes.
  • the vehicle device 1 acquires an image by capturing an image of the surroundings with a camera 5a provided on the own vehicle 2. At this time, the vehicle device 1 acquires an image by capturing an image with the camera 5a at preset imaging intervals such as 5-second intervals, 10-second intervals, and 30-second intervals. After acquiring the image, the vehicle device 1 identifies one or more objects included in the captured image, and extracts features of the identified objects. Note that the feature extraction method described below is a general method in the field of image processing, so the description will be simplified here to the extent that the flow of processing can be understood.
  • the vehicle device 1 extracts a set of multimodal features from the specified object.
  • multimodal features are also referred to as modality features.
  • the vehicle device 1 normalizes the modality features to generate an initial feature vector (V).
  • This initial feature vector includes, for example, the position and movement direction of an object, texture features, color features, context features, viewpoint features, and the like.
  • Texture features are described as textures representing various parts of an object, such as a hood, wheels, or bumpers, such as geometric shapes, structures, or texture patterns.
  • Color features are those that describe the color of an object.
  • a context feature is described as a background environment around an object, such as a situation where another vehicle 23 is traveling at an intersection.
  • the viewpoint feature indicates the viewpoint at which the image including the object is captured, and includes the moving direction of the own vehicle 2, the mounting position of the camera 5a, and the orientation when the image was captured.
  • This compact representation generation is a process of generating a compact feature vector that can represent an object specified from an image in a compact state, that is, in a state in which the amount of information is reduced.
  • the vehicular device 1 generates a so-called learning model in order to efficiently generate a compact representation.
  • This compact feature vector is used, for example, to identify the X-coordinate, Y-coordinate, or type contained in the internal information.
  • the vehicle device 1 can acquire the above-described texture features and color features for each object.
  • the vehicle device 1 can determine the appearance and size of the object by specifying the position of the wheel from the texture feature and specifying the relative position with respect to the own vehicle 2 from the context feature.
  • the type can be set.
  • the conversion information is generated by converting the information acquired by the sensor into a state in which the characteristics of an object that can be specified by the information can be grasped and the amount of information is reduced from the time of acquisition, and By communicating using the conversion information, each device included in the information sharing system 30 can share information while suppressing the communication load.
  • the center position of the object can be estimated. For example, when the distance is measured by the millimeter wave radar 5c, the distance between the own vehicle 2 and the surface of the object is detected. However, if the distance is transmitted, there is a risk that the value will include an error for the other vehicle 23 that is located at a different position from the own vehicle 2, for example. Therefore, the vehicle device 1 obtains the center position of the object so that it can be used universally in other vehicles 23 and the like.
  • the The center position (P0) of the extracted object M1 is obtained as indicated by compaction in . Further, if the center position is obtained, it becomes possible to specify the coordinates of each vertex (P1 to P8) of the rectangular parallelepiped connecting the outer edge of the object, that is, the three-dimensional shape of the object.
  • the coordinates of this central position (P0) are the X and Y coordinates included in the internal information.
  • the center position (P0) of the extracted object M2 is obtained. Further, if the center position is obtained, the coordinates of each vertex (P1 to P8) of the rectangular parallelepiped connecting the outer edge of the object can be specified. Then, the compact feature vector represented by the center position and each vertex makes it possible to provide information capable of specifying the three-dimensional shape of the object with a smaller amount of information than image data.
  • each vehicle can determine whether or not it is the same object by specifying the center position and type of the object. That is, even if the image data is not transmitted/received to/from the own vehicle 2, it is possible to share compact information that enables the feature of the object to be grasped.
  • each vehicle can further utilize the acquired information for vehicle control and danger prediction.
  • the own vehicle 2 and the other vehicle 23H are traveling in opposite directions, and the other vehicle 23I is crossing between them.
  • the center position of the own vehicle 2 indicated by the line segment (CL1) and the center position of the other vehicle 23H indicated by the line segment (CL2) are the other vehicle 23I indicated by the line segment (CL3). is deviated from the central position in the front-rear direction.
  • the own vehicle 2 deviates from the center position of the other vehicle 23I and deviates from the rear end of the other vehicle 23I in terms of its three-dimensional shape. can do.
  • the center position of the other vehicle 23H is deviated from the center position of the other vehicle 23I, it can be seen that the center position of the other vehicle 23H hangs over the tip of the other vehicle 23 when viewed in a three-dimensional shape.
  • internal information and external information are not limited to information about objects, and can include information about the surrounding environment.
  • another vehicle 23J is running in front of the own vehicle 2 on a two-lane road, and another vehicle 23K is running next to the other vehicle 23J.
  • the boundary line (L1) indicating the boundary of each lane is specified from the image captured by the camera 5a
  • the other vehicle 23J is traveling in the lane on the left side of the boundary line
  • the other vehicle 23K is on the right side of the boundary line. If it can be grasped that the vehicle is traveling in the lane, the other vehicle 23J and the other vehicle 23K can be individually recognized. By including the positional relationship between the object and the boundary line in determining whether the objects are the same object, it is possible to accurately determine whether the objects are the same object.
  • the vehicle device 1 can perform the Alternatively, it is determined whether or not the objects are the same based on the consistency of a plurality of pieces of information or based on the result of weighting individual pieces of information. As a result, it is possible to more accurately determine whether or not the objects are the same object.
  • the type of internal information can be set by including its own type in the information transmitted from each vehicle instead of extracting the feature points as described above.
  • the type of internal information is determined by comparing the appearance of an object specified in the image captured by the camera 5a with a database 11a that stores, for example, a plurality of images of vehicles, and selecting those with similar appearance as the type. It can be a configuration of choice.
  • a third embodiment will be described below.
  • the external information can also be adjusted by the same method, but for the sake of simplification of explanation, the setting in the vehicle device 1 will be described as an example here.
  • the configuration of the vehicle device 1 is common to other embodiments, the description will be made with reference to FIGS. 1 to 10 as well.
  • Part of the configuration of the third embodiment also relates to the internal information setting method described in the second embodiment. That is, the third embodiment can be combined with the first and second embodiments.
  • a plurality of roadside devices 20A to 20D are installed within the communicable range (K1) of the own vehicle 2 for V2X communication, or a plurality of other vehicles compatible with V2V are installed.
  • a situation in which 23A to another vehicle 23G are present is assumed. Note that if the pedestrian 26 or the bicycle 27 has a device capable of communicating with the vehicle, it is assumed that the number of acquired external information will further increase, but the explanation is simplified here. Therefore, it is assumed that external information can be received from the roadside units 20A to 20D and the other vehicles 23C to 23E.
  • the own vehicle 2 can integrate all of the external information acquired from a plurality of acquisition sources, but as the number of acquired external information increases, the load of processing the integration and processing the integrated information increases. or delay. Therefore, the vehicle device 1 ranks the received external information, selects the external information to be integrated, or selects the information included in the external information to be integrated. can be done.
  • the vehicle device 1 adjusts the amount of information by executing the information integration adjustment process shown in FIG.
  • steps that are substantially common to the information integration processing described in the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the vehicle device 1 acquires internal information (S1), acquires external information (S3), compares the internal information and the external information (S4), and if there is information about the same object (S5 : YES), and integrate information on the same object (S6). Further, when there is unacquired information (S7: YES), the vehicle device 1 integrates the unacquired information (S8).
  • the vehicle device 1 obtains the distance between the acquisition source and the own vehicle 2 based on the information such as the X coordinate, the Y coordinate, and the orientation included in the plurality of acquired external information, and determines the distance from the own vehicle 2.
  • a predetermined number of pieces of external information can be selected as integration targets in order from the pieces of external information acquired at a nearby location.
  • the vehicular device 1 can preferentially select external information up to a predetermined upper limit number as objects to be integrated, in descending order of distance.
  • the upper limit number can be appropriately set according to the processing capability of the vehicle device 1 or the like.
  • the vehicle device 1 selects external information including information about an object approaching the own vehicle 2 or an object expected to approach the own vehicle 2 among a plurality of pieces of external information. , can be preferentially selected for integration.
  • the other vehicle 23C is traveling in the same direction as the own vehicle 2, and the other vehicle 23D is traveling toward the road on which the own vehicle 2 is traveling. Therefore, it is conceivable that the other vehicle 23C and the other vehicle 23D may approach the own vehicle 2 .
  • the vehicle device 1 can preferentially select external information acquired from the other vehicles 23C and 23D, which are expected to have a large influence on the control and danger prediction of the own vehicle 2, as integration targets. can. It should be noted that other external information can be obtained, for example, based on the distance if the processing capacity is sufficient.
  • the vehicle device 1 can preferentially select the external information transmitted from the roadside device 20 as an integration target.
  • the roadside units 20 are considered to have common communication standards, sensor performance, and the like, and to be subjected to regular inspections and the like. Therefore, since the external information acquired by the roadside device 20 is considered to be highly reliable, the vehicle device 1 can preferentially select the external information acquired from the roadside device 20 as an integration target. If there is enough processing capacity, other external information can be acquired based on the distance or the positional relationship with the host vehicle 2, for example.
  • the vehicle device 1 can preferentially select, for example, external information acquired on the planned travel route (T1) set by the navigation function or in the vicinity of the planned travel route as an object to be integrated.
  • external information acquired on the planned travel route (T1) set by the navigation function or in the vicinity of the planned travel route as an object to be integrated.
  • the communicable range is wider than the detection range of the vehicle-side sensor 5
  • information about an object that is not detected by the own vehicle 2 can be acquired as external information. Therefore, by integrating the information acquired by the acquisition sources in the vicinity of the planned travel route, it becomes possible to predict the danger of the planned travel route in advance, and the safety can be improved.
  • the vehicle device 1 can select individual information included in the external information rather than selecting the external information itself.
  • the roadside device 20C detects the other vehicle 23G and the bicycle 27 in the vicinity of the planned travel route, and the external information indicates that the other vehicle 23 is moving away from the own vehicle 2 and that the bicycle 27 is moving toward the own vehicle 2 as individual information.
  • the vehicle device 1 can individually select information on an object moving toward the host vehicle 2 from the external information received from the roadside device 20C as an integration target. As a result, it is possible to acquire information that is expected to have a large influence on the control and danger prediction of the own vehicle 2 as integrated information, thereby improving safety.
  • the vehicle device 1 does not integrate all of the received external information, but selects and integrates the external information and individual pieces of information included in the external information based on predetermined criteria. As a result, it is possible to reduce the possibility that the information amount of the integrated information will increase and the processing load will become excessively large or the processing will be delayed.
  • the vehicle device 1 adjusts the information amount of the integrated information (S20). At this time, adjustment of the amount of information is performed by the adjustment unit 10e.
  • the adjustment for information referred to here includes a configuration that increases the amount of information to improve the convenience and usefulness of information shared with external devices, and an external device that mainly reduces the communication load in V2X communication. It includes a configuration for reducing the amount of information when transmitting to the device.
  • the vehicle device 1 can detect the color of the object by the camera 5a as described above. It is considered that if the color of the object is notified, the user can easily grasp the object visually. Therefore, the vehicular device 1 provides an item of color tone indicating the color of the object as shown in FIG. 13, and assigns an identification number corresponding to the color. as additional information.
  • the lane in which the detected object exists is added to the integrated information as additional information as shown in FIG.
  • the same lane as the host vehicle 2 forward, the same lane: backward, the lane on the left side of the direction of travel, the lane on the right side of the direction of travel, the opposite lane, the crossing lane: connecting from the left, the crossing lane: leaving to the right, and the bicycle 27 Lanes and the like can be considered.
  • the classification and number of lanes are not limited to this.
  • the vehicle device 1 adds some information to the integrated information, in other words, adjusts so as to increase the information amount of the integrated information, thereby increasing the convenience and effectiveness of the integrated information. can increase
  • the vehicle device 1 when adjusting the amount of information in step S20 shown in FIG. 12, the vehicle device 1 generates transmission information for transmission to the external device by reducing the information. At this time, the vehicle device 1 adjusts the amount of information by filtering the integrated information based on a predetermined selection criterion. For example, the following selection criteria are conceivable, but the selection criteria shown here are only examples, and other selection criteria can be set.
  • TTC Time-to-Collision
  • the vehicle device 1 filters the integrated information, for example, from the integrated information to which the additional information shown in FIG. 14 is added, according to any one of the selection criteria or according to a plurality of conditions. For example, from the integrated information shown in FIG. 14, the vehicle device 1 obtains N1, which is the own vehicle 2, N3, which is not included in the external information, and the own vehicle 2, as shown as transmission information example 1 in FIG. While N4 having a short distance to is extracted as a transmission target, N4 integrated from the external information is excluded from the transmission target. It should be noted that the fact that the distance to the own vehicle 2 is short suggests the possibility that the TTC is short and the degree of danger is high, although it depends on the direction of movement between the own vehicle 2 and the object.
  • the vehicle device 1 extracts the X coordinate, the Y coordinate, the speed, the type, the azimuth, and the reliability from among the items of information about the extracted object. , tones, and relative velocities.
  • the transmission information can be generated and stored as information separate from the integrated information. It can also be configured to generate and transmit.
  • the vehicle device 1 can change or add items for each object, as shown as transmission information example 2 in FIG. This is because when selection is made according to the selection criteria, it is assumed that the number of objects to be transmitted does not reach the predetermined upper limit number, and in that case, it is considered that there is room in the communication band.
  • the vehicle device 1 can include other objects in the transmission target according to the priority set in the selection criteria, or increase the amount of information regarding the transmission target object. For example, by including the color tone of N3, which is the falling object 29, the vehicle device 1 can include, in the transmission information, information that makes it easier to visually grasp the object as described above. Alternatively, the vehicle device 1 can include in the information for transmission information on the degree of danger recognized by the own vehicle 2 for N4, which is considered to have a relatively high degree of danger due to the possibility of contact.
  • the vehicle device 1 After adjusting the amount of information, the vehicle device 1 transmits a message to the outside, encoding the information for transmission in a predetermined format, as shown in FIG. 12 (S21). As a result, the information transmitted from the own vehicle 2 can be received by the external device, and the information can be shared.
  • the vehicle device 1 adjusts the amount of information for transmission.
  • the amount of information for transmission is reduced compared to the amount of information of all the information possessed by the own vehicle 2, so the communication load in V2X communication can be reduced. Also, when there is a margin in the V2X communication band, more information can be shared.
  • the vehicle device 1 does not generate the transmission information from the integrated information to which the additional information is added as described above, but generates or acquires the transmission information from the integrated information to which the additional information is not added. It is also possible to generate transmission information from the obtained internal information.
  • the vehicle device 1 can be configured by adjusting the information amount of the internal information acquired in step S1. That is, the vehicle device 1 is not limited to the configuration for adjusting the information amount of the integrated information as described above, but by adjusting the information amount of the information before being integrated, the communication amount at the time of transmission as a message can be reduced. It can be set as the structure which reduces. Further, when the vehicle device 1 retransmits the once acquired external information as a message to the external device, the vehicle device 1 may be configured to reduce the amount of communication by transmitting information with a reduced amount of information as the message. can.
  • the vehicle device 1 can reduce the amount of information by selecting the information included in the internal information acquired in step S1, for example, based on the selection criteria described above. Then, in step S21, the vehicle device 1 can reduce the amount of V2X communication with the external device by transmitting the information from which the amount of information is deleted as a message to the external device. In this way, by adopting a configuration that can reduce the amount of information transmitted as a message, it is possible to reduce the risk of resource shortages such as communication bands, and to shorten the communication time if the amount of information is small. Therefore, rapid communication can be realized.
  • not only the own vehicle 2 but also the roadside unit 20 and the other vehicle 23 similarly reduce the amount of information before transmitting the information they have acquired as a message to the outside. can be configured.
  • devices capable of V2X communication such as the roadside device 20 and the other vehicle 23, between the other vehicles 23, between the roadside devices 20, in other words, information can be shared.
  • the system 30 it is possible to reduce the risk of the communication band becoming insufficient and to realize quick communication.
  • the configuration for reducing the amount of information transmitted as a message can be applied to the information integration configuration as described above. Specifically, for example, when the integrated information to which the additional information is added is transmitted as a message, the information may be reduced before being transmitted as the message. With such a configuration as well, it is possible to reduce the amount of communication, reduce the possibility that the communication band will be insufficient, and realize rapid communication.
  • the vehicle device 1 may be provided as a dedicated device for integrating information, but may be configured to be shared or used in combination with, for example, a navigation device.
  • the display device 3 can also be configured to be shared or combined with that for the navigation device.
  • the camera 5a can be configured to be shared or used in common with a so-called drive recorder.
  • an XY coordinate system with a predetermined reference point as the origin is set, but for example, an XY coordinate system with the position of the vehicle 2 as the origin, or an XYZ coordinate system with a Z coordinate indicating a height difference may be used.
  • it can also be set as the structure which processes using the latitude and longitude which were acquired by GNSS5e as they are, without converting into a coordinate system.
  • an example of integrating the unacquired information as it is is shown, but it is possible to determine whether or not to integrate based on the X-coordinate and Y-coordinate of the unacquired information. In addition, it is determined whether the corresponding object is in a range where it is impossible or difficult for the own vehicle 2 to detect, and if it is detectable but has not yet been acquired, the external information is re-acquired as false information. It is also possible to adopt a configuration that notifies the user of the possibility that a sensor on the vehicle 2 side is malfunctioning.
  • the controller and techniques described in this disclosure may be implemented by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by the computer program. may be Alternatively, the controller and techniques described in this disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits. Alternatively, the control units and techniques described in this disclosure can be implemented by a combination of a processor and memory programmed to perform one or more functions and a processor configured by one or more hardware logic circuits. It may also be implemented by one or more dedicated computers configured.
  • the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible recording medium.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

実施形態の車両用装置（１）は、自車両（２）に設けられている車両側センサ（５）あるいは車載センサ（９）で検知した情報を内部情報として取得する取得部（１０ａ）と、内部情報と、自車両（２）の外部で取得された情報であって自車両（２）に設けられているＶ２Ｘ通信部（１４）を介して受信される外部情報とを比較する比較部（１０ｂ）と、比較部（１０ｂ）による比較結果に基づいて内部情報および外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部（１０ｃ）と、判定部による判定結果に基づいて異なる取得元で取得された同一対象に関する情報を統合する統合部（１０ｄ）と、を備える。

Description

車両用装置、情報統合方法 関連出願の相互参照
　本出願は、２０２２年１月２６日に出願された日本出願番号２０２２－０１０１４３号に基づくもので、ここにその記載内容を援用する。
　本開示は、取得元が異なる情報を統合する車両用装置、情報統合方法に関する。
　従来、複数の車両に搭載した画像センサを利用して、複数の車両で撮像された画像に含まれる同一物体を判定することにより交通イベントを把握する情報処理システムが提案されている（例えば、特許文献１参照）。
特開２０１９－１２５３６８号公報
　さて、上記した情報処理システムのように自車両の外部で取得された情報を受信することにより、各車両は、自車両で取得した情報以外の情報を用いて例えば危険予測などに利用することが可能になると考えられる。
　しかしながら、従来では、外部から受信した情報が自車両で取得した情報とは異なる情報として扱われていたことから、同一対象に関する情報であっても個別に扱われていた。
　本開示は、上記した事情に鑑みてなされたものであり、その目的は、取得元が異なる同一対象に関する情報を統合することができる車両用装置、情報統合方法を提供することにある。
　上記目的を達成するために、本開示の一態様による車両用装置は、自車両に設けられているセンサで検知した情報を内部情報として取得する取得部と、前記内部情報と、自車両の外部で取得された情報であって自車両に設けられている通信部を介して受信される外部情報とを比較する比較部と、前記比較部による比較結果に基づいて、前記内部情報および前記外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部と、前記判定部による判定結果に基づいて、異なる取得元で取得された同一対象に関する情報を統合する統合部と、を備える。これにより、取得元が異なる同一対象に関する情報が統合することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態による車両用装置の電気的構成例を模式的に示す図であり、 図２は、自車両の周辺環境の一例を模式的に示す図であり、 図３は、自車両が実行する情報統合処理の流れを示す図であり、 図４は、内部情報、外部情報および統合情報の一例を示す図であり、 図５は、種別の設定例を示す図であり、 図６は、危険を報知する態様の一例を模式的に示す図その１であり、 図７は、危険を報知する態様の一例を模式的に示す図その２であり、 図８は、第２実施形態による物体の特徴点を抽出する態様を模式的に示す図であり、 図９は、特徴点に基づいて危険を予測する態様の一例を模式的に示す図であり、 図１０は、特徴点に基づいて同一対象を判定する態様の一例を模式的に示す図であり、 図１１は、第３実施形態による自車両の周辺環境の一例を模式的に示す図であり、 図１２は、自車両が実行する情報統合調整処理の流れを示す図であり、 図１３は、色調の設定例を示す図であり、 図１４は、情報量を調整した統合情報の一例を示す図であり、 図１５は、車線の設定例を示すであり、 図１６は、情報量を調整した送信用情報の例を示す図である。
　以下、複数の実施形態について図面を参照しながら説明する。第１実施形態では情報を統合する基本的な構成および処理の流れについて説明し、第２実施形態と第３実施形態において変形例あるいは拡張例などの詳細を説明する。また、各実施形態において実質的に共通する部位には同一符号を付して説明する。
　　　（第１実施形態）
　第１実施形態では、情報を統合する基本的な構成と処理の流れについて説明する。図１に示すように、本実施形態の車両用装置１は、自車両２に搭載されており、表示装置３、音声入出力装置４、車両側センサ５、複数のＥＣＵ６などに接続されている。なお、ＥＣＵはElectronic Control Unitの略である。また、車両用装置１もＥＣＵ６と同じく自車両２に設けられている電子機器の１つではあるものの、ここでは説明のために両者を区別している。
　表示装置３は、例えば液晶表示器で構成されており、車両用装置１から出力された画像信号や映像信号を受信して画像や映像を表示する。また、表示装置３は、図示しない機械式のスイッチや画面に対応して設けられているタッチパネルにより、車両用装置１に対して各種の操作を入力するための入力装置としても機能する。また、本実施形態では表示装置３としてセンターコンソールに取り付けられる態様を想定しているが、いわゆるヘッドアップディスプレイやフロントシールドに投影するタイプのものを採用したり、それらと組み合わせたりすることもできる。
　音声入出力装置４は、スピーカやマイクで構成されており、車両用装置１から出力された音声信号を再生して音声を出力したり、利用者の音声によって車両用装置１に対する操作を入力したりすることを可能にする。また、音声入出力装置４は、いわゆるハンズフリー通話用のものと共用あるいは兼用することができる。
　車両側センサ５は、例えばカメラ５ａ、ＬｉＤＡＲ５ｂ、ミリ波レーダ５ｃ、ジャイロ５ｄ、ＧＮＳＳ５ｅなどのセンサで構成されている。なお、ＬｉＤＡＲはLight Detection And Rangingの略であり、ＧＮＳＳはGlobal Navigation Satellite Systemの略である。ただし、車両用装置１は必ずしもこれら全てを備えている必要はなく、少なくともいずれか１つが設けられていればよい。また、車両用装置１は、カメラ５ａ、ＬｉＤＡＲ５ｂ、ミリ波レーダ５ｃ、ジャイロ５ｄなどの各センサを１つずつ備えてもよいし、複数備えていてもよい。
　これらの車両側センサ５は、周知のものであるため詳細な説明は省略するが、カメラ５ａは、自車両２の前方、後方、側方などの周囲の画像や映像を撮像するものであり、本実施形態ではカラーでの撮像が可能になっている。カメラ５ａは、前方用、後方用、側方用と用途に応じて複数個が車両用装置１自車両２に備えられていてもよい。ＬｉＤＡＲ５ｂは、レーザーを物体に照射した際の散乱光を測定し、物体までの距離や方向を検知するものである。ＬｉＤＡＲ５ｂは、前方用、後方用、側方用と用途に応じた複数個が車両用装置１ここでは自車両２に備えられていてもよいし、車両の全周囲を検知可能な回転式のものが備えられていてもよい。ミリ波レーダ５ｃは、物体にミリ波を照射し、物体までの距離、自車両２との位置関係、物体との相対速度などを高精度に検知するものである。ミリ波レーダ５ｃは、前方用、後方用、側方用と用途に応じた複数個が車両用装置１ここでは自車両２に備えられていてもよい。また、ミリ波レーダ５ｃは、例えば設置位置や異なる検知対象向けとして、周波数が異なるものを設ける構成とすることもできる。ＧＮＳＳ５ｅは、人工衛星からの信号を受信することで自車両２の位置や現在時刻などを取得可能なものであり、例えば自車両２の航法制御や経路案内などに用いられる。
　ＥＣＵ６は、例えばエアコンや駆動装置あるいはブレーキといった環境系や制御系の車両設備７を制御するために自車両２に複数設けられている。各ＥＣＵ６は、車内ネットワーク８によって互いに、且つ、車両用装置１との間で通信可能に接続されている。また、ＥＣＵ６には、例えば車速、加速度、旋回状態、アクセル開度、ブレーキペダルの操作状態などを検知する車載センサ９が接続されていることがある。以下、車両側センサ５および車載センサ９を単にセンサとも称する。
　車載センサ９で検知された情報は、車内ネットワーク８を介して車両用装置１で取得可能となっている。以下、ＥＣＵ６側で取得された情報を便宜的に車両情報とも称する。また、車両情報は、車内ネットワーク８を介して他のＥＣＵ６でも利用可能することがきできる。
　さて、車両用装置１は、センサからの情報を取得することができる。以下、自車両２で取得された情報を内部情報と称するが、ここで言う内部情報とは、自車両２で直接取得した情報を意味している。そのため、前方の道路状況などのように自車両２の外部に関する情報であっても、車両側センサ５や車載センサ９によって検知された情報であればそれは内部情報になる。また、自車両２の車速や進行方向などの情報は、もちろん内部情報に含まれる。
　また、車両用装置１には、制御部１０、記憶部１１、入出力回路１２、車内通信部１３、およびＶ２Ｘ通信部１４などを備えている。制御部１０は、図示しないＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)およびＲＡＭ(Random Access Memory)、入出力インターフェースなどを備えたコンピュータシステムとして構成されており、記憶部１１に記憶されているコンピュータプログラムを実行することにより車両用装置１の全体を制御する。
　また、制御部１０は、本実施形態に関連して取得部１０ａ、比較部１０ｂ、判定部１０ｃ、統合部１０ｄ、調整部１０ｅ、および危険予測部１０ｆを備えている。これら各部は、本実施形態ではプログラムを実行することによりソフトウェアで構成されている。ただし、各部をハードウェアで構成することができるし、ソフトウェアとハードウェアとで構成することもできる。
　詳細は後述するが、取得部１０ａは、車両側センサ５や車載センサ９で検知された情報を所定の周期で内部情報として取得する処理を実行する。取得した内部情報および自車両２の外部で取得されて受信された外部情報は、例えばＲＡＭに一時的に記憶される。比較部１０ｂは、自車両２で取得された内部情報と、自車両２の外部で取得された外部情報とを比較する処理を実行する。判定部１０ｃは、内部情報と外部情報とに同一対象に関する情報が含まれているか否かを判定する処理を実行する。このとき、判定部１０ｃは、内部情報と外部情報に含まれている物体の位置、速度、方位または形状のうち少なくとも１つ以上の情報に基づいて、同一対象であるか否かを判定する。
　統合部１０ｄは、内部情報と外部情報とに含まれている同一対象に関する取得元が異なる情報を統合する処理を実行する。このとき、統合部１０ｄは、詳細は後述するが、カメラ５ａやＬｉＤＡＲ５ｂなどによって検知された自車両２の周囲に存在する移動体に関する情報、または、ジャイロ５ｄやＧＮＳＳ５ｅあるいは車載センサ９などによって検知された自車両２に関する情報の少なくとも一方を統合する。また、統合部１０ｄは、詳細は後述するが、内部情報と外部情報を、自車両２の走行の制御に利用可能な状態または利用者への報知に利用可能な状態の少なくとも一方の態様で情報を統合する。また、統合部１０ｄは、詳細は後述するが、同一対象に関して内部情報と外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する。ただし、統合対象となるそれぞれの情報は、信頼度だけに基づいて統合されることに限定されず、例えば速度などのパラメータの平均を算出するなど、他の手法により統合することができる。
　調整部１０ｅは、詳細は後述するが、統合部１０ｄが統合した統合情報を取捨選択し、送信する際の情報量を調整する処理を実行する。危険予測部１０ｆは、内部情報や外部情報あるいは統合情報の少なくとも１つの情報に基づいて危険を予測する処理や、予測した危険を利用者に報知する処理を実行する。このため、危険予測部１０ｆは、利用者への報知を行う報知部としても機能する。
　記憶部１１は、例えばｅＭＭＣ（embedded Multi Media Card）やフラッシュメモリのような半導体記憶装置やＨＤＤ（Hard Disk Drive）などによって構成されており、制御部１０で実行されるコンピュータプログラム、制御部１０で実行する処理に必要とされる各種のデータなどを記憶している。また、記憶部１１は、車両用装置１の設定などの情報を記憶することもできる。入出力回路１２は、制御部１０と表示装置３や音声入出力装置４あるいは車両側センサ５などの周辺機器との間で信号の入出力を行うものであり、例えば制御部１０から出力された電気信号を周辺機器に入力可能な電気信号に変換したり、その逆に周辺機器から出力された電気信号を制御部１０に入力可能な電気信号に変換したりする信号変換回路などによって構成されている。車内通信部１３は、車内ネットワーク８を介してＥＣＵ６との間で通信を行うためのインターフェースとして実現されている。本実施形態では車内通信部１３としてＣＡＮ通信を想定しているが、例えばＥｔｈｅｒｎｅｒ（登録商標）などの他の規格のものを採用することもできる。なお、ＣＡＮは、Controller Area Networkの略である。
　Ｖ２Ｘ通信部１４は、自車両２の外部に存在する外部装置との間で通信を行うインターフェースとして実現されており、本実施形態ではＶ２Ｘ通信を行うことを想定している。このＶ２Ｘ通信は、Vehicle to Everything、すなわち、車両と様々な機器やシステムとの間を無線通信で接続して相互連携を行うための通信技術の総称である。
　このＶ２Ｘ通信には、例えば車両と車両との間で通信を行うＶ２Ｖ（Vehicle to Vehicle）、車両と路側機のようなインフラ設備との間で通信を行うＶ２Ｉ（Vehicle to Infrastructure）、車両と人が所有している端末との間で通信を行うＶ２Ｐ（Vehicle to People）、車両とネットワークとの間で通信を行うＶ２Ｎ（Vehicle to Network）などが含まれる。
　ただし、Ｖ２Ｘ通信部１４は、必ずしも上記した全ての通信技術に対応している必要はなく、例えば本実施形態の場合には、Ｖ２Ｘ通信部１４はＶ２ＶおよびＶ２Ｉに対応したものとなっている。もちろん、Ｖ２Ｘ通信部１４が上記した全ての通信技術に対応しているものであってもよい。なお、Ｖ２Ｘ通信は、具体的には短区間の専用狭域通信であるＤＳＲＣ（Dedicated Short-Range Communications）や、地域を特定の区画に分割してそれぞれの区画に基地局を設けて区画内の装置との間で通信を行うセルラー方式などを利用して通信が行われる。
　車両用装置１の場合、自車両２の近傍に存在するＶ２Ｘ通信可能な外部装置との間で通信を行うことができる。このとき、外部装置としては、例えば道路の近傍に設置されている路側機２０が考えられる。この場合、路側機２０は、周辺環境の情報を取得する路側センサ２１とその路側センサ２１で検知された情報を自車両２に送信可能な路側通信部２２とを備えている。
　また、外部装置としては、自車両２の近傍に存在する他車両２３Ａも考えられる。他車両２３Ａは、車両側センサ５と同様の構成の他車側センサ２４とその他車側センサ２４で検知された情報を路側機２０に送信可能なＶ２Ｉに対応した他車側通信部２５とを備えており、路側機２０を介して自車両２に対して情報を提供することができる、なお、他車側通信部２５がＶ２Ｖに対応していれば、自車両２と他車両２３Ａとの間で直接的にＶ２Ｘ通信を行うこともできる。
　また、現実的には、自車両２の周辺にＶ２Ｘ通信に対応していない他車両２３Ｂや歩行者２６あるいは自転車２７などが存在していることも想定される。ただし、歩行者２６が所持している携帯通信端末２６ａや自転車２７に取り付けられている撮影記録装置２７ａなどが例えばＶ２Ｐや路側機２０との通信が可能なものであれば、それらの携帯通信端末２６ａや撮影記録装置２７ａも外部装置とみなすことができる。
　このように、自車両２と路側機２０や他車両２３Ａなどの外部装置との間を通信可能に接続することにより、複数の観測点で取得された情報つまりは取得元が異なる情報を互いに共有可能且つ利用可能にする情報共有システム３０が構築される。このとき、Ｖ２Ｘ通信で受信される情報は基本的には自車両２の近傍の情報であると考えられるため、自車両２で取得した内部情報に含まれている同一対象に関する情報が、外部で取得された外部情報にも含まれていることが想定される。
　次に、上記した構成の作用について説明する。
　例えば路側機２０や他車両２３Ａといった外部装置側で取得された外部情報を受信することにより、自車両２は、内部情報よりも詳細な情報や精度の高い情報を得ることができたり、内部情報には含まれていない新たな情報を取得できたりすることが想定される。そして、その外部情報を利用することにより、例えば危険予測をより高精度に行うことなどが可能になると考えられる。
　ところで、受信された外部情報は基本的には自車両２の近傍の情報であると考えられるため、外部情報には、内部情報として取得済みの同一対象に関する情報が含まれていることが想定される。その場合、外部情報を内部情報とは異なる別の情報として単独で扱うと、同一対象に関する情報であっても個別に処理する必要があり、情報処理の負荷が増加したり処理が遅延したりするおそれがあった。
　そこで、車両用装置１は、取得元が異なる内部情報と外部情報に含まれている同一対象に関する情報を統合する。以下、車両用装置１で統合された情報を統合情報と称するが、ここで言う統合とは、同一対象に対して同じ処理を繰り返し実行したりする必要がないように、内部情報と外部情報から同一対象に関する情報を集約することを意味している。以下、車両用装置１が情報を統合する具体的な手法について説明するが、理解を助けるために、まずは図２に示すように自車両２が走行中に発生し得る仮想的な状況を想定し、その状況に沿って処理の流れを説明することとする。
　図２に示すように、北を方位０°、東を方位９０°、南を方位１８０°、西を方位２７０°とした場合において、自車両２は２車線の道路を北向きに走行しているものとする。なお、各車両に重ねて付されている黒矢印はそれぞれの進行方向を示している。また、所定の基準位置を原点とし、自車両２の進行方向に対して右向きつまりは東向きがＸ方向、自車両２の進行方向とは逆向きつまりは南向きがＹ方向となるＸＹ座標系が設定されているものとする。なお、ＸＹ座標系は説明を理解し易くするために便宜的に設定したものであるが、ＧＮＳＳ５ｅで取得した緯度および経度を基準位置からの距離に変換することでＸＹ座標系を設定することができる。
　また、自車両２の周辺環境として、自車両２の前方に交差点が存在しており、その交差点の近傍には路側機２０が設置されており、交差点から右方向つまりは東に向かって他車両２３Ａが走行しており、左方向から交差点つまりは東に向かって他車両２３Ｂが走行しているとする。また、交差点の近傍には自車両２の左方側に建物２８が存在しており、その建物２８によって破線のハッチングで示す範囲（Ｈ１）が車両側センサ５による検知が不可または困難な範囲となっているものとする。また、路側機２０の近傍に道路標識が存在しており、その道路標識によって破線のハッチングで示す範囲（Ｈ２）が路側センサ２１による検知が困難になっており、その範囲（Ｈ２）に落下物２９が存在しているとものとする。
　つまり、図２は、自車両２と路側機２０のような外部装置との双方で検知可能な物体である他車両２３Ａと、自車両２では検知できないものの路側機２０では検知可能な物体である他車両２３Ｂと、自車両２では検知可能であるものの路側機２０では検知できない物体である落下物２９とが存在する状況を模式的に示している。換言すると、図２には、他車両２３Ａに関する情報が内部情報と外部情報の双方に含まれ、他車両２３Ｂに関する情報が内部情報には含まれず外部情報には含まれ、落下物２９に関する情報が内部情報には含まれるものの外部情報には含まれない状況を模式的に示している。ただし、図２に示す状況は一例である。
　さて、車両用装置１は、内部情報と外部情報とを統合するために、図３に示す情報統合処理を実行する。なお、この情報統合処理は上記した比較部１０ｂ、判定部１０ｃ、統合部１０ｄおよび調整部１０ｅなどにより実行される処理であるものの、説明の簡略化のために以下では車両用装置１を主体にして説明する。
　車両用装置１は、電源投入後に処理を開始すると、内部情報を取得する（Ｓ１）。このとき、車両用装置１は、図４に示すように、例えばＮ１、Ｎ２およびＮ３の３つの物体に関して、Ｘ座標、Ｙ座標、速度、方位、種別、信頼度の情報を内部情報として取得したとする。なお、内部情報を取得する手法については後述する第２実施形態で説明するが、内部情報は、自車両２で取得した例えば画像データを送受信するとＶ２Ｘ通信の帯域が不足したり受信した情報の処理の負荷が高くなったりするおそれがあることから、主としてＶ２Ｘ通信の負荷を低減するために設定されたものである。また、図４に示した内部情報に含まれる情報の種類や数などは一例である。
　Ｘ座標、Ｙ座標は、上記したＸＹ座標系での位置を示し、速度は物体の移動速度を示し、方位は物体の移動方向を示している。種別は、物体の種類を示すものであり、物体の種類に対応した識別番号として設定されている。本実施形態の場合、種別として０は移動体、１は自動二輪車、２は乗用車、３はトラック、４はバス、５はトレーラ、６は緊急走行車両、７は人、８は自転車２７、１００は静止体、１０１は自車両２と同一車線の落下物２９、１０２は他の車線の落下物２９として設定されている。
　このため、種別が分かれば物体の形状をある程度特定することが可能となる。また、物体の種類を種別により示すことにより、画像データのような比較的容量が大きな情報を送受信しなくても、外部に対して物体の情報を通知できるとともに、外部から物体の情報を取得することができるようになる。なお、種別は、情報共有システム３０で共通の態様で設定されることを想定している。また、０は種別を特定できなかった移動体、１００は種別を特定できなかった静止体を想定して設定されている。ただし、図５に示す種別は一例であり、いわゆる道路交通法や車両法といった法規、あるいはＶ２Ｘ通信を使用するための共通規格や仕様などに基づいた設定とすることができる。
　信頼度は、情報の正確さを示している。一例ではあるが、例えばカメラ５ａで撮像した画像に対して画像処理を施すことにより移動体の速度を求めることができると考えられる。しかし、一般論で言えば、画像処理により求めた速度よりも例えばミリ波レーダ５ｃによって測定した速度のほうが精度は高いと考えられる。
　そのため、ミリ波レーダ５ｃによって測定された速度であれば、その信頼度は、画像処理により求めた速度よりも相対的に高く設定されることになる。また、同じミリ波レーダ５ｃであっても、より分解能が高い方が精度は高いと考えられる。そのため、信頼度は、車両側センサ５や路側センサ２１の検知能力やそれらのセンサが取り付けられている位置や向きなどの測定条件を考慮した相対的な値として設定されている。
　さて、車両用装置１は、上記した図２の状況においては、検知範囲内に存在する他車両２３Ａと落下物２９に関する情報を取得することになる。また、車両用装置１は上記したように自車両２の車両情報も内部情報として取得するため、内部情報としては自車両２に対応するＮ１、他車両２３Ａに対応するＮ２、落下物２９に対応するＮ３の３つの物体の情報が取得されることになる。
　そして、車両用装置１は、図３に示すように、内部情報をＶ２Ｘ通信のメッセージとして外部に向けて送信するとともに（Ｓ２）、外部情報をＶ２Ｘ通信のメッセージとして受信する（Ｓ３）。このとき、車両用装置１は、例えば集合的認識メッセージ（ＣＰＭ：Collective Perception Message）でエンコードする。このように、車両用装置１は、内部情報をＶ２Ｘ通信で外部装置に送信するとともに、外部装置からＶ２Ｘ通信で外部情報を取得することで情報の共有を可能にしている。ただし、ステップＳ１～Ｓ２の処理と、ステップＳ３の処理とは順不同に実行可能である。
　さて、図２に示す状況の場合、車両用装置１は路側機２０との間でメッセージの送受信を行うことから、路側機２０から受信するメッセージには、図４に示すように他車両２３Ｂに相当するＥ１、自車両２に相当するＥ２、および他車両２３Ａに相当するＥ３の３つの物体に関する情報が含まれていることになる。ただし、図４に示した外部情報に含まれる情報の種類や数などは一例である。
　続いて、車両用装置１は、図３に示すように、内部情報と外部情報とを比較し（Ｓ４）、内部情報と外部情報とに同一対象に関する情報が含まれているか否かを判定する（Ｓ５）。この処理は、比較部１０ｂおよび判定部１０ｃによって行われる。具体的には、車両用装置１は、例えば図４に示す内部情報として取得されているＮ１、Ｎ２およびＮ３の情報と、外部情報として取得されたＥ１～Ｅ３の情報とをそれぞれ比較する。
　そして、車両用装置１は、例えばＮ１とＥ２あるいはＮ２とＥ３のように、内部情報と外部情報とにおいてＸ座標、Ｙ座標、速度、方位、種別といった情報が一致する場合、あるいは、両者が概ね一致すると考えられる範囲にある場合、それらが同一対象であると判定する。つまり、車両用装置１は、第２実施形態で説明する物体のベクトルの類似性に基づいて同一対象であるか否かを判定している。
　換言すると、車両用装置１は、内部情報と外部情報に含まれている物体の位置、速度、方位となどの異なる視点から観測された物体に関する情報に基づいて同一対象であるか否かを判定している。ただし、必ずしも全ての情報を比較対象に含める必要は無く、例えば位置のみを比較したり、位置と速度とを比較したりするなど、比較対象を適宜設定あるいは選択することができる。また、各情報に重みづけを行い、各情報の一致度を重みづけした結果に基づいて同一対象であるかの判定を行う構成とすることもできる。
　そして、車両用装置１は、同一対象の情報が含まれていると判定した場合には（Ｓ５：ＹＥＳ）、内部情報と外部情報とを統合する（Ｓ６）。このとき、車両用装置１は、情報に順位付けを行ったり情報を平均化したりするなど、所定の条件に従って内部情報と外部情報とを統合する。つまり、車両用装置１は、自車両２に関する情報も含めて、移動体に関する情報を統合する。
　これにより、例えば自車両２に接近する物体を把握して危険予測に役立てることなどが可能となる。また、自車両２の情報が外部情報に含まれていれば、自車両２が少なくとも外部情報の送信元に把握されていることを確認できるとともに、内部情報と外部情報に含まれている自車両２の情報が一致していれば、情報共有システム３０が正常に動作していることも確認できる。
　具体的には、車両用装置１は、図４に示す内部情報と外部情報が取得され、Ｎ１とＥ２が同一対象と判定されてそれらの情報を統合する場合、Ｎ１の信頼度のほうがＥ２の信頼度よりも高いことから、信頼度の高い内部情報を外部情報よりも優先する。これにより、統合情報として示すように、Ｎ１については内部情報と同一の情報が記憶される。
　つまり、車両用装置１は、同一対象に関して内部情報と外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する。この場合、外部情報に含まれているＥ２の情報が除外されることにより、同一対象に関する情報量は、内部情報と外部情報とに分散している状態よりも削減されたことになる。
　また、車両用装置１は、Ｎ２とＥ３のように信頼度が同じであるものの例えば速度に若干の違いがある場合、それらを平均化することで統合する。これにより、統合情報として示すように、Ｎ２の速度については内部情報と外部情報の平均値が記憶される。
　また、車両用装置１は、内部情報には含まれているものの外部情報には含まれていない情報についても、統合情報として記憶する。例えば、Ｎ３に該当する情報が外部情報には含まれていなくても、車両用装置１は、Ｎ３の信頼度が高いことから、正しい情報であるして統合情報として記憶する。つまり、車両用装置１は静止体に関する情報も統合する。
　さて、車両用装置１は、ステップＳ６で同一対象に関する情報を統合すると、あるいは、ステップＳ５において同一対象に関する情報が含まれていなかったと判定すると（Ｓ５：ＮＯ）、外部情報に未取得情報があるか否かを判定する（Ｓ７）。ここで、未取得情報とは、内部情報には含まれていないものの外部情報には含まれている情報を意味している。例えば、図２に示す他車両２３Ｂの場合、自車両２で検知できない範囲（Ｈ１）に位置していることから、図３に示すように内部情報には含まれていないものの、外部情報にはＥ１として含まれている。
　この場合、車両用装置１は、Ｅ１に該当する物体に関する内部情報がないことから、未取得情報があると判定し（Ｓ７：ＹＥＳ）、Ｅ１に関する情報を未取得情報として統合する（Ｓ８）。具体的には、車両用装置１は、未取得情報に相当するＥ１に関する情報を、自車両２の近傍に存在する４つめの物体を示すＮ４として統合情報に追加する。つまり、情報を統合する際には、内部情報と外部情報とで重複している情報については削減される一方、いずれか一方に含まれる情報については統合情報として記憶される。これにより、自車両２側では検知できなかった物体についても把握することができる。
　そして、車両用装置１は、例えば危険予測部１０ｆや駆動系あるいはブレーキ系を制御するＥＣＵ６などに統合情報を受け渡す（Ｓ９）。つまり、車両用装置１は、利用者への報知に利用可能な状態や自車両２の走行の制御に利用可能な状態に内部情報と外部情報とを統合している。これにより、内部情報と外部情報という取得元が異なる個別の情報を、自車両２では１つの統合情報という形で利用することが可能になる。
　さて、統合情報の利用形態としては、危険予測に関する処理が考えられる。例えば、図２に示すように、自車両２では検知されていない他車両２３Ｂが交差点に接近している場合、危険予測部１０ｆは、統合情報を参照することによって自車両２とＮ４との相対位置、Ｎ４の種別や方位および速度を把握することが可能となる。
　換言すると、外部情報を統合して外部装置側のセンサで検知された情報を共有することにより、危険予測部１０ｆは、自車両２で検知されていない潜在的な危険を予測することが可能となる。また、危険予測部１０ｆは、統合情報に対して処理を実行することによって自車両２の危険性に関する予測を行うことが可能となるため、内部情報と外部情報に対して個別の処理を行う必要は無く、処理が重複したり遅延したりすることを抑制できる。
　そして、危険予測部１０ｆは、例えば自車両２が走行中の道路にトラックが進入する可能性があることを把握した場合には、衝突の可能性が予見されることから、例えば図６に示すように表示装置３に対して「左からトラックが来ます」といった表示を行うことにより、利用者に対して危険性を報知することができる。あるいは、危険予測部１０ｆは、外部情報には含まれていない落下物２９については、自車両２に接触する可能性が予見されることから、例えば図７に示すように表示装置３に対して「１００ｍ先に落下物あり」といった表示を行うことにより、利用者に対して危険性を報知することができる。ただし、表示装置３への表示方法は、図６あるいは図７に示したような文字を表示する手法に限らず、例えば車両のイラストと衝突した態様を模式的に示す例えば星形や雲形のイラストとを併せて表示するなどのグラフィカルな表示手法や、音声による報知と組み合わせた複数の報知態様により危険性を報知する構成とすることができる。
　このように、車両用装置１は、内部情報と外部情報とを統合することにより、外部装置のセンサ等で検知された情報を自車両２で共有することが可能となり、上記したように自車両２が検知していない危険性を予測できるようになるなど、危険予測の精度や信頼性を向上させることが可能となる。また、危険予測部１０ｆは、音声入出力装置４から音声を出力することによって危険性を報知することもできる。
　また、車両用装置１は、統合情報をＥＣＵ６に受け渡すことにより、例えばアクセル制御やブレーキ制御を統合情報に基づいて行うことができる。その場合、ＥＣＵ６は、統合情報に対して処理を実行すればよいことから、内部情報と外部情報という個別の情報に対してそれぞれ処理を実行する場合と比べて迅速に状況を把握および判断することが可能となる。その結果、自車両２の制御を迅速に行うことができ、危険を回避すること、つまりは、安全性の向上を図ることができる。
　以上説明した実施形態によれば、次のような効果を得ることができる。
　車両用装置１は、自車両２に設けられているセンサで検知された情報を内部情報として取得する取得部１０ａと、内部情報と、自車両２の外部で取得された情報であって自車両２に設けられている通信部を介して受信される外部情報とを比較する比較部１０ｂと、比較部１０ｂによる比較結果に基づいて、内部情報および外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部１０ｃと、判定部１０ｃによる判定結果に基づいて、同一対象に関して異なる取得元で取得された情報を統合する統合部１０ｄと、を備えている。
　これにより、車両用装置１は、取得元が異なる内部情報と外部情報に含まれている物体のうち、同一対象に関する情報を統合することができ、例えば同一対象に関する処理を単一の情報に基づいて実施することなどができるようになる。また、内部情報と外部情報とを個別に処理することにより同一対象に対して処理が重複したり繰り返されたりすることが抑制されることから、処理の負荷が増加したり処理が遅延したりするおそれが低減される。すなわち、車両用装置１は、同一対象に関する情報を迅速に処理することができる。
　そして、同一対象に関する情報を迅速に処理することができれば、例えば危険予測を迅速に行うことや、予測した危険に対応するための自車両２の制御を迅速に行うことなどが可能となり、安全性の向上を図ることができる。
　また、車両用装置１の統合部１０ｄは、移動体に関する情報を統合する。例えば自車両２に接近する物体を把握して危険予測に役立てることなどが可能となる。
　また、車両用装置１の統合部１０ｄは、自車両２に関する情報を統合する。これにより、自車両２の情報が外部情報に含まれていれば自車両２が少なくとも外部情報の送信元に把握されていることを確認できるとともに、内部情報と外部情報に含まれている自車両２の情報が一致していれば、情報共有システム３０が正常に動作していることなどを確認することができる。
　また、車両用装置１の統合部１０ｄは、自車両２の走行の制御に利用可能な状態に統合する。これにより、例えば自車両２では検知されていない物体を把握した場合などにおいて、統合情報に基づいてアクセル制御やブレーキ制御を行うことによって潜在的な危険に対処することなどが可能となり、安全性の向上を図ることができる。
　また、車両用装置１の統合部１０ｄは、利用者への報知に利用可能な状態に統合する。これにより、例えば自車両２では検知されていない物体の危険性を報知することなどが可能となり、安全性の向上を図ることができる。
　また、車両用装置１の統合部１０ｄは、同一対象に関して内部情報と外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する。これにより、情報の信頼度を向上させることができるとともに、信頼度の高い情報を例えば危険予測や自車両２の制御に利用することができ、安全性のより一層の向上を図ることができる。
　また、車両用装置１の統合部１０ｄは、内部情報には含まれておらず外部情報には含まれている情報を、未取得情報として統合する。これにより、自車両２では検知されていない物体を把握することができ、危険予測の精度の向上や危険を避けるための自車両２の制御などを行うことができ、安全性のより一層の向上を図ることができる。
　また、車両用装置１の統合部１０ｄは、内部情報には含まれていて外部情報には含まれていない情報を、未取得情報として統合する。これにより、自車両２で検知されたものの外部情報には同一対象に関する情報がない場合であっても、自車両２で検知した情報が破棄されてしまうことを防止でき、危険予測の精度の向上や危険を避けるための自車両２の制御などを行うことができ、安全性のより一層の向上を図ることができる。
　また、情報統合方法は、車両において取得元が異なる情報を統合するためのものであって、自車両２に設けられているセンサで検知された情報を内部情報として取得するステップと、内部情報と自車両２の外部で取得された情報であって自車両２に設けられている通信部を介して受信される外部情報とを比較するステップと、内部情報および外部情報の双方に同一対象に関する情報が含まれているか否かを判定するステップと、判定結果に基づいて同一対象に関して異なる取得元で取得された情報を統合するステップと、を含んでいる。
　このような情報統合方法によっても、同一対象に関する情報を迅速に処理することができれば、例えば危険予測を迅速に行うことや、予測した危険に対応するための自車両２の制御を迅速に行うことなどが可能となり、安全性の向上を図ることができるなど、車両用装置１と同様の上記した効果を得ることができる。
　また、取得した内部情報を送信する構成を例示したが、取得した内部情報で既に記憶されている統合情報を更新したものを送信する構成とすることができる。
　　　（第２実施形態）
　以下、第２実施形態について説明する。第２実施形態では、内部情報の設定手法とその活用について説明する。なお、外部情報も同様の手法により設定されているが、ここでは説明の簡略化のために車両用装置１における設定を例にして説明する。つまり、第２実施形態は、第１実施形態と組み合わせることができる。
　車両用装置１は、取得した画像から特徴量を抽出し、物体検出、特徴抽出、モダリティ処理、コンパクト表現生成、類似性スコアリング、識別、関連付けの処理を行うことにより種別を設定している。なお、これらの処理は制御部１０によってソフトウェアで行われているが、画像処理ＩＣなどのハードウェアを設けて処理を行わせる構成とすることができる。
　車両用装置１は、自車両２に設けられているカメラ５ａによって周囲を撮像することにより、画像を取得する。このとき、車両用装置１は、例えば５秒間隔、１０秒間隔、３０秒間隔などのような予め設定された撮像周期ごとにカメラ５ａで撮像することで画像を取得する。画像を取得すると、車両用装置１は、撮像した画像に含まれている物体を１つあるいは複数特定し、特定した物体の特徴を抽出する。なお、以下に説明する特徴の抽出手法は画像処理分野における一般的な手法であるため、ここでは処理の流れを理解できる程度に簡略化して説明する。
　車両用装置１は、特定した物体からマルチモーダル特徴のセットを抽出する。なお、マルチモーダル特徴はモダリティ特徴とも称される。具体的には、車両用装置１は、モダリティ特徴を正規化して初期特徴ベクトル（Ｖ）を生成する。この初期特徴ベクトルは、例えば物体の位置や移動方向、テクスチャ特徴、色特徴、コンテキスト特徴、視点特徴などが含まれている。
　物体の位置は、内部情報に含まれるＸ座標、Ｙ座標に相当し、移動方向は内部情報に含まれる方位に相当する。テクスチャ特徴は、例えばフードやホイールあるいはバンパーなど物体の様々な部分を示すテクスチャとして記述されるものであり、例えば幾何学的形状や構造あるいはテクスチャパターンなどである。色特徴は、物体の色として記述されるものである。
　コンテキスト特徴は、物体の周辺にあるバックグラウンド環境として記述されるものであり、例えば他車両２３が交差点を走行している状況などである。視点特徴は、物体を含む画像が取り込まれた視点を示しており、自車両２の移動方向、カメラ５ａの取り付け位置や撮像したときの向きを含んでいる。
　続いて、車両用装置１は、抽出した特徴に基づいて、コンパクト表現生成を実施する。このコンパクト表現生成は、画像から特定した物体をコンパクトな状態つまりは情報量を削減した状態で表現可能なコンパクト特徴ベクトルを生成する処理である。このとき、車両用装置１では、効率的にコンパクト表現生成を実行可能にするために、いわゆる学習モデルを生成している。このコンパクト特徴ベクトルは、例えば内部情報に含まれているＸ座標やＹ座標あるいは種別の特定に利用される。
　例えば、図８に撮像画像として示すように、カメラ５ａで撮像した画像から普通自動車に相当する抽出物体Ｍ１とトラックに相当する抽出物体Ｍ２とが特定されたとする。この場合、車両用装置１は、各物体について上記したテクスチャ特徴や色特徴を取得することができる。これにより、車両用装置１は、テクスチャ特徴からホイールの位置などを特定し、コンテキスト特徴から自車両２との相対位置などを特定することにより、物体の外観や大きさを求めることができる。
　そして、求めた物体の大きさや外観に該当する車両の種類を特定すれば、種別を設定することができる。換言すると、画像データに比べて圧倒的に情報量が小さい種別という情報を用いることにより、通信負荷を抑制しつつ物体の種類を特定可能な情報を送受信することができる。換言すると、センサで取得した情報を、その情報によって特定できる物体の特徴を把握可能な状態であって、且つ、取得した時点よりも情報量が少なくなる状態に変換した変換情報を生成し、その変換情報を用いて通信を行うことにより、情報共有システム３０に含まれる各装置において、通信負荷を抑制しつつ情報を共有することができる。
　また、種別が特定できれば、物体の中心位置を推定することができる。例えばミリ波レーダ５ｃで距離を測定した場合には、自車両２と物体の表面までの距離とが検出されることになる。しかし、その距離を送信すると、例えば自車両２と異なる位置に存在する他車両２３などにとっては誤差を含んだ値となってしまうおそれがある。そこで、車両用装置１は、他車両２３などにおいて汎用的に利用できるように、物体の中心位置を求めている。
　具体的には、例えば抽出物体Ｍ１の場合、乗用車であると判定されていることから、検知された物体までの距離と種別に対応付けられている横幅の半分とを加算することにより、図８にコンパクト化として示すように抽出物体Ｍ１の中心位置（Ｐ０）が求まる。また、中心位置が求まれば、その物体の外縁を繋ぐ直方体の各頂点（Ｐ１～Ｐ８）の座標つまりは物体の立体形状を特定することが可能になる。この中心位置（Ｐ０）の座標が、内部情報に含まれるＸ座標、Ｙ座標になる。
　同様に、抽出物体Ｍ２の中心位置（Ｐ０）が求まる。また、中心位置が求まれば、その物体の外縁を繋ぐ直方体の各頂点（Ｐ１～Ｐ８）の座標を特定できる。そして、中心位置と各頂点とにより表されるコンパクト特徴ベクトルにより、物体の立体形状を特定可能な情報を画像データよりも少ない情報量で提供することが可能となる。
　そして、コンパクト特徴ベクトルを黒矢印で示す初期特徴ベクトルに対応付けることにより、物体の特徴がまとめられた内部情報として外部装置にメッセージで送信したり、外部装置からメッセージで外部情報として受信したりすることが可能となる。その結果、各車両は、物体の中心位置や種別を特定することにより、同一対象であるか否かの判断を行うことができる。すなわち、自車両２との間で画像データを送受信しなくても、物体の特徴を把握可能な情報をコンパクト化した状態で共有することができる。
　また、自身に対する相対的な位置関係や向き、さらには、その物体の立体形状も求めることができることから、各車両は、取得した情報を車両の制御や危険予測に一層活用することができるようになる。例えば、図９に模式的に示すように、自車両２と他車両２３Ｈとが逆方向に走行しており、両者の間を他車両２３Ｉが横切っている状況を想定する。このとき、物体の中心位置で見れば、線分（ＣＬ１）で示す自車両２の中心位置および線分（ＣＬ２）で示す他車両２３Ｈの中心位置は、線分（ＣＬ３）で示す他車両２３Ｉの前後方向における中心位置からずれているものとする。
　この場合、自車両２は、自身の中心位置が他車両２３Ｉの中心位置からずれているとともに、立体形状においても他車両２３Ｉの後端から外れているため、接触等の危険性が少ないと判断することができる。一方、他車両２３Ｈは、自身の中心位置は他車両２３Ｉの中心位置からずれているものの、立体形状で見れば他車両２３の先端に掛かっていることが分かる。
　つまり、他車両２３Ｈと他車両２３Ｉの位置関係はそのままであれば接触する可能性が高い状況にあると考えられるため、他車両２３Ｈや他車両２３Ｉでは、車両の速度を低下させたり重大な危険があることを報知したりすることなどが可能になる。すなわち、物体の立体形状に基づいて、あるいは、物体の立体毛状を加味して車両の制御や危険予測を行うことにより、安全性を向上させることができると考えられる。
　ところで、内部情報や外部情報としては、物体に関する情報に限らず、周辺環境に関する情報を含めることができる。例えば、図１０に示すように、片側２車線の道路において自車両２の前方を他車両２３Ｊが走行しており、他車両２３Ｊの隣を他車両２３Ｋが走行しているとする。この場合、センサの検知能力等によっては他車両２３Ｊと他車両２３Ｋとが概ね同じ位置で同じ方向に走行していることが検出される可能性がある。
　その場合、カメラ５ａで撮像した画像から各車線の境界を示す境界線（Ｌ１）を特定し、他車両２３Ｊが境界線の左側の車線を走行しており、他車両２３Ｋが境界線の右側の車線を走行していることが把握できれば、他車両２３Ｊと他車両２３Ｋとを個別に認識することができる。そして、同一対象であるかの判定に物体と境界線との位置関係を含めることにより、同一対象であるかの判定を正確に行うことができる。
　このように、車両用装置１は、内部情報と外部情報に含まれている物体の位置、速度、方位、立体形状、または周辺環境との一致性のうち少なくとも１つ以上の情報に基づいて、または、複数の情報の一致性に基づいて、あるいは、個別の情報に重みづけした結果に基づいて、同一対象であるか否かを判定している。これにより、同一対象であるかの判定をより正確に行うことができる。
　また、内部情報の種別は、上記したような特徴点を抽出する代わりに、各車両から送信する情報に自身の種別を含めることで設定することができる。あるいは、内部情報の種別は、カメラ５ａで撮像した画像中に特定した物体の外観と、例えば車両の画像を複数記憶しているデータベース１１ａとを照合し、外観が類似しているものを種別として選択する構成とすることができる。
　また、このような構成によっても、取得元が異なる内部情報と外部情報に含まれている物体のうち同一対象に関する情報を統合することができ、同一対象に関する情報を迅速に処理することができるなど、第１実施形態と同様の効果を得ることができる。
　　　（第３実施形態）
　以下、第３実施形態について説明する。第３実施形態では、情報量を調整する手法について説明する。なお、外部情報も同様の手法により調整することができるが、ここでは説明の簡略化のために車両用装置１における設定を例にして説明する。また、車両用装置１の構成は他の実施形態とも共通するため、図１から図１０も参照しながら説明する。また、第３実施形態の一部構成は、第２実施形態で説明した内部情報の設定手法にも関連している。つまり、第３実施形態は、第１実施形態および第２実施形態と組み合わせることができる。
　＜統合する情報の情報量の調整について＞
　まず、情報を統合する際に情報量を調整する構成について説明する。第１実施形態では取得した外部情報に含まれる個別の情報を取捨選択したり平均化したりすることを説明したが、車両用装置１は、特定の判定基準を用いて統合する情報を取捨選択することができる。
　例えば、図１１に示すように、自車両２のＶ２Ｘ通信の通信可能範囲（Ｋ１）内に、複数の路側機２０Ａ～路側機２０Ｄが設置されていたり、Ｖ２Ｖに対応している複数の他車両２３Ａ～他車両２３Ｇが存在していたりする状況が想定される。なお、歩行者２６や自転車２７が車両との通信が可能な装置を所持している場合には、取得される外部情報の数がさらに増加することが想定されるが、ここでは説明の簡略化のために路側機２０Ａ～路側機２０Ｄと、他車両２３Ｃ～他車両２３Ｅとから外部情報を受信可能な状況を想定している。
　この場合、自車両２は、複数の取得元から取得した外部情報を全て統合することもできるが、取得する外部情報の数が多くなると統合する処理や統合情報を処理する際の負荷が大きくなったり遅延したりするおそれがある。そこで、車両用装置１は、受信した外部情報に順位付けを行い、統合対象とする外部情報を取捨選択したり、外部情報に含まれる情報のうち統合対象とするものを取捨選択したりすることができる。
　車両用装置１は、図１２に示す情報統合調整処理を実行することにより情報量を調整する。なお、図１２では、第１実施形態で説明した情報統合処理と実質的に共通するステップには同一符号を付しており、その詳細な説明は省略するものとする。
　さて、車両用装置１は、内部情報を取得し（Ｓ１）、外部情報を取得すると（Ｓ３）、内部情報と外部情報とを比較し（Ｓ４）、同一対象に関する情報がある場合には（Ｓ５：ＹＥＳ）、同一対象に関する情報を統合する（Ｓ６）。また、車両用装置１は、未取得情報がある場合には（Ｓ７：ＹＥＳ）、未取得情報を統合する（Ｓ８）。
　このとき、車両用装置１は、取得した複数の外部情報に含まれるＸ座標やＹ座標、方位などの情報に基づいて取得元と自車両２との距離を求め、自車両２からの距離が近い場所で取得された外部情報から順番に所定数の外部情報を統合対象として選択することができる。図１１に示す状況の場合、自車両２との距離が路側機２０Ａ、他車両２３Ｅ、他車両２３Ｃ、路側機２０Ｄ、路側機２０Ｂ、路側機２０Ｃ、他車両２３Ｄの順に近かったとする。この場合、車両用装置１は、距離が近いものから順に所定の上限数までの外部情報を統合対象として優先的に選択することができる。ただし、上限数は車両用装置１の処理能力などに応じて適宜設定することができる。
　また、車両用装置１は、複数の外部情報のうち自車両２に対して接近している物体、または、自車両２に接近することが想定される物体に関する情報が含まれている外部情報を、統合対象として優先的に選択することができる。図１１に示す状況の場合、他車両２３Ｃは自車両２と同一方向に走行しており、他車両２３Ｄは自車両２が走行中の道路に向かって走行している位置関係となっていることから、他車両２３Ｃ、他車両２３Ｄが自車両２に接近する可能性があると考えられる。
　この場合、車両用装置１は、自車両２の制御や危険予測への影響が大きいと予想される他車両２３Ｃ、他車両２３Ｄから取得された外部情報を統合対象として優先的に選択することができる。なお、処理能力に余裕がある場合には、例えば距離に基づいて他の外部情報を取得することができる。
　また、車両用装置１は、路側機２０から送信された外部情報を統合対象として優先的に選択することができる。路側機２０は、一般的に考えれば通信の規格やセンサの性能等が共通化されており、また定期的な点検等も実施されていると考えられる。そのため、路側機２０で取得された外部情報は信頼度が高いと考えられるため、車両用装置１は、路側機２０から取得された外部情報を統合対象として優先的に選択することができる。なお、処理能力に余裕がある場合には、例えば距離や自車両２との位置関係に基づいて他の外部情報を取得することができる。
　また、車両用装置１は、例えばナビゲーション機能によって設定された走行予定経路（Ｔ１）上、あるいは、走行予定経路の近傍で取得された外部情報を統合対象として優先的に選択することができる。車両側センサ５の検知範囲よりも通信可能範囲の方が広い場合、自車両２では検知されていない物体に関する情報を外部情報として取得することができる。そのため、走行予定経路の近傍の取得元で取得された情報を統合することにより、走行予定経路の危険予測を予め行うことが可能となり、安全性の向上を図ることができる。
　また、車両用装置１は、外部情報そのものを取捨選択するのではなく、外部情報に含まれる個別の情報を取捨選択することができる。例えば、路側機２０Ｃによって走行予定経路の近傍に他車両２３Ｇと自転車２７とが検知されており、外部情報に、他車両２３が自車両２から離間する向きに移動していること、および、自転車２７が自車両２に接近する向きに移動していることが個別の情報として含まれていたとする。
　この場合、車両用装置１は、路側機２０Ｃから受信した外部情報のうち、自車両２に接近する向きに移動している物体の情報を個別に統合対象として選択することができる。これにより、自車両２の制御や危険予測への影響が大きいと予想される情報を統合情報として取得でき、安全性の向上を図ることができる。
　このように、車両用装置１は、受信した外部情報を全て統合するのではなく、所定の判断基準に基づいて外部情報やその外部情報に含まれている個別の情報を取捨選択して統合することにより、統合情報の情報量が増加して処理の負荷が過度に大きくなったり処理が遅延したりするおそれを低減することができる。
　＜統合した情報の情報量の調整について＞
　次に、統合した情報の情報量を調整する構成について説明する。車両用装置１は、図１２に示す情報統合調整処理において情報を統合すると、統合した情報の情報量を調整する（Ｓ２０）。このとき、情報量の調整は、調整部１０ｅによって行われる。ただし、ここで言う情報用の調整には、外部装置と共有する情報の利便性や有用性を向上させるために情報量を増加させる構成、および、主としてＶ２Ｘ通信における通信負荷を低減するために外部装置に対して送信する際に情報量を削減する構成が含まれている。
　まず、情報を付加することにより情報量を調整する構成例について説明する。車両用装置１は、上記したようにカメラ５ａにより物体の色を検知することができる。そして、物体の色を報知すれば、利用者はその物体を視覚的に把握し易くなると考えられる。そのため、車両用装置１は、図１３に示すように物体の色を示す色調の項目を設け、色に対応した識別番号を付すことにより、検知した物体の色を図１４に示すように統合情報に付加情報として付加する。
　これにより、例えば落下物２９であるＮ３に関する危険予測を行う際、「赤い落下物があります」といった報知が可能となり、利用者は、落下物２９に近づいた際にどれが落下物２９であるかを把握し易くなり、安全性を向上させることができると考えられる。
　また、上記したようにカメラ５ａにより境界線やセンターラインを把握している場合には、図１５に示すように物体が位置する車線の項目を設け、車線に対応した識別番号や自車両２との相対的な位置関係などを示す識別番号を付すことにより、検知した物体が存在する車線を図１４に示すように統合情報に付加情報として付加する。例えば車線としては、自車両２の同一車線：前方、同一車線：後方、進行方向左側の車線、進行方向右側の車線、対向車線、交差車線：左から接続、交差車線：右へ離脱、自転車２７レーンなどが考えられる。ただし、ここに示したのは一例であり、車線の分類や数はこれに限定されない。
　これにより、例えば落下物２９であるＮ３に関する危険予測を行う際、「赤い落下物が進路上にあります」といった報知が可能となり、利用者は、落下物２９に近づいた際にどれが落下物２９であるか、さらには、その落下物２９が接触する可能性があるのかどうかを把握し易くなり、安全性を向上させることができると考えられる。
　このように、車両用装置１は、統合した情報に対して何らかの情報を付加することにより、換言すると、統合情報の情報量を増加させるように調整することにより、統合情報の利便性や有効性を高めることができる。
　次に、情報を削減することにより情報量を調整する構成例について説明する。上記した統合情報を外部装置に送信することにより、外部装置側で情報を共有することが可能になる。しかし、統合情報をそのまま送信する構成とすると、Ｖ２Ｘ通信の通信負荷が増加したり帯域が不足したりするおそれがある。また、上記した付加情報は、自車両２においては有効ではあるものの、他車両２３や外部装置にとっては必ずしも必要とされないかのせいもある。
　そこで、車両用装置１は、図１２に示すステップＳ２０において情報量を調整するとき、情報を削減することにより、外部装置に送信するための送信用情報を生成する。このとき、車両用装置１は、予め定められた選択基準に基づいて統合情報をフィルタリングすることで情報量を調整する。この選択基準は、例えば以下のようなものが考えられるが、ここに示す選択基準は一例であり、他の選択基準を設定することもできる。
　・自車両２と物体との衝突余裕時間(ＴＴＣ：Time-To-Collision）
　・自車両２と物体との距離
　・物体に関する情報の信頼度
　・物体の種別
　・物体に関する情報が内部情報に含まれているか否か
　・物体に関する情報が外部情報に含まれているか否か
　・物体の数が所定の上限数に達したか
　そして、車両用装置１は、例えば図１４に示す付加情報が付加された統合情報から、選択基準のいずれか１つに従って、または、複数の条件に従って統合情報をフィルタリングする。例えば、車両用装置１は、図１４に示した統合情報から、図１６に送信用情報例その１として示すように、自車両２であるＮ１、外部情報に含まれていないＮ３、自車両２との距離が近いＮ４を送信対象として抽出する一方、外部情報から統合されたＮ４については送信対象から除外している。なお、自車両２との距離が近いということは、自車両２と物体との移動方向にもよるもののＴＴＣが短く危険度が高い可能性を示唆している。
　また、車両用装置１は、抽出した物体に関する情報の項目のうち、Ｘ座標、Ｙ座標、速度、種別、方位、信頼度を抽出しており、基本的には自車両２で利用される車線、色調、相対速度といった情報を削減する。これにより、図１４に示した統合情報よりも情報量が削減された送信用情報が生成される。なお、送信用情報を統合情報とは別の情報として生成および記憶する構成とすることもできるが、上記した選択基準に従って統合情報から情報を抽出することにより、送信時に動的に送信用情報を生成および送信する構成とすることもできる。
　また、車両用装置１は、図１６に送信用情報例その２として示すように、物体ごとに項目を変更したり追加したりすることができる。これは、選択基準に従って選択した場合、送信対象となる物体の数が所定の上限数に達していないことが想定され、その場合には通信帯域に余裕があると考えられるためである。
　そのため、車両用装置１は、選択基準に設定されている優先度に従って他の物体を送信対象に含めたり、送信対象の物体に関する情報量を増加させたりすることができる。例えば、車両用装置１は、落下物２９であるＮ３について色調を含めることにより、前述のように視覚的に物体を把握し易くすることができる情報を送信用情報に含めることができる。あるいは、車両用装置１は、接触する可能性があり危険度が相対的に高いと考えられるＮ４については自車両２が認識している危険度の情報を送信用情報に含めることができる。
　情報量を調整すると、車両用装置１は、図１２に示すように、外部に向けて送信用情報を所定のフォーマットでエンコードしたメッセージを送信する（Ｓ２１）。これにより、自車両２から送信された情報が外部装置で受信可能となり、情報を共有することができる。
　このように、車両用装置１は、送信用情報の情報量を調整している。これにより、送信用情報は自車両２が持つ全ての情報の情報量に比べて情報量が削減されていることから、Ｖ２Ｘ通信における通信負荷を低減することができる。また、Ｖ２Ｘ通信の帯域に余裕がある場合にはより多くの情報を共有することができる。
　この場合、車両用装置１は、上記したように付加情報を付加した統合情報から送信用情報を生成するのではなく、付加情報が付加されていない統合情報から送信用情報を生成したり、取得した内部情報から送信用情報を生成したりすることもできる。
　このような構成によっても、取得元が異なる内部情報と外部情報に含まれている物体のうち同一対象に関する情報を統合することができ、同一対象に関する情報を迅速に処理することができるなど、第１実施形態と同様の効果を得ることができる。
　また、車両用装置１は、ステップＳ２０において情報量を調整する場合、ステップＳ１で取得した内部情報の情報量を調整して構成とすることができる。すなわち、車両用装置１は、上記したように統合した情報の情報量を調整する構成に限らず、統合する前の情報の情報量を調整することにより、メッセージとして送信される際の通信量を削減する構成とすることができる。また、車両用装置１は、一旦取得した外部情報をメッセージとして外部装置に再度送信する場合にも、情報量を削減した情報をメッセージとして送信することにより、通信量を削減する構成とすることができる。
　具体的には、車両用装置１は、ステップＳ１で取得した内部情報に含まれる情報を例えば上記した選択基準に基づいて取捨選択することで、情報量を削減することができる。そして、車両用装置１は、ステップＳ２１において、情報量を削除した情報をメッセージとして外部装置に送信することにより、外部装置との間のＶ２Ｘ通信の通信量を削減することができる。このように、メッセージとして送信される情報の情報量を削減可能な構成とすることにより、通信帯域などのリソーセスが不足するおそれを低減することができるとともに、情報量が少なければ通信時間を短縮できると考えられることから迅速な通信を実現することができる。
　また、自車両２に限らず路側機２０や他車両２３も同様に、自身が取得している情報を外部に対してメッセージとして送信する際には、情報量を削減してからメッセージとして送信する構成とすることができる。これにより、自車両２と外部装置との間に限らず、例えば路側機２０と他車両２３、他車両２３同士、路側機２０同士といったＶ２Ｘ通信が可能な装置間においても、換言すると、情報共有システム３０においても、通信帯域が不足するおそれを低減することができるとともに迅速な通信を実現することができる。
　また、メッセージとして送信される情報の情報量を削減する構成は、上記したように情報を統合構成に対して適用することができる。具体的には、例えば付加情報が追加された統合情報をメッセージとして送信する際に、情報を削減してからメッセージとして送信する構成とすることができる。このような構成によっても、通信量を削減でき、通信帯域が不足するおそれを低減することができるとともに迅速な通信を実現することができる。
　　　（その他の実施形態）
　車両用装置１は、情報を統合するための専用装置として設ける構成とすることができるが、例えばナビゲーション装置と共用あるいは兼用する構成とすることができる。その場合、表示装置３もナビゲーション装置用のものと共用あるいは兼用する構成とすることができる。また、カメラ５ａは、いわゆるドライブレコーダ用のものと共用あるいは兼用する構成とすることができる。
　実施形態では所定の基準点を原点とするＸＹ座標系を設定したが、例えば自車両２の位置を原点とするＸＹ座標系を設定したり、高低差を示すＺ座標を設けたＸＹＺ座標系を設定したりすることができる。その場合、自車両２の現在位置を同時に送信すれば、外部装置側で物体の位置を把握することができる。また、座標系への変換を行わず、ＧＮＳＳ５ｅで取得した緯度および経度をそのまま用いて処理する構成とすることもできる。
　実施形態では未取得情報をそのまま統合する例を示したが、未取得情報のＸ座標やＹ座標に基づいて統合するか否かを判定する構成とすることができる。また、該当する物体が自車両２側での検知が不可または困難な範囲であるかを判定し、検知可能であるにもかかわらず未取得である場合には誤情報として外部情報を再取得する構成や、自車両２側のセンサに不具合が生じている可能性を利用者に報知する構成などとすることもできる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に含まれるものである。
　本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (11)

  1. 　自車両（２）に設けられているセンサ（５、９）で検知した情報を内部情報として取得する取得部（１０ａ）と、
    　前記内部情報と、自車両の外部で取得された情報であって自車両に設けられている通信部（１４）を介して受信される外部情報とを比較する比較部（１０ｂ）と、
    　前記比較部による比較結果に基づいて、前記内部情報および前記外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部（１０ｃ）と、
    　前記判定部による判定結果に基づいて、異なる取得元で取得された同一対象に関する情報を統合する統合部（１０ｄ）と、を備える車両用装置。
  2. 　前記統合部は、移動体に関する情報を統合する請求項１記載の車両用装置。
  3. 　前記統合部は、自車両に関する情報を統合する請求項１または２記載の車両用装置。
  4. 　前記統合部は、自車両の走行の制御に利用可能な状態に統合する請求項１から３のいずれか一項記載の車両用装置。
  5. 　前記統合部は、利用者への報知に利用可能な状態に統合する請求項１から４のいずれか一項記載の車両用装置。
  6. 　前記統合部は、同一対象に関して前記内部情報と前記外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する請求項１から５のいずれか一項記載の車両用装置。
  7. 　前記統合部は、前記内部情報には含まれておらず前記外部情報には含まれている情報を、自車両では取得されていない未取得情報として統合対象に加える請求項１から６のいずれか一項記載の車両用装置。
  8. 　前記統合部は、前記内部情報には含まれていて前記外部情報には含まれていない情報を、自車両の外部では取得されていない未取得情報として統合対象に加える請求項１から７のいずれか一項記載の車両用装置。
  9. 　前記判定部は、前記内部情報と前記外部情報に含まれている物体の位置、速度、方位、立体形状、または周辺環境との一致性のうち少なくとも１つ以上の情報に基づいて、同一対象であるか否かを判定する請求項１から８のいずれか一項記載の車両用装置。
  10. 　予め定められた選択基準に従って情報量を調整する調整部（１０ｅ）を備える請求項１から９のいずれか一項記載の車両用装置。
  11. 　車両において取得元が異なる情報を統合するための情報統合方法であって、
    　自車両（２）に設けられているセンサ（５、９）で検知された情報を内部情報として取得する工程と、
    　前記内部情報と、自車両の外部で取得された情報であって自車両に設けられている通信部（１４）を介して受信される外部情報とを比較する工程と、
    　前記内部情報および前記外部情報の双方に同一対象に関する情報が含まれているか否かを判定する工程と、
    　判定結果に基づいて異なる取得元で取得された同一対象に関する情報を統合する工程と、を含む情報統合方法。
PCT/JP2023/000164 2022-01-26 2023-01-06 車両用装置、情報統合方法 WO2023145404A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202380018359.9A CN118591834A (zh) 2022-01-26 2023-01-06 车辆用装置、信息整合方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-010143 2022-01-26
JP2022010143A JP2023108862A (ja) 2022-01-26 2022-01-26 車両用装置、情報統合方法

Publications (1)

Publication Number Publication Date
WO2023145404A1 true WO2023145404A1 (ja) 2023-08-03

Family

ID=87471187

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000164 WO2023145404A1 (ja) 2022-01-26 2023-01-06 車両用装置、情報統合方法

Country Status (3)

Country Link
JP (1) JP2023108862A (ja)
CN (1) CN118591834A (ja)
WO (1) WO2023145404A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145167A (ja) * 2007-12-13 2009-07-02 Toyota Central R&D Labs Inc 位置推定装置及び位置推定システム
WO2017029847A1 (ja) * 2015-08-19 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145167A (ja) * 2007-12-13 2009-07-02 Toyota Central R&D Labs Inc 位置推定装置及び位置推定システム
WO2017029847A1 (ja) * 2015-08-19 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN118591834A (zh) 2024-09-03
JP2023108862A (ja) 2023-08-07

Similar Documents

Publication Publication Date Title
US11295143B2 (en) Information processing apparatus, information processing method, and program
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP7205204B2 (ja) 車両の制御装置及び自動運転システム
CN112534297B (zh) 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备
EP3882883A1 (en) Information processing device, information processing method, and program
CN113168691A (zh) 信息处理装置、信息处理方法、程序、移动体控制装置和移动体
US20240257508A1 (en) Information processing device, information processing method, and program
US11135987B2 (en) Information processing device, information processing method, and vehicle
US11235783B2 (en) Information processing apparatus and information processing method
CN111186435B (zh) 汽车的防碰撞方法、装置及存储介质
CN110070740B (zh) 报告系统和存储介质
US20220276655A1 (en) Information processing device, information processing method, and program
CN114842455B (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
WO2023145404A1 (ja) 車両用装置、情報統合方法
JP7449206B2 (ja) 通信制御装置、車両、プログラム、及び通信制御方法
JP2016143088A (ja) 位置検出システム及び車載情報処理装置
US11763675B2 (en) Information processing apparatus and information processing method
CN115297434B (zh) 服务调用方法、装置、车辆、可读存储介质及芯片
US20240157961A1 (en) Vehicle system and storage medium
US20240019539A1 (en) Information processing device, information processing method, and information processing system
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN115179930B (zh) 车辆控制方法、装置、车辆及可读存储介质
WO2023162497A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN115620258A (zh) 车道线检测方法、装置、存储介质及车辆
CN118351678A (zh) 信息提供装置和信息提供方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23746621

Country of ref document: EP

Kind code of ref document: A1