WO2022190649A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022190649A1
WO2022190649A1 PCT/JP2022/001669 JP2022001669W WO2022190649A1 WO 2022190649 A1 WO2022190649 A1 WO 2022190649A1 JP 2022001669 W JP2022001669 W JP 2022001669W WO 2022190649 A1 WO2022190649 A1 WO 2022190649A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
mobile device
domain
specific model
data based
Prior art date
Application number
PCT/JP2022/001669
Other languages
English (en)
French (fr)
Inventor
大茂 早川
佑允 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2022190649A1 publication Critical patent/WO2022190649A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present technology relates to an information processing device, an information processing method, and a program, and more particularly, to an information processing device and the like for presenting a user with a motion occurrence cause candidate of a mobile device.
  • Another approach is to build conventional decision logic specialized for a specific domain in a descriptable format.
  • the cause can be perfectly identified only in a specific environment, but a dedicated error analyzer is required individually, and the above (1) and (2) are also specialized, so versatility and expandability It cannot be used if the conditions of use or the environment change.
  • Patent Literature 1 describes a technique for acquiring the processing content from differences in internal information when executing job processing whose processing content is not clear.
  • this technique what internal information should be focused on to obtain the difference must be given in advance, and it cannot be applied to a general format.
  • it is limited to obtaining the difference by simple comparison of the internal information, and it is not possible to extract the cause candidate using the change in the vicinity of the specific target part or the depth of the link relationship.
  • the purpose of this technology is to be able to satisfactorily identify the cause of the movement of a mobile device.
  • the concept of this technology is a holding unit that holds data based on a domain-specific model that is a recognition result of the surrounding environment of the mobile device; an analysis unit that extracts a difference between data based on the domain-specific model at a first time point and data based on the domain-specific model at a second time point that is earlier than the first time point; and a display unit that displays a cause candidate for the operation of the mobile device based on the different portion.
  • the holding unit holds data based on the domain-specific model, which is the recognition result of the surrounding environment of the mobile device.
  • the mobile device is a self-driving car, a drone, a robot, or the like.
  • the holding unit may hold data based on the domain-specific model as snapshot data obtained sequentially at regular intervals.
  • the domain-specific model is a dedicated model for expressing and understanding the behavior of recognition objects in the application target area. What kind of data you want to handle and what kind of relationship between data are different for each application target area. This domain-specific model depends on the system, application environment, cognitive/behavioral state, and so on.
  • the analysis unit extracts the difference between the data based on the domain-specific model at the first time point and the data based on the domain-specific model at the second time point, which is before the first time point.
  • the data based on the domain-specific model is stored as snapshot data acquired sequentially at a constant cycle, the snapshot data acquired at the first point in time and the snapshot data acquired at the second point in time, which is the previous point in time.
  • the difference part can be extracted by using the snapshot data obtained from the snapshot data, and the processing can be performed efficiently.
  • the data based on the domain-specific model is composed of an information target group including mobile devices that constitute the surrounding environment of the mobile device and relationships between the information targets.
  • a different part may be extracted based on a change in the relationship between the objects or a change in the proprietary data of each information object constituting the information object group.
  • the analysis unit may perform a process of extracting the difference part based on the analysis instruction.
  • the analysis unit can avoid unnecessary analysis processing and can reduce the processing load.
  • the analysis instruction may have restriction information that limits the analysis range.
  • the processing load of the analysis unit can be reduced without causing the analysis unit to perform analysis in an unnecessary range.
  • the data based on the domain-specific model consists of information objects including the mobile device that constitutes the surrounding environment of the mobile device and the relationship between the information objects.
  • Analysis depth information may be included to indicate whether up to the target is to be analyzed.
  • the data based on the domain-specific model is composed of an information target group including the mobile device that constitutes the surrounding environment of the mobile device and the relationship between the information targets.
  • Analysis content information may be included that indicates which content of the relationship between the information objects and the data possessed by each information object that constitutes the information object group is to be analyzed.
  • the display unit displays possible causes of the movement of the mobile device based on the difference. For example, the display unit may highlight the difference and graphically display the surroundings of the mobile device. As a result, the user can easily recognize the surrounding situation of the mobile device, and can easily recognize the candidate cause of the motion of the mobile device from the highlighted difference portion.
  • the data based on the domain-specific model is composed of an information object group including the mobile device that constitutes the surrounding environment of the mobile device and the relationship between the information objects. may be displayed as nodes, and the relationships between information objects in each information object may be displayed as edges.
  • the display unit may further display a slider bar for setting the first time point.
  • the user can easily set the first point in time, which is the point in time at which the movement of the mobile device occurs, using the slider bar.
  • the display unit may independently display candidates for causes of motions of a plurality of mobile devices. This allows the user to independently recognize possible causes of the motions of a plurality of mobile devices.
  • the difference between the data based on the domain-specific model at the first time point and the data based on the domain-specific model at the second time point that is before the first time point is extracted, Based on the difference portion, candidates for the cause of the motion of the mobile device are displayed, and the cause of the motion of the mobile device can be specified satisfactorily.
  • Another concept of this technology is a procedure for holding data based on a domain-specific model that is a recognition result of the mobile device's surrounding environment; a step of extracting a difference between data based on the domain-specific model at a first point in time and data based on the domain-specific model at a second point in time that is earlier than the first point in time; and displaying a cause candidate for the operation of the mobile device based on the different portion.
  • still another concept of the present technology is the computer, a holding unit that holds data based on a domain-specific model that is a recognition result of the surrounding environment of the mobile device; an analysis unit that extracts a difference between data based on the domain-specific model at a first time point and data based on the domain-specific model at a second time point that is earlier than the first time point; and a program for functioning as a display section for displaying a cause candidate for the operation of the mobile device based on the difference portion.
  • FIG. 4 is a diagram showing a display example of data (peripheral conditions of a mobile device) based on a domain-specific model
  • FIG. 3 is a block diagram showing a configuration example of an information processing device capable of displaying possible causes of motion of a mobile device
  • 3A and 3B are a flowchart showing an example of a processing procedure in a snapshot data output unit, and a flowchart showing an example of a processing procedure in an analysis instruction/display unit, a data analysis unit, and a data extraction unit
  • FIG. 10 is a diagram for explaining a normal case in a scene where the own vehicle (automatic driving vehicle) makes a right turn, in an embodiment in which the analysis target is an automatic driving vehicle.
  • FIG. 10 is a graph showing an example of data based on a domain-specific model when an oncoming vehicle is on the road and is close to the vehicle.
  • FIG. 10 is a graphical representation of an example of data based on a domain-specific model when an oncoming vehicle has passed and a right turn is being made waiting for the collision warning condition to clear.
  • FIG. 10 is a diagram for explaining an example of an abnormal case in a scene where the own vehicle (automatic driving vehicle) makes a right turn, in an embodiment in which the analysis target is an automatic driving vehicle.
  • FIG. 10 is a diagram showing the graph representation.
  • FIG. 10 is a graph showing an example of data based on a domain-specific model in the case where a disabled vehicle is on the shoulder of the opposite lane of an intersection and the own vehicle has entered the intersection.
  • FIG. 10 is a diagram showing a display example (UI display example) of occurrence cause candidates for the action of the own vehicle (stopping action at an intersection) when a first point in time is specified as the specified time.
  • FIG. 10 is a diagram for explaining another example of an abnormal case in a scene where the own vehicle (automatic driving vehicle) makes a right turn, in an embodiment in which the analysis target is an automatic driving vehicle.
  • FIG. 4 is a graph showing an example of data based on a domain-specific model when a person is stopped in front of a pedestrian crossing and the vehicle has entered an intersection.
  • FIG. 10 is a diagram showing a display example (UI display example) of occurrence cause candidates for the action of the own vehicle (stopping action at an intersection) when a first point in time is specified as the specified time.
  • FIG. 10 is a diagram showing a state in which the robot is in an abnormal state and is stopped on lane 1 (Lane1) of the movement route to the destination; Data based on the domain-specific model when the distance to the obstacle (wall) is normal and the robot is traveling on lane 1 (Lane 1) of the movement route to the destination. It is the figure which showed an example of the graph display.
  • FIG. 10 is a diagram showing a display example (UI display example) of occurrence cause candidates for the motion of the robot (stopping motion in lane 1) when a first point in time is specified as the specified time.
  • FIG. 10 is a diagram for explaining an example in which robot 1 and robot 2 exist as an example in which there are a plurality of objects to be analyzed;
  • a diagram showing a state in which the robot 1 stops at time 1 because it is abnormally close to an obstacle (wall), and a state in which the robot 2 loses the robot 1 at time t2 when a person comes in to block the robot 2's field of view. is.
  • FIG. 10 is a diagram showing an example (UI display example) in which cause candidates for the action of the robot 1 (stop action in lane 1) and cause candidates for the action of the robot 2 (lost action of the robot 1) are displayed side by side.
  • FIG. 10 is a diagram for explaining an example in which cause identification depends on analysis depth;
  • FIG. 10 is a diagram showing an example of data based on a domain-specific model at the time of determining the shortest route in a graphical representation;
  • FIG. 10 is a diagram showing an example of data based on a domain-specific model in a graph representation when a route is changed due to a problem with the shortest route;
  • FIG. 10 is a diagram for explaining a case where the user designates an analysis depth of "3", that is, a case where the difference extraction range is set from the own vehicle to the node depth of 3;
  • FIG. 10 is a diagram for explaining a case where the user designates an analysis depth of "4", that is, a case where the difference extraction range is set from the own vehicle to the node depth of 3;
  • 2 is a block diagram showing a hardware configuration example of a computer;
  • Embodiment> [Outline of this technology]
  • data is stored based on a domain-specific model that is the recognition result of the surrounding environment of mobile devices (self-driving cars, drones, robots, etc.).
  • the data based on the domain-specific model is held as snapshot data sequentially acquired at regular intervals.
  • the domain-specific model is a dedicated model for expressing and understanding the behavior of recognition objects in the application target area. What kind of data you want to handle and what kind of relationship between data are different for each application target area. This domain-specific model depends on the system, application environment, cognitive/behavioral state, and so on.
  • the domain-specific model depends on the vehicle's state management data, behavior patterns, surrounding recognition data (pedestrians, oncoming vehicles, signs), maps and locations.
  • the domain-specific model depends on drone state management, behavior patterns, peripheral recognition data (aerial obstacles), maps/positions, weather information, and so on.
  • the domain-specific model depends on robot state management, behavior patterns (for indoor use), surrounding recognition data (people, obstacles), maps/positions, and so on.
  • the domain-specific model depends on robot state management, action patterns (for outdoor use), surrounding recognition data (people, steps), maps/positions, weather information, and the like.
  • the data based on the domain-specific model at the first time when the motion of the mobile device occurs is extracted from the data based on the domain-specific model at the second point in time, and candidates for the cause of the movement of the mobile device are displayed based on the difference.
  • the difference part is extracted using the snapshot data acquired at the first point in time and the snapshot data acquired at the second point in time, which is the previous point in time.
  • the data based on the domain-specific model is composed of an information object group including the mobile device that constitutes the surrounding environment of the mobile device and the relationship between the information objects, and at least changes in the information object group , the difference part is extracted based on the change in the relationship between the information objects or the change in the possessed data of each information object constituting the information object group.
  • each information object corresponding to the surrounding situation of the mobile device is displayed as a node, and the relationship between the information objects is displayed as an edge.
  • FIG. 1(b) shows a display example of data (peripheral conditions of the mobile device) based on the domain-specific model at the first point in time (time T+1).
  • FIG. 1(a) shows a display example of data (peripheral conditions of the mobile device) based on the domain-specific model at a second point in time (time T) that precedes the first point in time.
  • "O" is a node indicating an information object, and a line connecting the edges is an edge indicating the relationship between the information objects.
  • the nodes and edges marked with × have disappeared, and the owned data of the hatched nodes have changed.
  • the difference due to such a change is highlighted and displayed as the candidate for the cause of the motion of the mobile device. Then, from among the candidates for the cause of the motion of the mobile device presented in this way, one or a combination thereof is finally specified by the user as the cause of the motion of the mobile device.
  • FIG. 2 shows a configuration example of the information processing apparatus 100 capable of displaying possible causes of the motion of the mobile device as described above.
  • the information processing apparatus 100 includes a plurality of recognition modules 101, a database management unit 102, a database (master) 103, a database (snapshot) 104, a snapshot data output unit 105, an analysis instruction/display unit 106, and a data It has an analysis unit 107 , a data extraction unit 108 and a display device 109 .
  • a plurality of recognition modules 101 recognize a predetermined number of data as data based on a domain-specific model based on status management data of the mobile device, behavior pattern information of the mobile device, peripheral recognition data of the mobile device, map data, position data, and the like. to generate It should be noted that what kind of data is handled as data based on the domain-specific model is set in advance by the user.
  • the data based on the domain-specific model is composed of the information object group including the mobile device that constitutes the surrounding environment of the mobile device and the relationship between the information objects as described above, what information objects are included in the information object group? , and what kind of relationship is to be included as the relationship between information objects is set in advance by the user.
  • the database management unit 102 manages access to the database (master) 103 so that the database (master) 103 always retains data based on the latest domain-specific model.
  • the database management unit 102 receives a request from the recognition module 101 that generated the new data each time new data is generated by each of the plurality of recognition modules 101, and accesses the database (master) 103 to hold the data. Update data based on domain-specific models that have been created. As a result, the database (master) 103 always retains data based on the latest domain-specific model.
  • a snapshot data output unit 105 stores data based on the domain-specific model held in the database (master) 103 as snapshot data in the database (snapshot) 104 periodically, for example, every minute or every second. do.
  • the database (snapshot) 104 is in a state in which a predetermined number of snapshot data in a past predetermined period are held according to its storage capacity.
  • the analysis instruction/display unit 106 issues an analysis instruction to the data analysis unit 107, for example, based on an analysis instruction request from the user.
  • This analysis instruction also includes information on the specified time, the specified analysis target, the depth of analysis, and the contents of analysis.
  • the designated time is information that designates the point in time at which analysis is to be performed.
  • the specified time can be set by the user, for example, using a slider bar displayed on the display device 109 as described later.
  • By including the specified time in the analysis instruction in this way it is possible to specify the point in time at which the analysis is to be performed, making it possible to easily perform the analysis at the point in time when the operation of the mobile device occurs.
  • the analysis target specification is information that specifies the information target that is the center of the analysis.
  • a mobile device is usually specified as the information target that is the center of analysis, but it is also possible to specify an information target other than the mobile device as the information target that is the center of analysis.
  • the analysis target specification in the analysis instruction in this way, it is possible to specify the information target that will be the center of the analysis.
  • By specifying the mobile device in which the error occurred as it is possible to perform efficient analysis.
  • the analysis depth constitutes restriction information that limits the analysis range, and is information that indicates how far away from the information target at the center of the analysis the information target is to be analyzed.
  • the analysis content constitutes restriction information that limits the analysis range, and which of the information target group, the relationship between information targets, and the proprietary data of each information target that constitutes the information target group is the target of analysis. It is information indicating whether By including the analysis content in the analysis instruction in this way, the analysis can be performed with the necessary content, and the processing load can be reduced.
  • the data analysis unit 107 requests the data extraction unit 108 to acquire data at two times based on the analysis instruction. This request includes the specified time, specified analysis target, and analysis depth information.
  • the data extracting unit 108 extracts the snapshot data at the point in time at which the analysis specified at the specified time, that is, the first point in time, and the snapshot data at the point in time before that, that is, the second point in time, from the database (snapshot) 104. is extracted within a range determined by the analysis target specification and the analysis depth, and sent to the data analysis unit 107 .
  • the data analysis unit 107 extracts the different parts of the snapshot data at two points in time supplied from the data extraction unit 108 and sends the result to the analysis instruction/display unit 106 .
  • the data based on the domain-specific model is composed of an information target group including the mobile device that constitutes the surrounding environment of the mobile device and the relationship between the information targets, at least changes in the information target group, A different portion is extracted based on a change in the relationship between information objects or a change in data possessed by each information object constituting the information object group.
  • the analysis is performed with the content specified in the analysis content. For example, if the analysis content indicates that the information target group and the relationship between information targets are to be analyzed, changes in the information target group and changes in the relationship between information targets in snapshot data at two points in time and extract the difference part based on it. In addition, for example, if the analysis content indicates that the data possessed by each information object that constitutes the information object group is to be analyzed, the data possessed by each information object that constitutes the information object group in the snapshot data at two points in time is indicated. Acquire data changes and extract differences based on them.
  • the analysis instruction/display unit 106 displays the difference portion on the display device 109 as a cause candidate for the movement of the analysis target (mobile device) based on the extraction result of the difference portion sent from the data analysis unit 107.
  • the difference part is emphasized, and the peripheral situation of the analysis object is graphically displayed.
  • each information object corresponding to the surrounding situation of the analysis object is displayed as a node, and the relationship between the information objects is displayed as an edge.
  • the information processing apparatus 100 shown in FIG. 2 is configured to include a database (snapshot) 104, but this database (snapshot) 104 may be configured by a cloud server. Further, although the information processing apparatus 100 shown in FIG. 2 is configured to include the data analysis unit 107 and the data extraction unit 108, it is also conceivable to configure a cloud server to perform processing related to these.
  • FIG. 3( a ) shows an example of the processing procedure in the snapshot data output unit 105 .
  • step ST1 the snapshot data output unit 105 determines whether it is time to acquire snapshot data. In this case, the snapshot data output unit 105 determines that it is time to acquire snapshot data when a certain period of time, such as one second or one minute, has elapsed since the previous acquisition timing.
  • the snapshot data output unit 105 When determining that it is time to acquire snapshot data, the snapshot data output unit 105 outputs the data based on the domain-specific model held in the database (master) 103 as snapshot data to the database (snapshot) 104 in step ST2. Save to After that, the snapshot data output unit 105 returns to the process of step ST1, and repeats the same process as described above.
  • the flowchart in FIG. 3(b) shows an example of the processing procedure in the analysis instruction/display unit 106, the data analysis unit 107, and the data extraction unit 108.
  • step ST11 the analysis instruction/display unit 106 determines whether or not there is an analysis instruction request.
  • This analysis instruction request is accompanied by information on the specified time, the specified analysis target, the depth of analysis, and the contents of analysis.
  • step ST12 the data extracting unit 108 performs the specified analysis at the specified time, that is, the snapshot data at the first time point, and the snapshot data at the previous time point, that is, the second time point.
  • snapshot data at the point in time are extracted from the database (snapshot) 104 within a range determined by the analysis target designation and the analysis depth.
  • step ST13 the data analysis unit 107 detects changes in the information target group based on snapshot data at two points in time. and changes in relationships between information objects. Then, in step ST14, the data analysis section 107 extracts the difference in the relationship between the information object group and the information objects based on the change acquired in step ST13.
  • the data analysis unit 107 analyzes the information based on the snapshot data at two points in time. Acquisition of changes in owned data of each information object that constitutes the object group. Then, in step ST16, data analysis section 107 extracts the difference portion of the possessed data of each information target based on the change acquired in step ST15.
  • step ST17 the analysis instruction/display unit 106 displays, on the display device 109, possible causes of the movement of the analysis target (mobile device) based on the differences extracted in steps ST14 and ST16.
  • the difference part is emphasized and the peripheral situation of the analysis target is displayed graphically.
  • step ST17 After the process of step ST17, the process returns to step ST11, and the analysis instruction/display unit 106 waits for the next analysis instruction request.
  • Example when the analysis target is an automatic driving car An example in which the object of analysis is an automatic driving vehicle will be described.
  • a normal case and an abnormal case are exemplified in a scene where the own vehicle (self-driving vehicle) turns right.
  • FIG. 4(a) shows a case where an oncoming vehicle is on the road and is close to the vehicle.
  • the host vehicle self-driving vehicle
  • the host vehicle is in a collision warning state and is in a stopped state.
  • FIG. 5 is a graphical representation of an example of data based on the domain-specific model in this case.
  • the vehicle, the oncoming vehicle, the running state, the intersection, the pedestrian crossing, and the restaurant as the destination are each information objects and displayed as nodes, and the relationships between the information objects are displayed as edges as shown by broken lines. ing.
  • the oncoming vehicle has a collision warning target "CollinsionWarningWith” relationship with the own vehicle.
  • the running state (stopped) has an attribute of "attributeOf” relationship with the host vehicle.
  • the intersection has a relationship of "isRunningOn” with respect to the vehicle.
  • the intersection has a relationship of "isRunningOn” with respect to the oncoming vehicle.
  • the crosswalk has a relationship of the next route segment "nextPathSegment" to the intersection.
  • the restaurant exists on the left side of the crosswalk and has a relationship of "onLeftSide".
  • Fig. 4(b) shows a case in which an oncoming vehicle has passed and the vehicle is turning right after waiting for the collision warning state to be resolved.
  • FIG. 6 shows an example of data based on the domain-specific model in this case in a graphical representation.
  • the own vehicle, the running state, the intersection, the pedestrian crossing, and the restaurant as the destination are information objects and displayed as nodes, and the relationships between the information objects are displayed as edges as indicated by dashed lines.
  • the driving state has an attribute "attributeOf” relationship with the own vehicle.
  • the intersection has a relationship of “isRunningOn” with respect to the vehicle.
  • the crosswalk has a relationship of the next route segment "nextPathSegment” to the intersection.
  • the restaurant exists on the left side of the crosswalk and has a relationship of "onLeftSide".
  • FIG. 7(a) shows a case where a disabled vehicle exists on the road shoulder on the opposite lane side of an intersection and the own vehicle (self-driving vehicle) is traveling on a straight road before entering the intersection. ing.
  • FIG. 8 shows an example of data based on the domain-specific model in this case in a graphical representation.
  • the own vehicle, the running state, the straight road, the intersection, the pedestrian crossing, and the restaurant as the destination are information objects and are displayed as nodes, and the relationship between the information objects is displayed as edges as shown by broken lines.
  • the driving state has an attribute "attributeOf” relationship with the own vehicle.
  • the straight road has a relationship of “isRunningOn” with respect to the vehicle.
  • the intersection has a relationship of the next route segment "nextPathSegment” with respect to the straight road.
  • the crosswalk has a relationship of the next route segment "nextPathSegment” to the intersection.
  • the restaurant exists on the left side of the crosswalk and has a relationship of "onLeftSide".
  • FIG. 7(b) shows a case where a disabled vehicle exists on the shoulder of the opposite lane of the intersection and the own vehicle has entered the intersection.
  • the disabled person is erroneously determined to be an oncoming vehicle, and the own vehicle is in a collision warning state and is in a stopped state.
  • FIG. 9 is a graphical representation of an example of data based on the domain-specific model in this case.
  • the vehicle, the oncoming vehicle, the running state, the intersection, the pedestrian crossing, and the restaurant as the destination are each information objects and displayed as nodes, and the relationships between the information objects are displayed as edges as shown by broken lines. ing.
  • the oncoming vehicle has a collision warning target "CollinsionWarningWith” relationship with the own vehicle.
  • the running state (stopped) has an attribute of "attributeOf” relationship with the host vehicle.
  • the intersection has a relationship of "isRunningOn” with respect to the vehicle.
  • the intersection has a relationship of "isRunningOn” with respect to the oncoming vehicle.
  • the crosswalk has a relationship of the next route segment "nextPathSegment" to the intersection.
  • the restaurant exists on the left side of the crosswalk and has a relationship of "onLeftSide".
  • FIG. 10 shows a display example (UI display example) of cause candidates for the movement of the vehicle (stopping movement at an intersection) to be displayed on the display device 109 when the first point in time is designated as the designated time. showing.
  • the surrounding conditions of the own vehicle are displayed in a graph, and the difference is the oncoming vehicle added as an information object, the driving state as an information object whose ownership data has changed, and the relationship between the information objects.
  • the relationship between the oncoming vehicle and the own vehicle and the relationship between the oncoming vehicle and the intersection are highlighted as possible causes.
  • the information target is highlighted by filling the corresponding node with a predetermined pattern, but this highlighting is not limited to this. It may be done by painting, thickening the frame line of the corresponding node, or changing the characters in the corresponding node to a predetermined color. Further, in the illustrated example, the relationship between information objects is highlighted by using a thick line for the corresponding edge, but this highlighting is not limited to this.
  • the line color may be set to a predetermined color
  • the line type of the corresponding edge may be set to a predetermined line type, and the like.
  • the user may be allowed to arbitrarily set the method of highlighting.
  • the user can identify the cause of the vehicle's motion (stopping motion at the intersection). That is, in this case, the user can detect an oncoming vehicle, enter the intersection, and determine that there is a risk of collision. In other words, the user can specify that the cause is that the broken-down vehicle existing on the road shoulder on the oncoming lane side of the intersection is erroneously detected as the oncoming vehicle.
  • the user can use the slider bar displayed on the display device 109 along with the graph display showing the surrounding conditions of the own vehicle to set the point of time a predetermined time before the current point of time as the specified time.
  • the user can easily set the first point in time, which is the point in time at which the own vehicle's motion (stopping motion at the intersection) occurs, as the designated time by using the slider bar.
  • "0" indicates the current point in time, and indicates a state in which the point in time one minute ago is set as the designated time.
  • the specified time After setting the designated time, for example, when the user presses a display button (not shown), a series of processing such as the analysis described above is performed, and the graph display of the surrounding situation of the own vehicle at the designated time is emphasized. executed in the state In this case, if the specified time does not match the time at which the vehicle's movement (stopping at the intersection) occurs, the specified time can be adjusted to the vehicle's movement (stopping at the intersection) by changing the designated time sequentially. action) can be matched to the time of occurrence.
  • the user uses the slider bar to set the specified time to the point in time a predetermined time before the current point in time.
  • a configuration example is also conceivable in which the difference portion is continuously highlighted in real time without setting a specified time.
  • FIG. 11(a) shows a case where a person is stopped in front of a pedestrian crossing and the self-driving car (self-driving car) is traveling on a straight road before entering an intersection.
  • FIG. 12 shows an example of data based on the domain-specific model in this case in graphical form.
  • the own vehicle, the driving state, the straight road, the intersection, the pedestrian crossing, and the restaurant as the destination are each information objects and are displayed as nodes, and the relationship between the information objects is displayed as edges as shown by broken lines. ing.
  • the driving state has an attribute "attributeOf” relationship with the own vehicle.
  • the straight road has a relationship of “isRunningOn” with respect to the vehicle.
  • the intersection has a relationship of the next route segment "nextPathSegment” with respect to the straight road.
  • the crosswalk has a relationship of the next route segment "nextPathSegment” to the intersection.
  • the restaurant exists on the left side of the crosswalk and has a relationship of "onLeftSide".
  • FIG. 11(b) shows a case where a person is stopped in front of a pedestrian crossing and the vehicle has entered the intersection. In this case, it is erroneously determined that a person stopped in front of the pedestrian crossing is crossing the pedestrian crossing, and the own vehicle is in a collision warning state and is in a stopped state.
  • FIG. 13 shows an example of data based on the domain-specific model in this case in graphical form.
  • the own vehicle, the person, the running state, the intersection, the pedestrian crossing, and the restaurant as the destination are information objects and displayed as nodes, and the relationships between the information objects are displayed as edges as shown by broken lines. .
  • the person is in a relationship of "CollinsionWarningWith” for the collision warning target for the vehicle.
  • the running state (stopped) has an attribute of "attributeOf” relationship with the host vehicle.
  • the intersection has a relationship of "isRunningOn” with respect to the vehicle.
  • the pedestrian crossing has a relation of entry place “isRunningOn” to the person.
  • the crosswalk has a relationship of the next route segment "nextPathSegment” to the intersection.
  • the restaurant exists on the left side of the crosswalk and has a relationship of "onLeftSide".
  • FIG. 14 shows a display example (UI display example) of cause candidates for the movement of the vehicle (stopping movement at an intersection) displayed on the display device 109 when the first point in time is designated as the designated time. showing.
  • the surrounding conditions of the own vehicle are displayed in a graph, and the difference is the person added as the information object, the driving state as the information object whose ownership data has changed, and the relationship between the information objects.
  • the relationship between the person and the vehicle and the relationship between the person and the crosswalk are highlighted as possible causes.
  • the user can identify the cause of the vehicle's motion (stopping motion at the intersection). That is, in this case, the user can detect a person and read that the person is crossing the pedestrian crossing and that it is determined that there is a risk of collision. In other words, the user can identify that the cause is the false detection that a person stopped in front of the pedestrian crossing is crossing the pedestrian crossing.
  • the user can use the slider bar displayed on the display device 109 along with the graph display showing the surrounding conditions of the own vehicle to set the point of time a predetermined time before the current point of time as the specified time.
  • the user can easily set the first point in time, which is the point in time at which the own vehicle's motion (stopping motion at the intersection) occurs, as the designated time by using the slider bar.
  • "0" indicates the current point in time, and indicates a state in which the point in time one minute ago is set as the designated time.
  • Example when the analysis target is a robot An example in which the object to be analyzed is a robot will be described.
  • an abnormal case error case
  • an abnormal case error case during the movement of the robot to the destination is exemplified.
  • FIG. 15(a) shows the case where the distance to the obstacle (wall) is normal and the robot is traveling on lane 1 (Lane 1) of the movement route to the destination. is shown.
  • FIG. 16 shows an example of data based on the domain-specific model in this case in graphical form.
  • the robot, obstacle, running state, sensor C, position, lane 1 (Lane 1), lane 2 (Lane 2), lane 3 (Lane 3), and lane 4 (Lane 4) are each information targets and displayed as nodes.
  • the relationship between information objects is displayed as an edge as indicated by a dashed line.
  • the obstacle has a non-collision warning target "NotCollinsionWarningWith” relationship with the robot.
  • the running state (running) has an attribute of "attributeOf” relationship with the robot.
  • the sensor C has a relationship of a used sensor "UsedSensor” for the robot to acquire and update the distance to the obstacle. For example, as the sensor C, a LiDAR, a depth camera, etc. are assumed.
  • the position is related to the position of the robot relative to the obstacle calculated by the robot using the sensor value of sensor C.
  • Lane 1 (Lane1) has a relationship of entry place "isRunningOn” with respect to the robot.
  • Lane 2 (Lane 2) has a relationship of the next path segment "nextPathSegment” with Lane 1 (Lane 1).
  • Lane 3 (Lane 3) has the relationship of the next route portion with respect to Lane 2 (Lane 2).
  • Lane 4 (Lane 4) has the following path part relationship with Lane 3 (Lane 3).
  • FIG. 15(b) shows a case where the distance to an obstacle (wall) is abnormal and the robot is stopped on Lane 1 of the movement route to the destination.
  • the robot is stopped on Lane 1 of the movement route to the destination.
  • FIG. 17 shows an example of data based on the domain-specific model in this case in graphical form.
  • the robot, obstacle, running state, sensor C, position, lane 1 (Lane 1), lane 2 (Lane 2), lane 3 (Lane 3), and lane 4 (Lane 4) are each information targets and displayed as nodes.
  • the relationship between information objects is displayed as an edge as indicated by a dashed line.
  • the obstacle has a "CollinsionWarningWith” relationship with the robot that is subject to collision warning.
  • the running state (stopped) has a relation of attribute "attributeOf” to the robot.
  • the sensor C has a relationship of a used sensor "UsedSensor” for the robot to obtain and update the position of the robot with respect to the obstacle. In this case, the possessed data (sensor value) of this sensor C has changed greatly compared to the case in FIG.
  • the position is related to the position of the robot relative to the obstacle calculated by the robot using the sensor C value.
  • the possessed data (position data) of this position changes greatly compared with the case in FIG. there is Also, Lane 1 (Lane1) has a relationship of entry place "isRunningOn" with respect to the robot. Also, Lane 2 (Lane 2) has a relationship of the next path segment "nextPathSegment” with Lane 1 (Lane 1). Lane 3 (Lane 3) has the relationship of the next route portion with respect to Lane 2 (Lane 2). Also, Lane 4 (Lane 4) has the following path part relationship with Lane 3 (Lane 3).
  • FIG. 18 shows a display example (UI display example) of cause candidates for the robot motion (stop motion in lane 1) displayed on the display device 109 when the first time point is specified as the specified time. showing.
  • the surrounding situation of the robot is displayed in a graph, and the difference is the running state, sensor C and position as information objects whose ownership data has changed, and the relationship between obstacles and robots that has changed as the relationship between information objects. is highlighted as a possible cause.
  • the user can identify the cause of the motion of the robot (stop motion in lane 1). That is, in this case, the sensor value of sensor C changes greatly, and as a result, the position of the robot with respect to the obstacle calculated based on the sensor value changes greatly and becomes erroneous. You can read what you are judging. Thereby, the user can identify that the sensor value abnormality of the sensor C, that is, the failure of the sensor C is the cause.
  • the user can use the slider bar displayed on the display device 109 together with the graph display showing the surrounding situation of the robot to set the point of time a predetermined time before the current point of time as the specified time.
  • the user can easily set the first point in time at which the action of the robot (stopping action in lane 1) occurs as the specified time by using the slider bar.
  • "0" indicates the current point in time, and indicates a state in which the point in time one minute ago is set as the designated time.
  • FIG. 21 shows an example (UI table) in which candidate causes for the action of robot 1 (stopping action in lane 1) and candidate causes for action of robot 2 (lost action of robot 1) are displayed side by side on the display device 109. example) is shown.
  • the robot 1 is specified as the analysis target, the specified time is time t1, the difference is extracted based on the domain specific model at time t1 and the time before that, and the difference is The situation around the robot 1 is displayed in a graph with emphasis.
  • the robot 1, the obstacle, the running state, the sensor C, the position, and the lane 1 are information targets and are displayed as nodes, and the relationship between the information targets is displayed as edges as indicated by broken lines. ing.
  • the obstacle has a "CollinsionWarningWith” relationship with the robot that is subject to collision warning.
  • the running state (stopped) has a relation of attribute "attributeOf” to the robot.
  • the sensor C has a relationship of a used sensor "UsedSensor” for the robot to obtain and update the position of the robot with respect to the obstacle.
  • the user can identify the cause of the motion of the robot 1 (stop motion in lane 1) from this UI display. That is, in this case, the sensor value of sensor C changes, and as a result, the position of the robot with respect to the obstacle calculated based on the sensor value changes and becomes erroneous, and the user determines that there is a risk of collision. can be read. Thereby, the user can identify that the sensor value abnormality of the sensor C, that is, the failure of the sensor C is the cause.
  • the user can use the slider bar displayed together with the graph display showing the surrounding situation of the robot 1 to set the point of time a predetermined time before the current point of time as the specified time.
  • the user can easily set the time t1 at which the action of the robot 1 (stopping action in lane 1) occurs as the designated time by using the slider bar.
  • "0" indicates the current point in time, and indicates a state in which the point in time one minute ago is set as the designated time.
  • the robot 2 is specified as the analysis target, the specified time is set to time t2, the difference part is extracted based on the domain specific model at time t2 and the time before that, and the difference part is The situation around the robot 2 is displayed in a graph with emphasis.
  • the robot 1, the robot 2, the running state, the position 1 of the robot 2 with respect to the robot 1, the person, and the position 2 of the robot 2 with respect to the person are information objects and displayed as nodes, and the relationship between the information objects is indicated by a dashed line. It is displayed as an edge as shown.
  • robot 1 has a lost "isLost" relationship with robot 2.
  • the running state (stopped) has a relation of attribute "attributeOf” to the robot 2 .
  • Position 1 is related to the position of robot 2 with respect to robot 1 .
  • the human has a relationship of collision warning object "CollinsionWarningWith” with the robot 2 .
  • Position 2 is related to the position of robot 2 with respect to the person.
  • the relationship between the human and the robot 2 is highlighted as a possible cause.
  • the user can identify the cause of the motion of the robot 2 (lost motion of the robot 1) from this UI display. That is, in this case, the user can read that the robot 1 is lost because a person comes into the field of vision of the robot and the robot stops because it is determined that there is a danger of collision.
  • the user can use the slider bar displayed together with the graph display showing the surrounding situation of the robot 2 to set the point of time a predetermined time before the current point of time as the specified time. Accordingly, the user can easily set the time t2 at which the motion of the robot 2 (lost motion of the robot 1) occurs as the specified time by using the slider bar.
  • "0" indicates the current time, and indicates a state in which the time two minutes ago is set as the designated time.
  • the difference extraction range starting from the analysis targets such as self-driving cars and robots.
  • the difference extraction range is set too narrowly, it is assumed that the cause cannot be identified. Therefore, it is necessary to appropriately set the difference extraction range.
  • the user can specify the analysis depth for setting the difference extraction range when requesting the analysis instruction.
  • Fig. 22 shows a case in which the vehicle (self-driving car) changes its route from the shortest route to the post-change route because it detects that an obstacle has appeared on the route and is impassable while the vehicle (self-driving car) is moving to the destination. is shown.
  • FIG. 23 is a graphical representation of an example of data based on the domain-specific model when determining the shortest path.
  • the own vehicle, driving state, straight road, intersection, pedestrian crossing (right), straight road, and destination are information objects and displayed as nodes, and the relationship between information objects is shown as edges as shown by broken lines. is displayed.
  • the running state (running) has an attribute of "attributeOf" relationship with the own vehicle, and the straight road has an entry location "isRunningOn" relationship with the own vehicle.
  • FIG. 24 is a graphical representation of an example of data based on the domain-specific model when the route is changed due to a problem with the shortest route.
  • information objects such as crosswalks (front), straight roads, intersections, and crosswalks (right) corresponding to the route after the route change are newly added. is added as a node to
  • FIG. 25 shows the case where the user designates the analysis depth as "3", that is, the case where the difference extraction range is set to the node depth 3 from the own vehicle.
  • the range enclosed by the dashed frame Q1 is the difference extraction range in this case.
  • the user does not know that there is an obstacle (stone) on the straight road of the shortest route, and only knows that another route has appeared.
  • FIG. 26 shows the case where the user specifies the analysis depth as "4", that is, the case where the difference extraction range is from the own vehicle to the node depth of 4.
  • the range enclosed by the dashed frame Q2 is the difference extraction range in this case.
  • the user can know that there is an obstacle (stone) on the straight road of the shortest route, and therefore has chosen another route.
  • Processing by software The processing shown in the flowchart of FIG. 3 described above can be executed by hardware, but can also be executed by software.
  • the programs that make up the software are built into dedicated hardware, or various functions can be executed by installing various programs. installed from a recording medium, for example, on a general-purpose computer.
  • FIG. 27 is a block diagram showing a hardware configuration example of the computer 400.
  • Computer 400 includes CPU 401 , ROM 402 , RAM 403 , bus 404 , input/output interface 405 , input section 406 , output section 407 , storage section 408 , drive 409 , connection port 410 , communication section 411 have.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Moreover, it may further include components other than the components shown here.
  • the CPU 401 functions, for example, as an arithmetic processing device or a control device, and controls the overall operation or a part of each component based on various programs recorded in the ROM 402, the RAM 403, the storage unit 408, or the removable recording medium 501. .
  • the ROM 402 is means for storing programs read by the CPU 401 and data used for calculations.
  • the RAM 403 temporarily or permanently stores, for example, a program read by the CPU 401 and various parameters that appropriately change when the program is executed.
  • the CPU 401 , ROM 402 and RAM 403 are interconnected via a bus 404 .
  • Various components are connected to the bus 404 via an interface 405 .
  • a mouse for example, a mouse, keyboard, touch panel, buttons, switches, levers, etc. are used.
  • a remote controller (hereinafter referred to as a remote controller) capable of transmitting control signals using infrared rays or other radio waves may be used.
  • the output unit 407 includes, for example, a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker, headphones, a printer, a mobile phone, a facsimile, or the like, to transmit the acquired information to the user. It is a device capable of visually or audibly notifying the user.
  • a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL
  • an audio output device such as a speaker, headphones, a printer, a mobile phone, a facsimile, or the like, to transmit the acquired information to the user. It is a device capable of visually or audibly notifying the user.
  • the storage unit 408 is a device for storing various data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like is used.
  • the drive 409 is a device that reads information recorded on a removable recording medium 501 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 501, for example.
  • a removable recording medium 501 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 501 is, for example, DVD media, Blu-ray (registered trademark) media, HD DVD media, various semiconductor storage media, and the like.
  • the removable recording medium 501 may be, for example, an IC card equipped with a contactless IC chip, an electronic device, or the like.
  • connection port 410 is, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface), an RS-232C port, or a port for connecting an external connection device 502 such as an optical audio terminal.
  • the externally connected device 502 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication unit 411 is a communication device for connecting to the network 503, and includes, for example, a communication card for wired or wireless LAN, Bluetooth (registered trademark), or WUSB (Wireless USB), a router for optical communication, ADSL (Asymmetric Digital Subscriber Line) router or modem for various communications.
  • a communication card for wired or wireless LAN Bluetooth (registered trademark), or WUSB (Wireless USB)
  • WUSB Wireless USB
  • a router for optical communication for optical communication
  • ADSL Asymmetric Digital Subscriber Line
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • data based on the domain-specific model is held as snapshot data that is sequentially obtained at regular intervals. Therefore, snapshot data acquired at the first point in time and snapshot data acquired at the second point in time, which is the previous point in time, can be used to extract the difference portion, making it possible to perform processing efficiently. Become.
  • the analysis range for extracting the difference part can be limited based on the limitation information (information on analysis depth and analysis content) that limits the analysis range. Therefore, it is possible to prevent the analysis from being performed in an unnecessary range, reduce the processing load, and thereby realize real-time processing. In addition, it is possible to perform analysis by sequentially changing the analysis range deeper and wider.
  • the different part is emphasized and the peripheral situation of the mobile device is graphically displayed. be. Therefore, the user can easily recognize the surrounding situation of the mobile device, and can easily recognize the candidate cause of the motion of the mobile device from the emphasized difference portion.
  • a slider bar for setting the first point in time is additionally displayed when the peripheral situation of the mobile apparatus is graphically displayed. Therefore, the user can easily set the first point in time, which is the point in time when the movement of the mobile device occurs, using the slider bar.
  • the information processing apparatus 100 shown in FIG. 2 it is possible to independently display the candidates for the causes of the actions of a plurality of mobile devices.
  • this technique can also take the following structures.
  • a holding unit that holds data based on a domain-specific model that is a recognition result of the surrounding environment of the mobile device; an analysis unit that extracts a difference between data based on the domain-specific model at a first time point and data based on the domain-specific model at a second time point that is earlier than the first time point; an information processing apparatus comprising: a display unit that displays a cause candidate for the operation of the mobile device based on the different part.
  • the holding unit holds the data based on the domain-specific model as snapshot data obtained sequentially at regular intervals.
  • the data based on the domain-specific model is composed of an information target group including the mobile device that constitutes the surrounding environment of the mobile device and relationships between the information targets;
  • the analysis unit extracts the difference part based on at least a change in the information object group, a change in relationship between the information objects, or a change in owned data of each information object constituting the information object group.
  • the information processing device according to 1) or (2).
  • the information processing apparatus according to any one of (1) to (3), wherein the analysis unit performs a process of extracting the difference part based on an analysis instruction.
  • the analysis instruction includes restriction information that restricts an analysis range.
  • the data based on the domain-specific model is composed of an information target group including the mobile device that constitutes the surrounding environment of the mobile device and relationships between the information targets;
  • the information processing device according to (5), wherein the restriction information includes analysis depth information indicating how far away from the mobile device the information target is to be analyzed.
  • the data based on the domain-specific model is composed of an information target group including the mobile device that constitutes the surrounding environment of the mobile device and relationships between the information targets;
  • the restriction information includes analysis content information indicating which of the information object group, the relationship between the information objects, and the proprietary data of each information object constituting the information object group is to be analyzed.
  • the information processing device according to (5) or (6).
  • the display section emphasizes the difference portion and displays a graph of the peripheral situation of the mobile device.
  • the data based on the domain-specific model is composed of an information target group including the mobile device that constitutes the surrounding environment of the mobile device and relationships between the information targets;
  • the display unit displays each information target corresponding to the surrounding situation of the mobile device as a node, and displays a relationship between the information targets as an edge.
  • the display unit further displays a slider bar for setting the first time point.
  • the information processing apparatus according to any one of (1) to (10), wherein the display unit independently displays a plurality of candidate causes of motions of the mobile devices.
  • the moving device is an autonomous vehicle, a drone, or a robot.
  • (13) a procedure of holding data based on a domain-specific model, which is a recognition result of the surrounding environment of the mobile device; a step of extracting a difference between data based on the domain-specific model at a first point in time and data based on the domain-specific model at a second point in time that is earlier than the first point in time; an information processing method, comprising: displaying a cause candidate for the operation of the mobile device based on the different part.
  • (14) a computer; a holding unit that holds data based on a domain-specific model that is a recognition result of the surrounding environment of the mobile device; an analysis unit that extracts a difference between data based on the domain-specific model at a first time point and data based on the domain-specific model at a second time point that is earlier than the first time point; and a program that functions as a display unit that displays a cause candidate for the operation of the mobile device based on the difference part.
  • DESCRIPTION OF SYMBOLS 100... Information processing apparatus 101... Recognition module 102... Database management part 103... Database (master) 104 Database (snapshot) 105... Snapshot data output unit 106... Analysis instruction/display unit 107... Data analysis unit 108... Data extraction unit 109... Display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

移動装置の動作発生原因の特定を良好に行い得るようにする。　保持部により、移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータが保持される。解析部により、第１の時点におけるドメイン固有モデルに基づくデータと、第１の時点より前の時点である第２の時点におけるドメイン固有モデルに基づくデータとの差異部分が抽出される。表示部により、差異部分に基づいて移動装置の動作の発生原因候補が表示される。

Description

情報処理装置、情報処理方法およびプログラム
　本技術は、情報処理装置、情報処理方法およびプログラムに関し、詳しくは、移動装置の動作発生原因候補をユーザに提示するための情報処理装置等に関する。
　自動運転車、ドローン、ロボット等が想定外挙動をした場合に、ユーザにはその原因を知りたい欲求が存在する。これを解決するためには、自動運転車やロボット等が活動する世界が既知である必要がある。そして、既知世界とするためには、（１）発生事象が既知であること、（２）正解データとエラーデータ（エラー原因）が既知であること、が必要である。
　機械学習による実現ではどれだけ学習データを準備したとしても、上述の（１）、（２）ともに満たされていることを示せない。もちろん大量にデータを準備すれば判別性能の向上を見込めるが、そもそも機械学習により育て上げられた判断論理内容を知ることはできず、原因候補の取得は不可である。
　別のアプローチとしては従来型の特定ドメインに特化した判断論理を記述可能な形式で構築する手段がある。このケースでは特定環境でのみ完璧に原因特定ができるが、専用のエラー解析機が個別に必要であり、上述の（１）、（２）も特化されたものであるため汎用性、拡張性がなく、利用条件や環境が変わった場合には使用することができない。
　例えば、特許文献１には、処理内容が明確でないジョブ処理を実行した際に、その処理内容を内部情報の差分から取得する技術が記載されている。この技術においては、内部情報の何に着目して差分を取るのかが事前に与えられていなければならず、一般形式への適用はできない。また、内部情報の単純比較による差分取得に留まり、特定対象部の近傍での変化やリンク関係の深さを使って原因候補を抽出することはできない。
特開２００９－１８１４９４号公報
　本技術の目的は、移動装置の動作発生原因の特定を良好に行い得るようにすることにある。
　本技術の概念は、
　移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する保持部と、
　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する解析部と、
　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する表示部と、を備える
　情報処理装置にある。
　本技術において、保持部により、移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータが保持される。ここで、移動装置は、自動運転車、ドローンまたはロボットなどである。例えば、保持部は、ドメイン固有モデルに基づくデータを一定周期で順次取得したスナップショットデータとして保持する、ようにされてもよい。
　ここで、ドメイン固有モデルは、適用対象領域での認識物体の行動を表現・把握するための専用モデルである。どのようなデータを扱いたいか、どのようなデータ間の関係性があるかは適用対象領域ごとに異なるものである。このドメイン固有モデルは、システム、適用環境、認識・行動状態などに依存する。
　解析部により、第１の時点におけるドメイン固有モデルに基づくデータと、第１の時点より前の時点である第２の時点におけるドメイン固有モデルに基づくデータとの差異部分が抽出される。
　ドメイン固有モデルに基づくデータが一定周期で順次取得されたスナップショットデータとして保持される場合には、第１の時点で取得されたスナップショットデータとその前の時点である第２の時点で取得されたスナップショットデータを用いて差異部分を抽出でき、処理を効率的に行うことが可能となる。
　例えば、ドメイン固有モデルに基づくデータは、移動装置の周辺環境を構成する移動装置を含む情報対象群と情報対象同士の関係性で構成されており、解析部は、少なくとも情報対象群の変化、情報対象同士の関係性の変化、あるいは情報対象群を構成する各情報対象の所有データの変化に基づいて差異部分を抽出する、ようにされてもよい。
　例えば、解析部は、解析指示に基づいて、差異部分を抽出する処理を行う、ようにされてもよい。この場合、解析部は、無駄に解析処理を行うことを回避でき、また処理負荷を軽減できる。
　この場合、例えば、解析指示は、解析範囲を制限する制限情報を有する、ようにされてもよい。これにより、解析部に必要のない範囲での解析を行わせることがなく、解析部の処理負荷を軽減できる。
　例えば、ドメイン固有モデルに基づくデータは、移動装置の周辺環境を構成する移動装置を含む情報対象群と情報対象同士の関係性で構成されており、制限情報は、移動装置からどの程度離れた情報対象までを解析対象とするかを示す解析深さ情報を含む、ようにされてもよい。
　また、例えば、ドメイン固有モデルに基づくデータは、移動装置の周辺環境を構成する移動装置を含む情報対象群と情報対象同士の関係性で構成されており、制限情報は、情報対象群、情報対象同士の関係性および情報対象群を構成する各情報対象の所有データのうちのどの内容を解析対象とするかを示す解析内容情報を含む、ようにされてもよい。
　表示部により、差異部分に基づいて移動装置の動作の発生原因候補が表示される。例えば、表示部は、差異部分を強調して、移動装置の周辺状況をグラフ表示する、ようにされてもよい。これにより、ユーザは、移動装置の周辺状況を容易に認識でき、強調された差異部分から当該移動装置の動作の発生原因候補の認識を容易に行うことができる。
　この場合、例えば、ドメイン固有モデルに基づくデータは、移動装置の周辺環境を構成する移動装置を含む情報対象群と情報対象同士の関係性で構成されており、表示部は、移動装置の周辺状況に対応した各情報対象をノードとして表示し、各情報対象における情報対象同士の関係性をエッジとして表示する、ようにされてもよい。
　例えば、表示部は、第１の時点を設定するためのスライダーバーをさらに表示する、ようにされてもよい。この場合、ユーザは、スライダーバーを用いて移動装置の動作の発生時点である第１の時点の設定を容易に行うことができる。
　また、例えば、表示部は、複数の移動装置の動作の発生原因候補をそれぞれ独立して表示する、ようにされてもよい。これにより、ユーザは、複数の移動装置の動作の発生原因候補をそれぞれ独立して認識することが可能となる。
　このように本技術においては、第１の時点におけるドメイン固有モデルに基づくデータと、第１の時点より前の時点である第２の時点におけるドメイン固有モデルに基づくデータとの差異部分を抽出し、その差異部分に基づいて移動装置の動作の発生原因候補を表示するものであり、移動装置の動作発生原因の特定を良好に行うことができる。この場合、既知世界、未知世界を問わずに移動装置の動作の発生原因候補を得ることができる。また、この場合、専用エラー解析機の準備不要による工数削減を図ることができる。
　また、本技術の他の概念は、
　移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する手順と、
　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する手順と、
　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する手順と、を有する
　情報処理方法にある。
　また、本技術のさらに他の概念は、
　コンピュータを、
　移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する保持部と、
　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する解析部と、
　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する表示部と、して機能させる
　プログラムにある。
ドメイン固有モデルに基づくデータ（移動装置の周辺状況）の表示例を示す図である。 移動装置の動作の発生原因候補を表示し得る情報処理装置の構成例を示すブロック図である。 スナップショットデータ出力部における処理手順の一例を示すフローチャートと、解析指示・表示部、データ解析部およびデータ抽出部における処理手順の一例を示すフローチャートである。 解析対象が自動運転車の場合の実施例であって、自車（自動運転車）が右折する場面における通常ケースを説明するための図である。 対向車が進路上におり、かつ近接している場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 対向車が通り過ぎ、衝突警告状態が解消されるのを待って右折をしている場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 解析対象が自動運転車の場合の実施例であって、自車（自動運転車）が右折する場面における異常ケースの一例を説明するための図である。 交差点の対向車線側の路肩に故障車が存在する場合であって、自車（自動運転車）が交差点進入前で直線路を走行している状態にある場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 交差点の対向車線側の路肩に故障車がいる場合であって、自車が交差点進入後の場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 指定時刻として第１の時点が指定された場合において、自車の動作（交差点での停止動作）の発生原因候補の表示例（ＵＩ表示例）を示す図である。 解析対象が自動運転車の場合の実施例であって、自車（自動運転車）が右折する場面における異常ケースの他の一例を説明するための図である。 横断歩道前で人が停止している場合であって、自車（自動運転車）が交差点進入前で直線路を走行している状態にある場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 横断歩道前で人が停止している場合であって、自車が交差点進入後の場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 指定時刻として第１の時点が指定された場合において、自車の動作（交差点での停止動作）の発生原因候補の表示例（ＵＩ表示例）を示す図である。 障害物（壁）との距離が正常状態にある場合であってロボットが目的地までの移動経路のうちレーン１（Lane1）上を走行している状態と、障害物（壁）との距離が異常状態にある場合であってロボットが目的地までの移動経路のうちレーン１（Lane1）上で停止している状態を示す図である。 障害物（壁）との距離が正常状態にある場合であって、ロボットが目的地までの移動経路のうちレーン１（Lane1）上を走行している状態にある場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 障害物（壁）との距離が異常状態にある場合であって、ロボットが目的地までの移動経路のうちレーン１（Lane1）上で停止状態にある場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 指定時刻として第１の時点が指定された場合において、ロボットの動作（レーン１での停止動作）の発生原因候補の表示例（ＵＩ表示例）を示す図である。 解析対象が複数である場合の実施例としてロボット１およびロボット２が存在する例を説明するための図である。 時点１でロボット１が障害物（壁）への異常接近したとして停止した状態と、時点ｔ２でロボット２の視界を遮るように人が入ってきてロボット２がロボット１をロストした状態を示す図である。 ロボット１の動作（レーン１での停止動作）の発生原因候補と、ロボット２の動作（ロボット１のロスト動作）の発生原因候補を並列表示した例（ＵＩ表示例）を示す図である。 原因特定が解析深さに依存する場合の実施例を説明するための図である。 最短経路決定時におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 最短経路に問題があって経路変更した場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示した図である。 ユーザが解析深さを「３」に指定した場合、つまり差分抽出範囲を自車からノード深さ３までにした場合を説明するための図である。 ユーザが解析深さを「４」に指定した場合、つまり差分抽出範囲を自車からノード深さ３までにした場合を説明するための図である。 コンピュータのハードウェア構成例を示すブロック図である
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［本技術の概要］
　本技術において、通常時は、移動装置（自動運転車、ドローン、ロボットなど）の周辺環境の認識結果であるドメイン固有モデルに基づくデータの保持が行われる。この場合、例えば、ドメイン固有モデルに基づくデータは、一定周期で順次取得されたスナップショットデータとして保持される。
　ここで、ドメイン固有モデルは、適用対象領域での認識物体の行動を表現・把握するための専用モデルである。どのようなデータを扱いたいか、どのようなデータ間の関係性があるかは適用対象領域ごとに異なるものである。このドメイン固有モデルは、システム、適用環境、認識・行動状態などに依存する。
　例えば、自動運転車の場合、ドメイン固有モデルは、自車の状態管理データ、行動パターン、周辺認識データ（歩行者、対向車、標識）、地図・位置などに依存する。また、例えば、自動宅配ドローンの場合、ドメイン固有モデルは、ドローン状態管理、行動パターン、周辺認識データ（空中障害物）、地図・位置、天候情報などに依存する。
　また、例えば、工場搬送ロボットの場合、ドメイン固有モデルは、ロボット状態管理、行動パターン(屋内用)、周辺認識データ（人、障害物）、地図・位置などに依存する。また、例えば、屋外搬送ロボットの場合、ドメイン固有モデルは、ロボット状態管理、行動パターン(屋外用)、周辺認識データ（人、段差）、地図・位置、天候情報などに依存する。
　また、本技術において、移動装置の動作の発生原因候補の表示時は、移動装置の動作の発生時点である第１の時点におけるドメイン固有モデルに基づくデータと、この第１の時点より前の時点である第２の時点におけるドメイン固有モデルに基づくデータとの差異部分を抽出し、その差異部分に基づいて移動装置の動作の発生原因候補が表示される。
　この場合、例えば、第１の時点で取得されたスナップショットデータとその前の時点である第２の時点で取得されたスナップショットデータを用いて差異部分が抽出される。また、この場合、例えば、ドメイン固有モデルに基づくデータは、移動装置の周辺環境を構成する当該移動装置を含む情報対象群と情報対象同士の関係性で構成されており、少なくとも情報対象群の変化、情報対象同士の関係性の変化、あるいは情報対象群を構成する各情報対象の所有データの変化に基づいて、差異部分が抽出される。
　移動装置の動作の発生原因候補の表示にあたって、例えば、差異部分が強調されて、移動装置の周辺状況がグラフ表示される。この場合、例えば、移動装置の周辺状況に対応した各情報対象がノードとして表示され、情報対象同士の関係性がエッジとして表示される。
　図１（ｂ）は、第１の時点(時刻Ｔ＋１)におけるドメイン固有モデルに基づくデータ（移動装置の周辺状況）の表示例を示している。図１（ａ）は、この第１の時点より前の時点である第２の時点（時刻Ｔ）におけるドメイン固有モデルに基づくデータ（移動装置の周辺状況）の表示例を示している。「○」は情報対象を示すノードであり、そのエッジ同士を結ぶ線は情報対象同士の関係性を示すエッジである。
　第１の時点では、第２の時点と比べて、×印のノードおよびエッジが消失し、ハッチングを施したノードの所有データが変化している。移動装置の動作の発生原因候補の表示にあたっては、このような変化による差異部分が、移動装置の動作の発生原因候補として、強調されて表示される。そして、このように提示される移動装置の動作の発生原因候補から、そのいずれか、もしくは複合が、ユーザにより最終的に、移動装置の動作の発生原因として特定されることとなる。
　「情報処理装置の構成例」
　図２は、上述したように移動装置の動作の発生原因候補を表示し得る情報処理装置１００の構成例を示している。
　情報処理装置１００は、複数の認識モジュール１０１と、データベース管理部１０２と、データベース（master）１０３と、データベース（snapshot）１０４と、スナップショットデータ出力部１０５と、解析指示・表示部１０６と、データ解析部１０７と、データ抽出部１０８と、表示デバイス１０９を有している。
　複数の認識モジュール１０１は、移動装置の状態管理データ、移動装置の行動パターン情報、移動装置の周辺認識データ、地図データ、位置データ等に基づいて、ドメイン固有モデルに基づくデータとしての所定数のデータを生成する。なお、ドメイン固有モデルに基づくデータとして如何なるデータを取り扱うかは、予め、ユーザにより、設定される。
　ドメイン固有モデルに基づくデータが上述したように移動装置の周辺環境を構成する移動装置を含む情報対象群と情報対象同士の関係性で構成される場合、情報対象群として如何なる情報対象を含ませるか、また情報対象同士の関係として如何なる関係を含ませるかは、ユーザにより予め設定される。
　データベース管理部１０２は、データベース（master）１０３に常に最新のドメイン固有モデルに基づくデータが保持されるように、当該データベース（master）１０３のアクセスを管理する。
　複数の認識モジュール１０１では、モジュールの都合あるいはその仕様に応じて、それぞれ独立したタイミングでデータの生成が行われる。データベース管理部１０２は、複数の認識モジュール１０１のそれぞれで新たにデータが生成される都度、その新たにデータを生成した認識モジュール１０１からの要求を受け、データベース（master）１０３にアクセスして、保持されているドメイン固有モデルに基づくデータを更新する。これにより、データベース（master）１０３は、常に最新のドメイン固有モデルに基づくデータが保持された状態となる。
　スナップショットデータ出力部１０５は、周期的に、例えば１分毎あるいは１秒毎に、データベース（master）１０３に保持されているドメイン固有モデルに基づくデータをスナップショットデータとしてデータベース（snapshot）１０４に保存する。データベース（snapshot）１０４は、その記憶容量に応じて、過去一定期間における所定数のスナップショットデータが保持された状態となる。
　解析指示・表示部１０６は、例えばユーザからの解析指示依頼に基づいて、データ解析部１０７に解析指示を出す。この解析指示には、指定時刻、解析対象指定、解析深さ、解析内容の情報も含まれている。
　ここで、指定時刻は、解析を行う時点を指定する情報である。この指定時刻に関しては、ユーザは、例えば、後述するように表示デバイス１０９に表示されるスライダーバーを利用して設定可能とされる。このように解析指示に指定時刻を含ませることで、解析を行う時点を指定でき、移動装置の動作の発生時点の解析を行わせることが容易に可能となる。
　解析対象指定は、解析の中心となる情報対象を指定する情報である。解析の中心となる情報対象としては、通常は移動装置が指定されるが、移動装置以外の情報対象を解析の中心となる情報対象として指定することも可能である。このように解析指示に解析対象指定を含ませることで、解析の中心となる情報対象を指定することができ、例えば情報対象群に複数の移動装置が含まれる場合、解析の中心となる情報対象としてエラーが発生した移動装置を指定して、効率的な解析を行わせることが可能となる。
　解析深さは、解析範囲を制限する制限情報を構成しており、解析の中心となる情報対象からどの程度離れた情報対象までを解析対象とするかを示す情報である。このように解析指示に解析深さを含ませることで、必要な深さでの解析を行わせることができ、処理負荷を軽減させることが可能となる。
　解析内容は、解析範囲を制限する制限情報を構成しており、情報対象群、情報対象同士の関係性および情報対象群を構成する各情報対象の所有データのうちのどの内容を解析対象とするかを示す情報である。このように解析指示に解析内容を含ませることで、必要な内容での解析を行わせることができ、処理負荷を軽減させることが可能となる。
　データ解析部１０７は、解析指示に基づいて、データ抽出部１０８に、２つの時刻のデータ取得を依頼する。この依頼には、指定時刻、解析対象指定および解析深さの情報が含まれる。データ抽出部１０８は、データベース（snapshot）１０４から、指定時刻で指定された解析を行う時点、つまり第１の時点のスナップショットデータと、その前の時点、つまり第２の時点のスナップショットデータとを、解析対象指定および解析深さで決定される範囲で抽出し、データ解析部１０７に送る。
　データ解析部１０７は、データ抽出部１０８から供給される２時点のスナップショットデータの差異部分を抽出し、その結果を解析指示・表示部１０６に送る。この場合、上述したようにドメイン固有モデルに基づくデータが移動装置の周辺環境を構成する当該移動装置を含む情報対象群と情報対象同士の関係性で構成される場合、少なくとも情報対象群の変化、情報対象同士の関係性の変化、あるいは情報対象群を構成する各情報対象の所有データの変化に基づいて、差異部分が抽出される。
　この場合、解析内容で指定された内容での解析が行われる。例えば、解析内容で情報対象群および情報対象同士の関係性を解析対象とすることが示されていれば、２時点のスナップショットデータにおいて情報対象群の変化および情報対象同士の関係性の変化を取得し、それに基づいて差異部分を抽出する。また、例えば、解析内容で情報対象群を構成する各情報対象の所有データを解析対象とすることが示されていれば、２時点のスナップショットデータにおいて情報対象群を構成する各情報対象の所有データの変化を取得し、それに基づいて差異部分を抽出する。
　解析指示・表示部１０６は、データ解析部１０７から送られてくる差異部分の抽出結果に基づいて、表示デバイス１０９に、差異部分を、解析対象（移動装置）の動作の発生原因候補として表示する。例えば、差異部分が強調されて、解析対象の周辺状況がグラフ表示される。この場合、例えば、解析対象の周辺状況に対応した各情報対象がノードとして表示され、情報対象同士の関係性がエッジとして表示される。
　なお、図２に示す情報処理装置１００においては、データベース（snapshot）１０４を含む構成となっているが、このデータベース（snapshot）１０４に関しては、クラウドサーバで構成することも考えられる。また、図２に示す情報処理装置１００においては、データ解析部１０７およびデータ抽出部１０８を含む構成となっているが、これらに関する処理はクラウドサーバで行う構成とすることも考えられる。
　図３（ａ）のフローチャートは、スナップショットデータ出力部１０５における処理手順の一例を示している。
　スナップショットデータ出力部１０５は、ステップＳＴ１において、スナップショットデータ取得タイミングか否かを判断する。この場合、スナップショットデータ出力部１０５は、前回の取得タイミングから一定時間、例えば１秒あるいは１分が経過したときは、スナップショットデータ取得タイミングと判断する。
　スナップショットデータ取得タイミングであると判断するとき、スナップショットデータ出力部１０５は、ステップＳＴ２において、データベース（master）１０３に保持されているドメイン固有モデルに基づくデータをスナップショットデータとしてデータベース（snapshot）１０４に保存する。その後、スナップショットデータ出力部１０５は、ステップＳＴ１の処理に戻り、上述したと同様の処理を繰り返し実行する。
　図３（ｂ）のフローチャートは、解析指示・表示部１０６、データ解析部１０７およびデータ抽出部１０８における処理手順の一例を示している。
　解析指示・表示部１０６は、ステップＳＴ１１において、解析指示依頼があるか否かを判断する。この解析指示依頼は、指定時刻、解析対象指定、解析深さ、解析内容の情報と伴って行われる。
　解析指示依頼があると判断するとき、データ抽出部１０８は、ステップＳＴ１２において、指定時刻で指定された解析を行う時点、つまり第１の時点のスナップショットデータと、その前の時点、つまり第２の時点のスナップショットデータとを、データベース（snapshot）１０４から、解析対象指定および解析深さで決定される範囲で抽出する。
　次に、ステップＳＴ１３の処理およびステップＳＴ１５の処理のいずれかまたは双方に進む。解析内容で情報対象群および情報対象同士の関係性を解析対象とすることが示されている場合、データ解析部１０７は、ステップＳＴ１３において、２時点のスナップショットデータに基づいて情報対象群の変化および情報対象同士の関係性の変化を取得する。そして、データ解析部１０７は、ステップＳＴ１４において、ステップＳＴ１３で取得された変化に基づいて、情報対象群および情報対象同士の関係性の差異部分を抽出する。
　一方、解析内容で情報対象群を構成する各情報対象の所有データを解析対象とすることが示されている場合、データ解析部１０７は、ステップＳＴ１５において、２時点のスナップショットデータに基づいて情報対象群を構成する各情報対象の所有データの変化を取得する。そして、データ解析部１０７は、ステップＳＴ１６において、ステップＳＴ１５で取得された変化に基づいて、各情報対象の所有データの差異部分を抽出する。
　次に、解析指示・表示部１０６は、ステップＳＴ１７において、ステップＳＴ１４やステップＳＴ１６で抽出された差異部分に基づいて、解析対象（移動装置）の動作の発生原因候補を表示デバイス１０９に表示する。この場合、差異部分が強調されて、解析対象の周辺状況がグラフ表示される。
　ステップＳＴ１７の処理の後、ステップＳＴ１１の処理に戻り、解析指示・表示部１０６が次の解析指示依頼を待つ状態となる。
　「解析対象が自動運転車の場合の実施例」
　解析対象が自動運転車の場合の実施例を説明する。ここでは、自車（自動運転車）が右折する場面における通常ケースおよび異常ケースを例示する。
　通常ケースの一例について説明する。図４（ａ）は、対向車が進路上におり、かつ近接している場合を示している。この場合、自車（自動運転車）は、衝突警告状態にあって、停止状態にある。
　図５は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、自車、対向車、走行状態、交差点、横断歩道、目的地であるレストランはそれぞれ情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、対向車は自車に対して衝突警告対象「CollinsionWarningWith」の関係にある。また、走行状態（停止）は自車に対して属性「attributeOf」の関係にある。また、交差点は自車に対して進入場所「isRunningOn」の関係にある。また、交差点は対向車に対して進入場所「isRunningOn」の関係にある。また、横断歩道は交差点に対して次の経路部分「nextPathSegment」の関係にある。また、レストランは横断歩道に対して左側に存在「onLeftSide」の関係にある。
　図４（ｂ）は、対向車が通り過ぎ、衝突警告状態が解消されるのを待って右折をしている場合を示している。
　図６は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、自車、走行状態、交差点、横断歩道、目的地であるレストランは情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、走行状態（走行）は自車に対して属性「attributeOf」の関係にある。また、交差点は自車に対して進入場所「isRunningOn」の関係にある。また、横断歩道は交差点に対して次の経路部分「nextPathSegment」の関係にある。また、レストランは横断歩道に対して左側に存在「onLeftSide」の関係にある。
　次に、異常ケース（エラーケース）の一例について説明する。図７（ａ）は、交差点の対向車線側の路肩に故障車が存在する場合であって、自車（自動運転車）が交差点進入前で直線路を走行している状態にある場合を示している。
　図８は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、自車、走行状態、直線路、交差点、横断歩道、目的地であるレストランは情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、走行状態（走行）は自車に対して属性「attributeOf」の関係にある。また、直線路は自車に対して進入場所「isRunningOn」の関係にある。また、交差点は直線路に対して次の経路部分「nextPathSegment」の関係にある。また、横断歩道は交差点に対して次の経路部分「nextPathSegment」の関係にある。また、レストランは横断歩道に対して左側に存在「onLeftSide」の関係にある。
　図７（ｂ）は、交差点の対向車線側の路肩に故障車が存在する場合であって、自車が交差点進入後の場合を示している。この場合、故障者が対向車と誤判断されて、自車は、衝突警告状態にあって、停止状態にある。
　図９は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、自車、対向車、走行状態、交差点、横断歩道、目的地であるレストランはそれぞれ情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、対向車は自車に対して衝突警告対象「CollinsionWarningWith」の関係にある。また、走行状態（停止）は自車に対して属性「attributeOf」の関係にある。また、交差点は自車に対して進入場所「isRunningOn」の関係にある。また、交差点は対向車に対して進入場所「isRunningOn」の関係にある。また、横断歩道は交差点に対して次の経路部分「nextPathSegment」の関係にある。また、レストランは横断歩道に対して左側に存在「onLeftSide」の関係にある。
　この場合、図９に示すドメイン固有モデルに基づくデータ（第１の時点におけるデータ）においては、図８に示すドメイン固有モデルに基づくデータ（第２の時点におけるデータ）に対し、対向車の追加、対向車と自車の関係性の追加、対向車と交差点の関係性の追加、走行状態の所有データの変化、などが差異部分として抽出される。
　図１０は、指定時刻として第１の時点が指定された場合において、表示デバイス１０９に表示される、自車の動作（交差点での停止動作）の発生原因候補の表示例（ＵＩ表示例）を示している。この場合、自車の周辺状況がグラフ表示され、差異部分である、情報対象として追加された対向車と、所有データが変化した情報対象としての走行状態と、情報対象同士の関係性として追加された対向車と自車の関係性および対向車と交差点の関係性が、原因候補として強調表示されている。
　図示の例においては、情報対象の強調表示を、該当ノードを所定のパターンで塗りつぶすことで行っているが、この強調表示はこれに限定されるものではなく、例えば、該当ノードを所定の色で塗りつぶす、該当ノードの枠線を太くする、あるいは該当ノード内の文字を所定の色にする、などで行ってもよい。また、図示の例においては、情報対象同士の関係性の強調表示を、該当エッジを太線とすることで行っているが、この強調表示はこれに限定されるものではなく、例えば、該当エッジの線色を所定の色にする、該当エッジの線種を所定の線種にする、などで行ってもよい。また、これらの強調表示の仕方を、ユーザが任意に設定できるようにしてもよい。
　ユーザは、図１０に示す表示から、自車の動作（交差点での停止動作）の発生原因を特定することが可能となる。すなわち、この場合、ユーザは、対向車を検知し、その車が交差点に進入しており、衝突の危険ありと判断していること、を読み取ることができる。つまり、ユーザは、交差点の対向車線側の路肩に存在する故障車を対向車と誤検知していることが原因であると特定できる。
　なお、ユーザは、表示デバイス１０９に自車の周辺状況を示すグラフ表示と共に表示されるスライダーバーを用いて、現在時点から所定時間前の時点を指定時刻として設定することができる。これにより、ユーザは、スライダーバーを用いることで、自車の動作（交差点での停止動作）の発生時点である第１の時点を指定時刻として設定することを容易に行い得る。図示の例は、“０”は現在時点を示しており、１分前の時点が指定時刻として設定されている状態を示している。
　指定時刻の設定後に例えばユーザが図示しない表示ボタンを押圧することで、上述した解析等の一連の処理が行われて、指定時刻における自車の周辺状況のグラフ表示が、差異部分が強調された状態で実行される。この場合、指定時刻が自車の動作（交差点での停止動作）の発生時点に合っていなかった場合、指定時刻を順次変更していくことで、指定時刻を自車の動作（交差点での停止動作）の発生時点に合わせることができる。
　なお、上述ではユーザがスライダーバーを用いて現在時点から所定時間前の時点を指定時刻として設定するように説明した。しかし、指定時刻を設定することなく、継続的にリアルタイムに差異部分を強調表示し続ける構成例も考えられる。
　次に、異常ケース（エラーケース）の他の一例について説明する。図１１（ａ）は、横断歩道前で人が停止している場合であって、自車（自動運転車）が交差点進入前で直線路を走行している状態にある場合を示している。
　図１２は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、自車、走行状態、直線路、交差点、横断歩道、目的地であるレストランはそれぞれ情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、走行状態（走行）は自車に対して属性「attributeOf」の関係にある。また、直線路は自車に対して進入場所「isRunningOn」の関係にある。また、交差点は直線路に対して次の経路部分「nextPathSegment」の関係にある。また、横断歩道は交差点に対して次の経路部分「nextPathSegment」の関係にある。また、レストランは横断歩道に対して左側に存在「onLeftSide」の関係にある。
　図１１（ｂ）は、横断歩道前で人が停止している場合であって、自車が交差点進入後の場合を示している。この場合、横断歩道前で停止している人が横断歩道を渡っていると誤判断され、自車は、衝突警告状態にあって、停止状態にある。
　図１３は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、自車、人、走行状態、交差点、横断歩道、目的地であるレストランは情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、人は自車に対して衝突警告対象「CollinsionWarningWith」の関係にある。また、走行状態（停止）は自車に対して属性「attributeOf」の関係にある。また、交差点は自車に対して進入場所「isRunningOn」の関係にある。また、横断歩道は人に対して進入場所「isRunningOn」の関係にある。また、横断歩道は交差点に対して次の経路部分「nextPathSegment」の関係にある。また、レストランは横断歩道に対して左側に存在「onLeftSide」の関係にある。
　この場合、図１３に示すドメイン固有モデルに基づくデータ（第１の時点におけるデータ）においては、図１２に示すドメイン固有モデルに基づくデータ（第２の時点におけるデータ）に対し、人の追加、人と自車の関係性の追加、人と横断歩道の関係性の追加、走行状態の所有データの変化、などが差異部分として抽出される。
　図１４は、指定時刻として第１の時点が指定された場合において、表示デバイス１０９に表示される、自車の動作（交差点での停止動作）の発生原因候補の表示例（ＵＩ表示例）を示している。この場合、自車の周辺状況がグラフ表示され、差異部分である、情報対象として追加された人と、所有データが変化した情報対象としての走行状態と、情報対象同士の関係性として追加された人と自車の関係性および人と横断歩道の関係性が、原因候補として強調表示されている。
　ユーザは、図１４に示す表示から、自車の動作（交差点での停止動作）の発生原因を特定することが可能となる。すなわち、この場合、ユーザは、人を検知し、その人が横断歩道を渡っており、衝突の危険ありと判断していること、を読み取ることができる。つまり、ユーザは、横断歩道前で停止している人が横断歩道を渡っていると誤検知していることが原因であると特定できる。
　なお、ユーザは、表示デバイス１０９に自車の周辺状況を示すグラフ表示と共に表示されるスライダーバーを用いて、現在時点から所定時間前の時点を指定時刻として設定することができる。これにより、ユーザは、スライダーバーを用いることで、自車の動作（交差点での停止動作）の発生時点である第１の時点を指定時刻として設定することを容易に行い得る。図示の例は、“０”は現在時点を示しており、１分前の時点が指定時刻として設定されている状態を示している。
　「解析対象がロボットの場合の実施例」
　解析対象がロボットの場合の実施例を説明する。ここでは、ロボットの目的地への移動中における異常ケース（エラーケース）を例示する。
　図１５（ａ）は、障害物（壁）との距離が正常状態にある場合であって、ロボットが目的地までの移動経路のうちレーン１（Lane1）上を走行している状態にある場合を示している。
　図１６は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、ロボット、障害物、走行状態、センサＣ、位置、レーン１（Lane1）、レーン２（Lane2）、レーン３（Lane3）、レーン４（Lane4）はそれぞれ情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、障害物はロボットに対して非衝突警告対象「NotCollinsionWarningWith」の関係にある。また、走行状態（走行）はロボットに対して属性「attributeOf」の関係にある。また、センサＣはロボットが障害物との間の距離を取得・更新するための使用センサ「UsedSensor」の関係にある。例えば、センサＣとしては、ＬｉＤＡＲやｄｅｐｔｈカメラなどが想定される。
　また、位置はロボットがセンサＣのセンサ値を用いて算出した障害物に対するロボットの位置という関係にある。また、レーン１（Lane1）はロボットに対して進入場所「isRunningOn」の関係にある。また、レーン２（Lane２）はレーン１（Lane1）に対して次の経路部分「nextPathSegment」の関係にある。また、レーン３（Lane3）はレーン２（Lane2）に対して次の経路部分の関係にある。また、レーン４（Lane4）はレーン３（Lane3）に対して次の経路部分の関係にある。
　図１５（ｂ）は、障害物（壁）との距離が異常状態にある場合であって、ロボットが目的地までの移動経路のうちレーン１（Lane1）上で停止状態にある場合を示している。この場合、ロボットと障害物との間の距離が衝突する程度に極めて近いと誤判断されて（破線図示するロボット位置参照）、ロボットは、衝突警告状態にあって、停止状態にある。
　図１７は、この場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、ロボット、障害物、走行状態、センサＣ、位置、レーン１（Lane1）、レーン２（Lane2）、レーン３（Lane3）、レーン４（Lane4）はそれぞれ情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、障害物はロボットに対して衝突警告対象「CollinsionWarningWith」の関係にある。また、走行状態（停止）はロボットに対して属性「attributeOf」の関係にある。また、センサＣはロボットが障害物に対するロボットの位置を取得・更新するための使用センサ「UsedSensor」の関係にある。この場合、このセンサＣの所有データ（センサ値）は、図１６における場合と比べて大きく変化している。
　また、位置はロボットがセンサＣの値を用いて算出した障害物に対するロボットの位置という関係にある。この場合、この位置の所有データ（位置データ）は、図１６における場合と比べて大きく変化し、ロボットの位置として障害物との間の距離が衝突する程度に極めて近い位置を示すものとなっている。また、レーン１（Lane1）はロボットに対して進入場所「isRunningOn」の関係にある。また、レーン２（Lane２）はレーン１（Lane1）に対して次の経路部分「nextPathSegment」の関係にある。また、レーン３（Lane3）はレーン２（Lane2）に対して次の経路部分の関係にある。また、レーン４（Lane4）はレーン３（Lane3）に対して次の経路部分の関係にある。
　この場合、図１７に示すドメイン固有モデルに基づくデータ（第１の時点におけるデータ）においては、図１６に示すドメイン固有モデルに基づくデータ（第２の時点におけるデータ）に対し、走行状態、センサＣおよび位置の所有データの変化、障害物とロボットの関係性の変化、などが差異部分として抽出される。
　図１８は、指定時刻として第１の時点が指定された場合において、表示デバイス１０９に表示される、ロボットの動作（レーン１での停止動作）の発生原因候補の表示例（ＵＩ表示例）を示している。この場合、ロボットの周辺状況がグラフ表示され、差異部分である、所有データが変化した情報対象としての走行状態、センサＣおよび位置と、情報対象同士の関係性として変化した障害物とロボットの関係性が、原因候補として強調表示されている。
　ユーザは、図１８に示す表示から、ロボットの動作（レーン１での停止動作）の発生原因を特定することが可能となる。すなわち、この場合、ユーザは、センサＣのセンサ値が大きく変化し、その結果そのセンサ値に基づいて算出された障害物に対するロボットの位置が大きく変化して誤ったものとなり、衝突の危険ありと判断していることを読み取ることができる。これにより、ユーザは、センサＣのセンサ値の異常、従ってセンサＣの故障が原因であると特定できる。
　なお、ユーザは、表示デバイス１０９にロボットの周辺状況を示すグラフ表示と共に表示されるスライダーバーを用いて、現在時点から所定時間前の時点を指定時刻として設定することができる。これにより、ユーザは、スライダーバーを用いることで、ロボットの動作（レーン１での停止動作）の発生時点である第１の時点を指定時刻として設定することを容易に行い得る。図示の例は、“０”は現在時点を示しており、１分前の時点が指定時刻として設定されている状態を示している。
　「解析対象が複数である場合の実施例」
　次に、解析対象が複数である場合の実施例を説明する。例えば、複数の独立処理系でデータ・認識世界が構成される場合、複数視点で状況把握をしたいケースが想定される。
　例えば、図１９に示すように、目的地移動中のロボット１と、このロボット１を追尾するロボット２が存在する世界を考える。この場合、ロボット１からロボット２は認識できないものとする。
　この世界において、時点ｔ１で、図２０（ａ）に示すように、ロボット１が障害物（壁）に異常接近したとして停止し、また、時点ｔ２で、図２０（ｂ）に示すように、ロボット２の視界を遮るように人が入ってきて、ロボット２がロボット１をロストしたとする。
　図２１は、ロボット１の動作（レーン１での停止動作）の発生原因候補と、ロボット２の動作（ロボット１のロスト動作）の発生原因候補を、表示デバイス１０９に並列表示した例（ＵＩ表示例）を示している。
　ロボット１に関するＵＩ表示に関しては、解析対象としてロボット１が指定され、指定時刻は時点ｔ１とされて、時点ｔ１とその前の時点のドメイン固有モデルに基づいて差異部分が抽出され、その差異部分が強調されて、ロボット１の周辺状況がグラフ表示されている。
　ここで、ロボット１、障害物、走行状態、センサＣ、位置、レーン１（Lane1）はそれぞれ情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、障害物はロボットに対して衝突警告対象「CollinsionWarningWith」の関係にある。また、走行状態（停止）はロボットに対して属性「attributeOf」の関係にある。また、センサＣはロボットが障害物に対するロボットの位置を取得・更新するための使用センサ「UsedSensor」の関係にある。
　このロボット１に関するＵＩ表示においては、所有データが変化した情報対象としての走行状態、センサＣおよび位置と、情報対象同士の関係性として変化した障害物とロボットの関係性が、原因候補として強調表示されている。
　ユーザは、このＵＩ表示から、ロボット１の動作（レーン１での停止動作）の発生原因を特定することが可能となる。すなわち、この場合、ユーザは、センサＣのセンサ値が変化し、その結果そのセンサ値に基づいて算出された障害物に対するロボットの位置が変化して誤ったものとなり、衝突の危険ありと判断していること、を読み取ることができる。これにより、ユーザは、センサＣのセンサ値の異常、従ってセンサＣの故障が原因であると特定できる。
　なお、ユーザは、ロボット１の周辺状況を示すグラフ表示と共に表示されるスライダーバーを用いて、現在時点から所定時間前の時点を指定時刻として設定することができる。これにより、ユーザは、スライダーバーを用いることで、ロボット１の動作（レーン１での停止動作）の発生時点である時点ｔ１を指定時刻として設定することを容易に行い得る。図示の例は、“０”は現在時点を示しており、１分前の時点が指定時刻として設定されている状態を示している。
　ロボット２に関するＵＩ表示に関しては、解析対象としてロボット２が指定され、指定時刻は時点ｔ２とされて、時点ｔ２とその前の時点のドメイン固有モデルに基づいて差異部分が抽出され、その差異部分が強調されて、ロボット２の周辺状況がグラフ表示されている。
　ここで、ロボット１、ロボット２、走行状態、ロボット１に対するロボット２の位置１、人、人に対するロボット２の位置２はそれぞれ情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。
　この場合、ロボット１はロボット２に対してロスト「isLost」の関係にある。また、走行状態（停止）はロボット２に対して属性「attributeOf」の関係にある。位置１はロボット１に対するロボット２の位置という関係にある。人はロボット２に対して衝突警告対象「CollinsionWarningWith」の関係にある。位置２は人に対するロボット２の位置という関係にある。
　このロボット２に関するＵＩ表示においては、状態対象として追加された人および位置２と、情報対象同士の関係性として変化したロボット１とロボット２の関係性と、情報対象同期の関係性として追加された人とロボット２の関係性が、原因候補として強調表示されている。
　ユーザは、このＵＩ表示から、ロボット２の動作（ロボット１のロスト動作）の発生原因を特定することが可能となる。すなわち、この場合、ユーザは、ロボットの視界に人が入ってきて、衝突の危険ありと判断して停止したことから、ロボット１をロストしたと読み取ることができる。
　なお、ユーザは、ロボット２の周辺状況を示すグラフ表示と共に表示されるスライダーバーを用いて、現在時点から所定時間前の時点を指定時刻として設定することができる。これにより、ユーザは、スライダーバーを用いることで、ロボット２の動作（ロボット１のロスト動作）の発生時点である時点ｔ２を指定時刻として設定することを容易に行い得る。図示の例は、“０”は現在時点を示しており、２分前の時点が指定時刻として設定されている状態を示している。
　なお、上述では表示視点が２つの場合について説明したが、並列表示される視点は２つに限定されるものではなく、３つ以上とすることも同様に行い得るものである。
　「原因特定が解析深さに依存する実施例」
　次に、原因特定が解析深さに依存する場合の実施例を説明する。一般に、特定したい原因が近いところにあるとは限らない。複雑なドメイン固有モデルや規模の大きなデータを扱う場合に、全てのデータ差分を抽出するのは処理負荷、処理時間の問題からも現実的ではない。
　そのため、自動運転車やロボット等の解析対象を起点とする差分抽出範囲を設定することが考えられる。しかし、この差分抽出範囲を狭く設定しすぎると原因の特定ができないということも想定される。したがって、差分抽出範囲を適切に設定する必要がある。上述したように、ユーザは、解析指示依頼をする際に、差分抽出範囲を設定するための解析深さの指定が可能とされる。
　図２２は、自車（自動運転車）が目的地への移動中に、障害物が経路上に出現し通行不可であることを検出したために、最短経路から変更後経路に経路を変更するケースを示している。
　この場合、目的地までの最短経路を決定した時点では、その経路上に問題がなかったものとする。また、この場合、移動中に、経路上に障害物（落石）があることを外部入力データより検知されたものとする。つまり、ここでは、自車（自動運転車）のセンサ(カメラ、ＬｉＤＡＲ等)で直接取得不可な遠方位置に障害物が出現したものとする。また、この場合、変更後の経路で走行継続できるものとする。したがって、変更理由を通知しない限り、ユーザは、なぜ経路変更をしたかわからない。
　図２３は、最短経路決定時におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。ここで、自車、走行状態、直線路、交差点、横断歩道（右）、直線路、目的地は情報対象であってノードとして表示され、情報対象同士の関係性が破線図示するようにエッジとして表示されている。例えば、走行状態（走行）は自車に対して属性「attributeOf」の関係にあり、直線路は自車に対して進入場所「isRunningOn」の関係にある。
　図２４は、最短経路に問題があって経路変更した場合におけるドメイン固有モデルに基づくデータの一例をグラフ表示で示している。このドメイン固有モデルに基づくデータにおいては、破線枠Ｐ１で囲んで示すように、経路変更後の経路に対応した横断歩道（前）、直線路、交差点、横断歩道（右）などの情報対象が新たにノードとして追加されている。
　また、このドメイン固有モデルに基づくデータにおいては、破線枠Ｐ２で囲んで示すように、障害物（落石）の情報対象が新たにノードとして追加されると共に、この障害物（落石）が最短経路を構成する直線路上にある「isOn」ことを示す、その直線路と障害物（落石）の関係性がエッジとして追加されている。
　この場合、経路変更の原因を特定できるか否かは、ユーザが指定する解析深さに依存する。図２５は、ユーザが解析深さを「３」に指定した場合、つまり差分抽出範囲を自車からノード深さ３までにした場合を示している。破線枠Ｑ１で囲んだ範囲がこの場合の差分抽出範囲となる。この場合、ユーザは、最短経路の直線路上に障害物（石）があることは分からず、別経路が現れたことが分かるに留まる。
　図２６は、ユーザが解析深さを「４」に指定した場合、つまり差分抽出範囲を自車からノード深さ４までにした場合を示している。破線枠Ｑ２で囲んだ範囲がこの場合の差分抽出範囲となる。この場合、差分抽出範囲を広げたことで、ユーザは、最短経路の直線路上に障害物（石）があることが分かり、そのために別経路を選んだことが分かる。
　「ソフトウェアによる処理」
　上述の図３のフローチャートに示す処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
　図２７は、コンピュータ４００のハードウェア構成例を示すブロック図である。コンピュータ４００は、ＣＰＵ４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、バス４０４と、入出力インタフェース４０５と、入力部４０６と、出力部４０７と、記憶部４０８と、ドライブ４０９と、接続ポート４１０と、通信部４１１を有している。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
　ＣＰＵ４０１は、例えば、演算処理装置または制御装置として機能し、ＲＯＭ４０２、ＲＡＭ４０３、記憶部４０８、またはリムーバブル記録媒体５０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
　ＲＯＭ４０２は、ＣＰＵ４０１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ４０３には、例えば、ＣＰＵ４０１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的または永続的に格納される。
　ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３は、バス４０４を介して相互に接続される。一方、バス４０４には、インタフェース４０５を介して種々の構成要素が接続される。
　入力部４０６には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部４０６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
　出力部４０７には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
　記憶部４０８は、各種のデータを格納するための装置である。記憶部４０８としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等が用いられる。
　ドライブ４０９は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体５０１に記録された情報を読み出し、またはリムーバブル記録媒体５０１に情報を書き込む装置である。
　リムーバブル記録媒体５０１は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体５０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、または電子機器等であってもよい。
　接続ポート４１０は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）、ＲＳ－２３２Ｃポート、または光オーディオ端子等のような外部接続機器５０２を接続するためのポートである。外部接続機器５０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、またはＩＣレコーダ等である。
　通信部４１１は、ネットワーク５０３に接続するための通信デバイスであり、例えば、有線または無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデム等である。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　以上説明したように、図２に示す情報処理装置１００においては、第１の時点におけるドメイン固有モデルに基づくデータと、第１の時点より前の時点である第２の時点におけるドメイン固有モデルに基づくデータとの差異部分を抽出し、その差異部分に基づいて移動装置の動作の発生原因候補を表示するものである。そのため、移動装置の動作発生原因の特定を良好に行うことができる。この場合、既知世界、未知世界を問わずに移動装置の動作の発生原因候補を得ることができる。また、この場合、専用エラー解析機の準備不要による工数削減を図ることができる。
　また、図２に示す情報処理装置１００においては、ドメイン固有モデルに基づくデータが一定周期で順次取得されたスナップショットデータとして保持されるものである。そのため、第１の時点で取得されたスナップショットデータとその前の時点である第２の時点で取得されたスナップショットデータを用いて差異部分を抽出でき、処理を効率的に行うことが可能となる。
　また、図２に示す情報処理装置１００においては、解析範囲を制限する制限情報（解析深さや解析内容の情報）に基づき、差異部分を抽出する解析範囲を制限できるものである。そのため、必要のない範囲での解析を行うことを防止でき、処理負荷を軽減でき、これによりリアルタイム処理の実現も可能となる。また、解析範囲を順次深く・広く変更しての解析も可能となる。
　また、図２に示す情報処理装置１００においては、差異部分に基づいて移動装置の動作の発生原因候補を表示する際に、差異部分を強調して、移動装置の周辺状況をグラフ表示するものである。そのため、ユーザは、移動装置の周辺状況を容易に認識でき、強調された差異部分から当該移動装置の動作の発生原因候補の認識を容易に行うことができる。
　また、図２に示す情報処理装置１００においては、移動装置の周辺状況をグラフ表示する際に、第１の時点を設定するためのスライダーバーをさらに表示するものである。そのため、ユーザは、スライダーバーを用いて移動装置の動作の発生時点である第１の時点の設定を容易に行うことができる。
　また、図２に示す情報処理装置１００においては、複数の移動装置の動作の発生原因候補をそれぞれ独立して表示できる。つまり、解析対象を複数指定して、多視点化しての差分独立表示を行うことができる。そのため、ユーザは、複数の移動装置の動作の発生原因候補をそれぞれ独立して認識することが可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、移動装置が自動運転車やロボットである例を示したが、本技術は、その他の移動装置、例えばドローン等であっても、同様に適用できることは勿論である。
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、本技術は、以下のような構成を取ることもできる。
　（１）移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する保持部と、
　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する解析部と、
　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する表示部と、を備える
　情報処理装置。
　（２）前記保持部は、前記ドメイン固有モデルに基づくデータを一定周期で順次取得したスナップショットデータとして保持する
　前記（１）に記載の情報処理装置。
　（３）前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
　前記解析部は、少なくとも前記情報対象群の変化、前記情報対象同士の関係性の変化、あるいは前記情報対象群を構成する各情報対象の所有データの変化に基づいて前記差異部分を抽出する
　前記（１）または（２）に記載の情報処理装置。
　（４）前記解析部は、解析指示に基づいて、前記差異部分を抽出する処理を行う
　前記（１）から（３）のいずれかに記載の情報処理装置。
　（５）前記解析指示は、解析範囲を制限する制限情報を有する
　前記（４）に記載の情報処理装置。
　（６）前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
　前記制限情報は、前記移動装置からどの程度離れた情報対象までを解析対象とするかを示す解析深さ情報を含む
　前記（５）に記載の情報処理装置。
　（７）前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
　前記制限情報は、前記情報対象群、前記情報対象同士の関係性および前記情報対象群を構成する各情報対象の所有データのうちのどの内容を解析対象とするかを示す解析内容情報を含む
　前記（５）または（６）に記載の情報処理装置。
　（８）前記表示部は、前記差異部分を強調して、前記移動装置の周辺状況をグラフ表示する
　前記（１）から（７）のいずれかに記載の情報処理装置。
　（９）前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
　前記表示部は、前記移動装置の周辺状況に対応した各情報対象をノードとして表示し、前記情報対象同士の関係性をエッジとして表示する
　前記（８）に記載の情報処理装置。
　（１０）前記表示部は、前記第１の時点を設定するためのスライダーバーをさらに表示する
　前記（８）または（９）に記載の情報処理装置。
　（１１）前記表示部は、複数の前記移動装置の動作の発生原因候補をそれぞれ独立して表示する
　前記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）前記移動装置は、自動運転車、ドローンまたはロボットである
　前記（１）から（１１）のいずれかに記載の情報処理装置。
　（１３）移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する手順と、
　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する手順と、
　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する手順と、を有する
　情報処理方法。
　（１４）コンピュータを、
　移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する保持部と、
　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する解析部と、
　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する表示部と、して機能させる
　プログラム。
　１００・・・情報処理装置
　１０１・・・認識モジュール
　１０２・・・データベース管理部
　１０３・・・データベース（master）
　１０４・・・データベース（snapshot）
　１０５・・・スナップショットデータ出力部
　１０６・・・解析指示・表示部
　１０７・・・データ解析部
　１０８・・・データ抽出部
　１０９・・・表示デバイス

Claims (14)

  1. 　移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する保持部と、
    　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する解析部と、
    　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する表示部と、を備える
    　情報処理装置。
  2. 　前記保持部は、前記ドメイン固有モデルに基づくデータを一定周期で順次取得したスナップショットデータとして保持する
    　請求項１に記載の情報処理装置。
  3. 　前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
    　前記解析部は、少なくとも前記情報対象群の変化、前記情報対象同士の関係性の変化、あるいは前記情報対象群を構成する各情報対象の所有データの変化に基づいて前記差異部分を抽出する
    　請求項１に記載の情報処理装置。
  4. 　前記解析部は、解析指示に基づいて、前記差異部分を抽出する処理を行う
    　請求項１に記載の情報処理装置。
  5. 　前記解析指示は、解析範囲を制限する制限情報を有する
    　請求項４に記載の情報処理装置。
  6. 　前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
    　前記制限情報は、前記移動装置からどの程度離れた情報対象までを解析対象とするかを示す解析深さ情報を含む
    　請求項５に記載の情報処理装置。
  7. 　　前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
    　前記制限情報は、前記情報対象群、前記情報対象同士の関係性および前記情報対象群を構成する各情報対象の所有データのうちのどの内容を解析対象とするかを示す解析内容情報を含む
    　請求項５に記載の情報処理装置。
  8. 　前記表示部は、前記差異部分を強調して、前記移動装置の周辺状況をグラフ表示する
    　請求項１に記載の情報処理装置。
  9. 　前記ドメイン固有モデルに基づくデータは、前記移動装置の周辺環境を構成する前記移動装置を含む情報対象群と情報対象同士の関係性で構成されており、
    　前記表示部は、前記移動装置の周辺状況に対応した各情報対象をノードとして表示し、前記情報対象同士の関係性をエッジとして表示する
    　請求項８に記載の情報処理装置。
  10. 　前記表示部は、前記第１の時点を設定するためのスライダーバーをさらに表示する
    　請求項８に記載の情報処理装置。
  11. 　前記表示部は、複数の前記移動装置の動作の発生原因候補をそれぞれ独立して表示する
    　請求項１に記載の情報処理装置。
  12. 　前記移動装置は、自動運転車、ドローンまたはロボットである
    　請求項１に記載の情報処理装置。
  13. 　移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する手順と、
    　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する手順と、
    　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する手順と、を有する
    　情報処理方法。
  14. 　コンピュータを、
    　移動装置の周辺環境の認識結果であるドメイン固有モデルに基づくデータを保持する保持部と、
    　第１の時点における前記ドメイン固有モデルに基づくデータと、前記第１の時点より前の時点である第２の時点における前記ドメイン固有モデルに基づくデータとの差異部分を抽出する解析部と、
    　前記差異部分に基づいて前記移動装置の動作の発生原因候補を表示する表示部と、して機能させる
    　プログラム。
PCT/JP2022/001669 2021-03-12 2022-01-18 情報処理装置、情報処理方法およびプログラム WO2022190649A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021039839A JP2022139446A (ja) 2021-03-12 2021-03-12 情報処理装置、情報処理方法およびプログラム
JP2021-039839 2021-03-12

Publications (1)

Publication Number Publication Date
WO2022190649A1 true WO2022190649A1 (ja) 2022-09-15

Family

ID=83226575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001669 WO2022190649A1 (ja) 2021-03-12 2022-01-18 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2022139446A (ja)
WO (1) WO2022190649A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017072942A1 (ja) * 2015-10-30 2017-05-04 三菱電機株式会社 報知制御装置及び報知制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017072942A1 (ja) * 2015-10-30 2017-05-04 三菱電機株式会社 報知制御装置及び報知制御方法

Also Published As

Publication number Publication date
JP2022139446A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
JP6962926B2 (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
JP6744679B2 (ja) ヒューマンマシンハイブリッド意思決定方法および装置
JP7540338B2 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
KR20170087384A (ko) 청소로봇을 원격으로 제어하기 위한 원격 제어 장치, 제어 시스템 및 제어 방법
KR102629036B1 (ko) 로봇 및 그의 제어 방법
CN112585625A (zh) 将规则并入复杂的自动化决策中
KR102593662B1 (ko) 이동 로봇의 장애 상황 유형 별 판단 및 대처 방법 및 이를 위한 서버
KR20210057886A (ko) 차량 충돌 방지 장치 및 그 방법
CN112330915A (zh) 无人机森林防火预警方法、系统、电子设备和存储介质
JP2022548009A (ja) 物体移動システム
WO2023115927A1 (zh) 云端机器人的建图方法、系统、设备及存储介质
CN106782029A (zh) 室内地图生成方法及装置
CN106814734A (zh) 使用计算设备控制自主移动式设备的方法及系统
US20200377111A1 (en) Trainer system for use with driving automation systems
WO2021246169A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
Xue et al. Navigation system with SLAM-based trajectory topological map and reinforcement learning-based local planner
CN114047760A (zh) 路径规划方法、装置、电子设备及自动驾驶车辆
Markelic et al. The driving school system: Learning basic driving skills from a teacher in a real car
WO2022190649A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2024036984A1 (zh) 目标定位方法及相关系统、存储介质
KR20230134109A (ko) 청소 로봇 및 그의 태스크 수행 방법
JP2017220018A (ja) 情報処理装置、システム、情報処理方法及びプログラム
WO2022153669A1 (ja) 分散協調システム、及びタスク実行方法
WO2021187299A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP7476563B2 (ja) 物体追跡装置、物体追跡方法、及び物体追跡プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766617

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22766617

Country of ref document: EP

Kind code of ref document: A1