WO2019207749A1 - コンピュータシステム、移動体軌跡推測方法及びプログラム - Google Patents

コンピュータシステム、移動体軌跡推測方法及びプログラム Download PDF

Info

Publication number
WO2019207749A1
WO2019207749A1 PCT/JP2018/017129 JP2018017129W WO2019207749A1 WO 2019207749 A1 WO2019207749 A1 WO 2019207749A1 JP 2018017129 W JP2018017129 W JP 2018017129W WO 2019207749 A1 WO2019207749 A1 WO 2019207749A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving body
image
camera
trajectory
moving
Prior art date
Application number
PCT/JP2018/017129
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2018/017129 priority Critical patent/WO2019207749A1/ja
Publication of WO2019207749A1 publication Critical patent/WO2019207749A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles

Definitions

  • the present invention relates to a computer system, a moving object trajectory estimation method, and a program for estimating a trajectory that a moving object has moved.
  • Patent Document an apparatus for calculating a moving amount distribution of a moving body based on values of a vehicle speed, various sensors, and the like, and estimating a current position of the moving body on a map.
  • Patent Document 1 it is necessary to acquire necessary information from a sensor or the like provided on the moving body itself in order to estimate the position of the moving body. Therefore, when necessary information cannot be acquired from the mobile body itself, it is difficult to estimate the position of the mobile body.
  • An object of the present invention is to provide a computer system, a moving object trajectory estimation method, and a program capable of estimating a trajectory that the moving object has moved without acquiring information from the moving object itself.
  • the present invention provides the following solutions.
  • the present invention includes a plurality of photographing means for photographing an image of the moving body in a state where a photographing position for photographing the moving body is determined in advance. Recognizing means for performing image analysis on each photographed image and recognizing the same moving object, An estimation means for estimating a trajectory of movement of the moving body based on the imaging time of each image and the imaging position; A computer system is provided.
  • the shooting position for shooting the moving body is determined in advance, images of the moving body are shot, image analysis is performed on each shot image, the same moving body is recognized, Based on the shooting time and the shooting position of each of the images, the trajectory of the movement of the moving body is estimated.
  • the present invention is a category of a computer system, but also in other categories such as a method or a program, the same actions and effects according to the category are exhibited.
  • the present invention it is possible to provide a computer system, a mobile object trajectory estimation method, and a program capable of estimating the trajectory that the mobile object has moved without acquiring information from the mobile object itself.
  • FIG. 1 is a diagram showing an outline of a moving object trajectory estimation system 1.
  • FIG. 2 is an overall configuration diagram of the moving object trajectory estimation system 1.
  • FIG. 3 is a functional block diagram of the moving object trajectory estimation system 1.
  • FIG. 4 is a flowchart of the mobile body locus estimation process executed by the mobile body locus estimation system 1.
  • FIG. 5 is a flowchart of the mobile body locus estimation process executed by the mobile body locus estimation system 1.
  • FIG. 6 is a diagram illustrating an example schematically showing the first captured image.
  • FIG. 7 is a diagram illustrating an example schematically showing the second captured image.
  • FIG. 8 is a diagram illustrating an example schematically illustrating the estimated trajectory of the moving body.
  • FIG. 1 is a diagram for explaining an outline of a moving object trajectory estimation system 1 which is a preferred embodiment of the present invention.
  • the moving body trajectory estimation system 1 includes a computer 10, a first camera 100, and a second camera 200.
  • the computer 10 acquires a captured image such as a moving image or a still image captured by the first camera 100 and the second camera 200, and analyzes the acquired captured image to obtain a captured image. It is a computer system that estimates the locus of a moving object.
  • the moving object locus estimation system 1 may display the estimated locus of the moving object on a map. Further, the moving object trajectory estimation system 1 may recognize the type of the moving object shown in the captured image and infer the trajectory of the moving object according to this type.
  • the moving body trajectory estimation system 1 is a smartphone that can acquire current position information and can capture a captured image as an alternative to an imaging device fixed at a specific position, such as the first camera 100 and the second camera 200. Or a mobile terminal such as a mobile phone or a tablet terminal.
  • the number of the computer 10, the first camera 100, or the second camera 200 can be changed as appropriate.
  • the computer 10 is a computer device connected to the first camera 100 and the second camera 200 so as to be able to perform data communication via a network by wireless communication, wired communication, or the like.
  • the computer 10 acquires captured images taken by the first camera 100 and the second camera 200, analyzes the captured images, recognizes the moving object in the image, recognizes the type of the moving object, This is a computer device that estimates a trajectory and outputs the trajectory on a map.
  • the first camera 100 and the second camera 200 are connected to the computer 10 so as to be able to perform data communication, and are imaging devices that capture a captured image such as a moving image or a still image at a fixed position.
  • the first camera 100 and the second camera 200 output captured images captured by the first camera 100 and the second camera 200 to the computer 10.
  • the computer 10, the first camera 100, and the second camera 200 do not necessarily have to be configured so that each device executes the above-described processing.
  • the process which each apparatus mentioned above performs may be the structure which one of other apparatuses or several apparatuses perform.
  • Each process described below is not limited to the computer 10, the first camera 100, or the second camera 200, and may be executed by any one or a plurality of devices.
  • the first camera 100 and the second camera 200 capture a captured image such as a moving image or a still image.
  • the first camera 100 and the second camera 200 capture a captured image in a state where the capturing position is determined in advance.
  • the first camera 100 and the second camera 200 are installed in a state in which position information (latitude and longitude) indicating respective shooting positions is set.
  • the installer may set the position information of the installation location in the first camera 100 and the second camera 200, and the first camera 100 and the second camera 200 are GPS (Global Positioning System). It is also possible to acquire and store its own position information from, for example.
  • GPS Global Positioning System
  • the computer 10 acquires a captured image captured by the first camera 100 and the second camera 200 (step S02). At this time, in addition to the captured image, the computer 10 acquires each positional information, identifier (device ID, preset ID, etc.), and imaging time.
  • the computer 10 analyzes the acquired captured image (step S03). As a result of the image analysis, the computer 10 recognizes whether or not the same moving object exists in the captured image captured by the first camera 100 and the captured image captured by the second camera 200. At this time, the computer 10 recognizes the type of the moving object (person, bicycle, vehicle, etc.) reflected in these captured images and recognizes whether or not the same moving object is reflected in these captured images. .
  • the computer 10 estimates the trajectory of the moving object based on the imaging time and the imaging position of each captured image (step). S04).
  • the computer 10 may estimate the trajectory of the moving body according to the recognized moving body type in addition to the shooting time and shooting position of each captured image.
  • the computer 10 displays the estimated locus on the map (step S05).
  • the computer 10 may display one or a plurality of trajectories on the map as candidates according to the time difference.
  • the moving body locus estimation system 1 may be configured by the above-described portable terminal as an alternative to the first camera 100 and the second camera 200.
  • the portable terminal may be any device that can acquire the current position information from GPS or the like and has a function capable of capturing a captured image.
  • FIG. 2 is a diagram showing a system configuration of the moving object trajectory estimation system 1 which is a preferred embodiment of the present invention.
  • the moving body trajectory estimation system 1 includes a computer 10, a first camera 100, and a second camera 200. A captured image captured by the first camera 100 and the second camera 200 is transmitted to the computer via the public network 5 or the like.
  • the computer 10 executes the image analysis of the captured image, the recognition of the moving object reflected in the image, the recognition of the type of the moving object, the estimation of the locus of the moving object, the output of the locus on the map, and the like. System.
  • the number of the computer 10, the first camera 100, and the second camera 200 can be changed as appropriate.
  • a plurality of computers 10 may exist, and more cameras may exist in addition to the first camera 100 and the second camera 200.
  • the computer 10 is the above-described computer device or the like having the functions described later.
  • the first camera 100 and the second camera 200 are the above-described photographing apparatuses having functions to be described later.
  • FIG. 3 is a functional block diagram of the computer 10, the first camera 100, and the second camera 200.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12. For example, a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13. Further, the computer 10 includes, as the processing unit 14, a device that performs various processes such as image analysis, path estimation of a moving object, map display of a path, and various calculations.
  • the control unit 11 reads a predetermined program, thereby realizing the first imaging data reception module 20, the second imaging instruction transmission module 21, and the second imaging data reception module 22 in cooperation with the communication unit 12. To do. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing the storage module 30 in cooperation with the storage unit 13. In the computer 10, the control unit 11 reads a predetermined program, so that the image analysis module 40, the moving object information estimation module 41, the time difference estimation module 42, the trajectory estimation module 43, and the trajectory cooperate with the processing unit 14. A display module 44 is realized.
  • the first camera 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a device for enabling communication with other devices as the communication unit 120.
  • the first camera 100 includes a device that captures a captured image such as a moving image or a still image as the capturing unit 130.
  • the control unit 110 reads a predetermined program, thereby realizing the first imaging data transmission module 140 in cooperation with the communication unit 120. Further, in the first camera 100, the control unit 110 reads a predetermined program, thereby realizing the first photographing module 150 in cooperation with the photographing unit 130.
  • the second camera 200 includes a CPU, a RAM, a ROM, and the like as the control unit 210, a device for enabling communication with other devices as the communication unit 220, and a photographing unit 230.
  • a device for capturing a captured image such as a moving image or a still image.
  • the control unit 210 when the control unit 210 reads a predetermined program, the second imaging instruction receiving module 240 and the second imaging data transmission module 241 are realized in cooperation with the communication unit 220. In the second camera 200, the control unit 210 reads a predetermined program, thereby realizing the second imaging module 250 in cooperation with the imaging unit 230.
  • FIGS. 4 and 5 are flowcharts of the moving object locus estimation process executed by the computer 10, the first camera 100, and the second camera 200. The processing executed by the modules of each device described above will be described together with this processing.
  • the first camera 100 and the second camera 200 have a plurality of photographing means for photographing the moving body in a state where a photographing position for photographing the moving body (for example, a person, a bicycle, a vehicle) is set in advance. It corresponds to.
  • the first shooting module 150 takes a first shot image from the shooting position where the first shooting module 150 is installed (step S10).
  • the first imaging module 150 captures an image such as a moving image or a still image as a first captured image.
  • the first captured data transmission module 140 includes a captured first captured image, position information (the own latitude and longitude) that is the captured position, and an identifier (such as a device ID or an ID set in advance in the apparatus). And first shooting data including the shooting time when the first shot image was shot is transmitted to the computer 10 (step S11).
  • the position information included in the first imaging data is information set by the installer who installed the first camera 100 in the first camera 100, or information acquired by the first camera 100 from GPS or the like.
  • the identifier of itself is a specific character string that can identify one device.
  • the shooting time is the time (year / month / day / hour / minute / second) at which the first shooting module 150 shot the first shot image.
  • the first captured data transmission module 140 When capturing a still image as the first captured image, the first captured data transmission module 140 includes the time of the capturing timing as the capturing time in the first captured data. In addition, when shooting a moving image as the first shot image, the first shooting data transmission module 140 includes the time of transmission in the first shooting data as the shooting time.
  • the first shooting data receiving module 20 receives the first shooting data.
  • the computer 10 receives the first shooting data, and acquires the first shooting image shot by the first camera 100, the position information of the first camera 100, the identifier of the first camera 100, and the shooting time of the first shooting image. To do.
  • the image analysis module 40 performs image analysis on the first captured image (step S12). In step S ⁇ b> 12, the image analysis module 40 determines whether or not the moving object is reflected in the first captured image as image analysis, and recognizes the type of the moving object when the moving object is reflected. .
  • the image analysis module 40 performs image recognition as image analysis by extracting feature points (RGB values, shapes, etc.) and feature quantities (average of pixel values, variance, histogram, etc.) in the first captured image. As a result of the image analysis, the image analysis module 40 recognizes the color, shape, name (for example, manufacturer name, model), type of the moving object in the first captured image, and the type of the moving object is a bicycle or a vehicle. Various information such as the number of passengers and face recognition of the passengers is specified. For example, when the type of the moving body is a person, personal information such as a person's face modeling, hairstyle, clothes, height, etc. is specified.
  • the image analysis module 40 identifies various types of information necessary for identification even when the moving body is in other cases.
  • the image analysis module 40 determines whether the moving body is reflected in the first captured image as a result of the image analysis (step S13). In step S ⁇ b> 13, the image analysis module 40 performs this determination based on whether or not the moving body in the first captured image has been identified by the processing in step S ⁇ b> 12 described above. When the image analysis module 40 determines that the moving body is not reflected (NO in step S13), the moving body trajectory estimation system 1 ends this process. In this case, the moving body trajectory estimation system 1 may wait for the process until the first imaging data is received again.
  • the second imaging instruction transmission module 21 transmits an imaging instruction to the second camera 200 (step S13).
  • step S ⁇ b> 14 the second imaging instruction transmission module 21 specifies the second camera 200 that transmits the imaging instruction based on the identifier of the second camera 200 and transmits the imaging instruction to the specified second camera 200.
  • This photographing instruction means a command for photographing the second photographed image from the photographing position where the second camera 200 is installed.
  • the second shooting instruction transmission module 21 does not necessarily have to be configured to transmit a shooting instruction to the second camera 200.
  • the second captured image captured by the second camera 200 may be configured to be acquired from the time when the moving body is recognized in the first captured image, or at the same time as the first captured image is acquired.
  • the structure which also acquires a 2nd picked-up image may be sufficient.
  • the second shooting instruction receiving module 240 receives a shooting instruction. Based on this shooting instruction, the second shooting module 250 takes a second shot image from its own shooting position (step S15). In step S15, the second imaging module 250 captures an image such as a moving image or a still image as a second captured image.
  • the second captured data transmission module 241 includes a captured second captured image, position information (the latitude and longitude) of the captured position, and an identifier (such as a device ID or an ID set in advance in the apparatus). And second shooting data including the shooting time of shooting the second shot image is transmitted to the computer 10 (step S16).
  • the position information included in the second image data is information set by the installer who installed the second camera 200 in the second camera 200 or acquired by the second camera 200 from GPS or the like.
  • the identifier of itself is a specific character string that can identify one device.
  • the shooting time is the time at which the second shooting module 250 shots the second shot image.
  • the second captured data transmission module 241 When capturing a still image as the second captured image, the second captured data transmission module 241 includes the time of capturing timing as the capturing time in the second captured data. Further, when the moving image is captured as the second captured image, the second captured data transmission module 241 includes the transmission time in the second captured data as the capturing time.
  • the second shooting data receiving module 22 receives the second shooting data.
  • the computer 10 receives the second captured data, and acquires the second captured image captured by the second camera 200, the position information of the second camera 200, and the capturing time of the second captured image. Note that the identifier of the second camera 200 may be further acquired by receiving the second imaging data.
  • the image analysis module 40 performs image analysis on the second photographed image in the same manner as the processing in step S12 described above (step S17). In step S17, the image analysis module 40 performs the same process as the process of step S12 described above on the second captured image.
  • the image analysis module 40 determines whether or not the moving object is reflected in the second photographed image as a result of the image analysis, similarly to the processing in step S13 described above (step S18). In step S18, when the image analysis module 40 determines that the moving object is not reflected (NO in step S18), the computer 10 executes the process of step S14 described above again.
  • the image analysis module 40 determines that the moving body is reflected (YES in step S18)
  • the image analysis module 40 moves the moving body reflected in the first photographed image and the movement reflected in the second photographed image. It is determined whether or not the body is the same moving body (step S19).
  • the image analysis module 40 compares the feature points and feature quantities of the moving object extracted from the first photographed image with the feature points and feature quantities extracted from the second photographed image. It is determined whether or not there is.
  • the same moving body means that the moving body specified in the first captured image and the passenger of the moving body are the same as the moving body specified in the second captured image and the passenger of the moving body. To do.
  • step S19 when the image analysis module 40 determines that the moving object reflected in the first photographed image and the moving object reflected in the second photographed image are not the same moving object (NO in step S19), the computer. 10 executes again the process of step S14 described above.
  • step S10 may be executed. For example, the moving object reflected in the first photographed image even when the time required for the moving object to move between the first camera 100 and the second camera 200 greatly exceeds, When the same moving object is not reflected in the second captured image, it may be determined that the second camera 200 has not passed the capturing position, and this process may be terminated.
  • the term “excessively exceeded” here means that there is no traffic information that restricts the movement of a moving object such as an accident, traffic jam, or construction on the movement path between the first camera 100 and the second camera 200. This means that the time required for the mobile body to pass through this route in a normal state exceeds 30 minutes, 1 hour, 2 hours, etc.
  • the time used for general breaks is not limited to this. It may be configured to determine whether or not the time is significantly exceeded after taking into account the predetermined time described above.
  • step S19 when the image analysis module 40 determines in step S19 that the moving object reflected in the first captured image and the moving object reflected in the second captured image are the same moving object (YES in step S19).
  • the moving body information estimation module 41 estimates moving body information indicating the traveling direction and speed of the moving body (step S20).
  • step S20 the moving body information estimation module 41 determines the traveling direction of the moving body based on the state of the moving body reflected in the first captured image and the state of the moving body reflected in the second captured image. Infer.
  • the state is, for example, the direction of the face or body direction in each captured image when the type of the moving body is a person, and the front wheel in each captured image when the type of the moving body is a bicycle.
  • the moving body information estimation module 41 determines a direction from the first camera 100 that has captured the first captured image to the second camera 200 that has captured the second captured image, or the opposite direction, as an estimation of the traveling direction of the moving body. Estimate the traveling direction of the moving body.
  • the moving body information estimation module 41 changes the traveling direction of the person from the first captured image to the second captured image. Presumes that it is the direction of the image.
  • the moving body information estimation module 41 shows only the rear wheel in the first captured image and only the front wheel in the second captured image. It is estimated that the direction is the direction from the first captured image to the second captured image.
  • the moving body information estimation module 41 proceeds only when the rear portion is reflected in the first captured image and the front portion is reflected in the second captured image. It is estimated that the direction is the direction from the first captured image to the second captured image.
  • the moving body information estimation module 41 estimates the traveling direction based on the state of the moving body reflected in the first captured image and the state of the moving body reflected in the second captured image.
  • the above-described example is merely an example, and it is sufficient that the state of the moving body is capable of estimating the traveling direction.
  • the moving body information estimation module 41 estimates the speed of the moving body according to the type of the moving body. For example, when the type of the moving body is a person, the speed is estimated as an average of 4 km / h, and when the type of the moving body is a bicycle, the speed is estimated as an average of 20 km / h. When the body type is a vehicle, the speed is estimated as an average of 30 km / h. Note that the moving body information estimation module 41 may estimate the speed of the moving body after considering the speed of the moving body in consideration of traffic data relating to the moving route on which the first camera 100 and the second camera 200 are installed. Good.
  • the traffic data is data that can be a factor that delays the speed of a moving object such as an accident or a traffic jam on the moving route.
  • the computer 10 obtains the traffic data from an external device, and estimates the speed of the moving object in consideration of the traffic data when the type of the moving object is affected by the traffic data. . Moreover, since the speed of a moving body is an example, it can be changed suitably.
  • FIG. 6 is a diagram schematically showing the first photographed image 300.
  • FIG. 7 is a diagram schematically showing the second photographed image 400.
  • the image analysis module 40 recognizes the type of the moving body 310 reflected in the first captured image 300.
  • the image analysis module 40 recognizes the type of the moving body 410 reflected in the second captured image 400.
  • the image analysis module 40 recognizes that the type of the moving body 310 is a vehicle by the processes in steps S ⁇ b> 12 and S ⁇ b> 13 described above.
  • the image analysis module 40 recognizes that the moving object 410 reflected in the second captured image 400 is the same moving object as the moving object 310 reflected in the first captured image 300.
  • the image analysis module 40 recognizes that the moving body 410 is the same moving body as the moving body 310 by the processes in steps S ⁇ b> 17 to S ⁇ b> 19 described above.
  • the moving body information estimation module 41 recognizes the state of the moving body 310 reflected in the first captured image 300. Further, the moving body information estimation module 41 recognizes the state of the moving body 410 reflected in the second captured image 400. In the mobile object information estimation module 41, the front part of the mobile object 310 is reflected in the first captured image 300, and in addition, the front part of the mobile object 410 is reflected in the second captured image 400. Since the front direction of the moving body 310 is the same as the front direction of the moving body 410, the actual moving direction of the moving body is the shooting position of the second camera 200 from the shooting position of the first camera 100. I guess that is the direction. The mobile body information estimation module 41 estimates mobile body information based on the speed based on the recognized type of mobile body and the estimated traveling direction of the mobile body.
  • the moving body information may be estimated based on the estimated moving body speed and the traveling direction of the moving body after estimating the speed of the moving body in consideration of traffic data.
  • the time difference estimation module 42 is based on the first shooting data and the second shooting data, the time when the first camera 100 has shot the first shooting image, and the time when the second camera 200 has shot the second shooting image.
  • the time difference between is estimated (step S21).
  • the time difference estimation module 42 estimates a difference between the shooting time included in the first shooting data and the shooting time included in the second shooting data as a time difference. For example, in the time difference estimation module 42, the time when the first shooting module 150 has shot the first shot image is “10:10:00”, and the second shooting module 250 has shot the second shot image. Is “10:10:18”, the time difference is estimated as “18 seconds”.
  • the trajectory estimation module 43 is based on the position information of the first camera 100 in the first shooting data and the position information of the second camera 200 in the second shooting data, and the shooting target positions of the first camera 100 and the second camera 200. Is specified on the map (step S22). In step S ⁇ b> 22, the trajectory estimation module 43 specifies the latitude and longitude of the first camera 100 based on the position information included in the first shooting data, and uses the latitude and longitude on the map data stored in advance in the storage module 30. By referencing, the location of the first camera 100 is specified on the map.
  • the trajectory estimation module 43 specifies the latitude and longitude of the second camera 200 based on the position information included in the second image data, and refers to the latitude and longitude on the map data described above, thereby Above, the location of the second camera 200 is specified. In addition, the trajectory estimation module 43 specifies each shooting target position on the map based on the direction in which the first camera 100 is installed and the direction in which the second camera 200 is installed.
  • the trajectory estimation module 43 is located between the first camera 100 and the second camera 200 based on the location of the first camera 100 and the location of the second camera 200, the estimated time difference, and the estimated speed of the moving body.
  • a trajectory on which the moving body has moved is estimated (step S23).
  • the trajectory estimation module 43 estimates the movement path between the location of the first camera 100 and the location of the second camera 200 identified on the map as a trajectory. Specifically, the locus of movement of the moving body is estimated based on the linear distance between the first camera 100 and the second camera 200, the estimated time difference, and the estimated speed.
  • the trajectory estimation module 43 calculates the linear distance between the first camera 100 and the second camera 200 from the latitude and longitude.
  • the time difference and the speed of the moving object are estimated by the above-described processing.
  • FIG. 8 is a diagram schematically showing the trajectory of the moving object estimated by the trajectory estimation module 43.
  • the positions of the first camera 100 and the second camera 200 are schematically displayed on a map 500, and the shooting target position 510 of the first camera 100 and the shooting target position 520 of the second camera 200 are respectively displayed. Display schematically.
  • the trajectory estimation module 43 estimates a movement route existing between the shooting target position 510 and the shooting target position 520 from the map data. In FIG. 8, the trajectory estimation module 43 estimates two movement paths, movement paths 530 and 540. Next, the trajectory estimation module 43 estimates the distances of the movement paths 530 and 540 based on the map data. In the present embodiment, it is assumed that the distance of the movement route 530 is 1.5 km and the distance of the movement route 540 is 3.2 km. The trajectory estimation module 43 estimates the moving path on which the moving body has moved based on the estimated speed of the moving body, the estimated time difference, and the distance of each moving path.
  • the trajectory estimation module 43 estimates the number of seconds when moving along each moving route. That is, the trajectory estimation module 43 estimates the time required for the moving object to move between the imaging target position 510 and the imaging target position 520 by dividing the distance of each movement path by the speed. For example, when the moving body moves on the moving path 530, a time of 18 seconds is estimated as a result of dividing 1.5 km by 30/360. Further, when the moving body moves on the moving path 540, a time of 38 seconds is estimated as a result of dividing 3.2 km by 30/360.
  • the trajectory estimation module 43 determines a moving path in which the time required for the moving object to move along each moving path and the time difference between the actual shooting times match or approximate (several seconds before and after, within 10 seconds, etc.). This is estimated as a trajectory of the moving body.
  • the trajectory estimation module 43 has a time required for the moving body to move the moving body 530 is 18 seconds, and a time required to move the moving body 540 is 38 seconds, Since the actual time difference is 18 seconds, the movement route 530 is estimated as a trajectory as a movement route that matches or approximates the time difference of the actual photographing time.
  • the trajectory estimation module 43 determines the two movement paths 530 and 540. You may guess. This may be because the speed of the moving body is not necessarily the average speed, when stopping or stopping, or when there is a delay from normal movement due to the traffic information described above. In consideration of these, the travel route may be estimated.
  • the positions of the first camera 100 and the second camera 200 and the shooting target positions 510 and 520 are displayed on the map 500, but it is not always necessary to display them.
  • the trajectory display module 44 displays the estimated trajectory on the map (step S24).
  • the trajectory display module 44 displays a map on the display unit and also displays an estimated trajectory on the map.
  • the trajectory of the moving body displayed by the trajectory display module 44 will be described with reference to FIG. In FIG. 8, the movement path 530 which is the locus of the moving body estimated this time is displayed as a solid line. In addition, although not estimated this time, a moving path 540 that may be a trajectory of the moving object is displayed as a dotted line. In this way, when a plurality of movement routes are conceivable, the trajectory display module 44 displays the most likely moving route candidates and the other moving route candidates in different display modes. At this time, the trajectory display module 44 may display the most likely moving route candidate by highlighting or other methods. In this case, the trajectory display module 44 may be configured to display in a display mode in which it is possible to determine the most likely travel route candidate and the other travel routes.
  • the trajectory display module 44 displays a plurality of trajectories on the map, but only one trajectory may be displayed on the map. In this case, the above-described most likely trajectory candidates may be displayed. Further, the trajectory display module 44 may change the number of displayed trajectories by receiving input from the user and the like. For example, when the user performs an input that desires to display only one trajectory, only the most likely trajectory may be displayed, or when an input that desires to display a plurality of trajectories is performed, the number You may display the locus
  • the map and the trajectory may be output and displayed on another terminal device (not shown).
  • the computer 10 outputs data relating to the map and the trajectory to the other terminal device.
  • Other terminal devices may be configured to acquire this data and display it on its own display unit or the like.
  • the first camera 100 and the second camera 200 capture a captured image in a state where the capturing position is determined in advance.
  • a portable terminal having a movable photographing device may be used.
  • the portable terminal may acquire its own position information from the GPS or the like, and include the acquired position information in the first shooting data and the second shooting data.
  • Other processing may be executed in the same manner as the processing described above.
  • each process described above does not necessarily have to be executed by a single piece of hardware.
  • a configuration in which each process described above is executed by any one or a plurality of the computer 10, the first camera 100, and the second camera 200 may be employed.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in a form (SaaS: Software as a Service) provided from a computer via a network.
  • the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】移動体自身から情報を取得せずとも、この移動体が移動した軌跡を推測することが可能なコンピュータシステム、移動体軌跡推測方法及びプログラムを提供することを目的とする。 【解決手段】コンピュータシステムは、移動体を撮影する撮影位置が予め決定された状態で、当該移動体の画像を撮影し、撮影した各々の画像に対して画像解析を行い、同じ移動体を認識し、前記各々の画像の撮影時間と、撮影位置とに基づいて、前記移動体が移動した軌跡を推測する。また、コンピュータシステムは、推測した移動体が移動した軌跡を地図上に表示してもよい。また、コンピュータシステムは、移動体の種類を認識し、この移動体の種類に応じて、この移動体が移動した軌跡を推測する。また、現在の位置情報を取得できる携帯型端末が画像を撮影してもよい。

Description

コンピュータシステム、移動体軌跡推測方法及びプログラム
　本発明は、移動体が移動した軌跡を推測するコンピュータシステム、移動体軌跡推測方法及びプログラムに関する。
　従来、移動体の位置を検知するコンピュータシステムにおいて、移動体に設けたセンサや移動体から取得した位置情報及び地図データ等を利用することにより、この移動体が移動した軌跡を地図上に表示する技術が提案されている。
　このような技術の一例として、車速、各種センサ等の値に基づいて、移動体の移動量分布を算出し、地図上における現在の移動体の位置を推測する装置が提案されている（特許文献１参照）。
特開２０１２－２３３８０１号公報
　しかしながら、特許文献１の構成では、移動体の位置を推測するために、移動体自身に設けたセンサ等から必要な情報を取得することが必要であった。そのため、移動体自身から必要な情報を取得できない場合、移動体の位置を推測することは困難であった。
　本発明の目的は、移動体自身から情報を取得せずとも、この移動体が移動した軌跡を推測することが可能なコンピュータシステム、移動体軌跡推測方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　本発明は、移動体を撮影する撮影位置が予め決定された状態で、当該移動体の画像を撮影する複数の撮影手段と、
　撮影した各々の画像に対して画像解析を行い、同じ移動体を認識する認識手段と、
　前記各々の画像の撮影時間と、撮影位置とに基づいて、前記移動体が移動した軌跡を推測する推測手段と、
　を備えることを特徴とするコンピュータシステムを提供する。
　本発明によれば、移動体を撮影する撮影位置が予め決定された状態で、当該移動体の画像を撮影し、撮影した各々の画像に対して画像解析を行い、同じ移動体を認識し、前記各々の画像の撮影時間と、撮影位置とに基づいて、前記移動体が移動した軌跡を推測する。
　ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　本発明によれば、移動体自身から情報を取得せずとも、この移動体が移動した軌跡を推測することが可能なコンピュータシステム、移動体軌跡推測方法及びプログラムを提供することが可能となる。
図１は、移動体軌跡推測システム１の概要を示す図である。 図２は、移動体軌跡推測システム１の全体構成図である。 図３は、移動体軌跡推測システム１の機能ブロック図である。 図４は、移動体軌跡推測システム１が実行する移動体軌跡推測処理のフローチャートである。 図５は、移動体軌跡推測システム１が実行する移動体軌跡推測処理のフローチャートである。 図６は、第一撮影画像を模式的に示す一例を示す図である。 図７は、第二撮影画像を模式的に示す一例を示す図である。 図８は、推測した移動体の軌跡を模式的に示す一例を示す図である。
　以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［移動体軌跡推測システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である移動体軌跡推測システム１の概要を説明するための図である。移動体軌跡推測システム１は、コンピュータ１０、第一カメラ１００、第二カメラ２００から構成される。移動体軌跡推測システム１は、コンピュータ１０が、第一カメラ１００及び第二カメラ２００が撮影した動画や静止画等の撮影画像を取得し、取得した撮影画像を画像解析することにより、撮影画像に写り込んだ移動体の軌跡を推測するコンピュータシステムである。
　なお、移動体軌跡推測システム１は、推測した移動体の軌跡を地図上に表示してもよい。また、移動体軌跡推測システム１は、撮影画像に写り込んだ移動体の種類を認識し、この種類に応じて、移動体の軌跡を推測してもよい。また、移動体軌跡推測システム１は、第一カメラ１００及び第二カメラ２００のような特定の位置に固定された撮影装置の代替として、現在の位置情報を取得可能かつ撮影画像を撮影可能なスマートフォンや携帯電話やタブレット端末等の携帯型端末により構成されてもよい。
　また、移動体軌跡推測システム１において、コンピュータ１０、第一カメラ１００又は第二カメラ２００の数は、適宜変更可能である。例えば、移動体軌跡推測システム１を構成するコンピュータ１０は、複数であってもよい。また、移動体軌跡推測システム１を構成する第一カメラ１００及び第二カメラ２００に加えて、更に一又は複数のカメラや上述した携帯型端末を備えていてもよい。
　コンピュータ１０は、無線通信、有線通信等により、ネットワークを介して、第一カメラ１００及び第二カメラ２００とデータ通信可能に接続されたコンピュータ装置である。コンピュータ１０は、第一カメラ１００及び第二カメラ２００が撮影した撮影画像の取得、この撮影画像の画像解析、画像に写り込んだ移動体の認識、この移動体の種類の認識、この移動体の軌跡の推測、この軌跡を地図上に出力等を実行するコンピュータ装置である。
　第一カメラ１００及び第二カメラ２００は、コンピュータ１０とデータ通信可能に接続され、予め固定された位置で、動画や静止画等の撮影画像を撮影する撮影装置である。第一カメラ１００及び第二カメラ２００は、其々が撮影した撮影画像を、コンピュータ１０に出力する。
　なお、コンピュータ１０、第一カメラ１００及び第二カメラ２００は、上述した処理を各装置が必ずしも実行する構成でなくてもよい。例えば、上述した各装置が実行する処理を、それ以外の装置の何れか又は複数の装置が実行する構成であってもよい。
　移動体軌跡推測システム１が実行する移動体軌跡推測処理の概要について説明する。
　なお、後述する各処理は、コンピュータ１０、第一カメラ１００又は第二カメラ２００の何れかに限らず、何れか又は複数の装置により実行されてもよい。
　はじめに、第一カメラ１００と第二カメラ２００とが動画や静止画等の撮影画像を撮影する。（ステップＳ０１）。ここで、第一カメラ１００と第二カメラ２００とは、撮影位置が予め決定された状態で、撮影画像を撮影する。例えば、第一カメラ１００と第二カメラ２００とは、其々の撮影位置を示す位置情報（緯度及び経度）が其々設定された状態で、設置されたものである。其々の位置情報は、設置者が設置場所の位置情報を、第一カメラ１００及び第二カメラ２００に設定してもよいし、第一カメラ１００及び第二カメラ２００がＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）等から自身の位置情報を取得し記憶してもよい。
　コンピュータ１０は、第一カメラ１００と第二カメラ２００とが撮影した撮影画像を取得する（ステップＳ０２）。このとき、コンピュータ１０は、撮影画像に加えて、其々の位置情報、識別子（機器ＩＤや予め設定されＩＤ等）、撮影時間を合わせて取得する。
　コンピュータ１０は、取得した撮影画像を画像解析する（ステップＳ０３）。コンピュータ１０は、画像解析の結果、第一カメラ１００が撮影した撮影画像と、第二カメラ２００が撮影した撮影画像とに同じ移動体の存在の有無を認識する。このとき、コンピュータ１０は、これらの撮影画像に写り込んだ移動体の種類（人、自転車、車両等）を認識するとともに、これらの撮影画像に同じ移動体が写り込んでいるか否かを認識する。
　コンピュータ１０は、画像解析の結果、これらの撮影画像に同じ移動体が写り込んでいる場合、各撮影画像の撮影時間と、撮影位置とに基づいて、移動体が移動した軌跡を推測する（ステップＳ０４）。ここで、コンピュータ１０は、各撮影画像の撮影時間と、撮影位置に加えて、認識した移動体の種類に応じて、移動体が移動した軌跡を推測してもよい。
　コンピュータ１０は、推測した軌跡を地図上に表示する（ステップＳ０５）。ここで、コンピュータ１０は、複数の軌跡を推測した場合、時間差に応じて、一又は複数の軌跡を候補として地図上に表示してもよい。
　なお、移動体軌跡推測システム１は、第一カメラ１００及び第二カメラ２００の代替として、上述した携帯型端末により構成されていてもよい。この場合、携帯型端末は、現在の位置情報をＧＰＳ等から取得可能であり、撮影画像を撮影可能な機能を有した装置であればよい。
　以上が、移動体軌跡推測システム１の概要である。
　［移動体軌跡推測システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である移動体軌跡推測システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である移動体軌跡推測システム１のシステム構成を示す図である。移動体軌跡推測システム１は、コンピュータ１０、第一カメラ１００、第二カメラ２００から構成され、第一カメラ１００及び第二カメラ２００が撮影した撮影画像を、公衆回線網５等を介して、コンピュータ１０が取得し、この撮影画像の画像解析、画像に写り込んだ移動体の認識、この移動体の種類の認識、この移動体の軌跡の推測、この軌跡を地図上に出力等を実行するコンピュータシステムである。
　なお、移動体軌跡推測システム１において、コンピュータ１０、第一カメラ１００及び第二カメラ２００は、その数が、適宜変更可能である。例えば、移動体軌跡推測システム１において、コンピュータ１０が、複数存在していてもよいし、第一カメラ１００及び第二カメラ２００に加えて、更に多くのカメラが存在していてもよい。
　コンピュータ１０は、後述の機能を備えた上述したコンピュータ装置等である。
　第一カメラ１００及び第二カメラ２００は、後述の機能を備えた上述した撮影装置である。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である移動体軌跡推測システム１の機能について説明する。図３は、コンピュータ１０、第一カメラ１００及び第二カメラ２００の機能ブロック図を示す図である。
　コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部１４として、画像解析、移動体の軌跡推測、軌跡の地図表示、各種計算等の各種処理を実行するデバイス等を備える。
　コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、第一撮影データ受信モジュール２０、第二撮影指示送信モジュール２１、第二撮影データ受信モジュール２２を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、画像解析モジュール４０、移動体情報推測モジュール４１、時間差推測モジュール４２、軌跡推測モジュール４３、軌跡表示モジュール４４を実現する。
　第一カメラ１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイスを備える。また、第一カメラ１００は、撮影部１３０として、動画や静止画等の撮影画像を撮影するデバイス等を備える。
　第一カメラ１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、第一撮影データ送信モジュール１４０を実現する。また、第一カメラ１００において、制御部１１０が所定のプログラムを読み込むことにより、撮影部１３０と協働して、第一撮影モジュール１５０を実現する。
　第二カメラ２００は、第一カメラ１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイスを備え、撮影部２３０として、動画や静止画等の撮影画像を撮影するデバイス等を備える。
　第二カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、第二撮影指示受信モジュール２４０、第二撮影データ送信モジュール２４１を実現する。また、第二カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、撮影部２３０と協働して、第二撮影モジュール２５０を実現する。
　［移動体軌跡推測処理］
　図４及び図５に基づいて、移動体軌跡推測システム１が実行する移動体軌跡推測処理について説明する。図４及び図５は、コンピュータ１０、第一カメラ１００及び第二カメラ２００が実行する移動体軌跡推測処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　以下の説明において、第一カメラ１００及び第二カメラ２００は、移動体（例えば、人、自転車、車両）を撮影する撮影位置が予め設定された状態で、この移動体を撮影する複数の撮影手段に該当する。
　はじめに、第一撮影モジュール１５０は、自身が設置された撮影位置から第一撮影画像を撮影する（ステップＳ１０）。ステップＳ１０において、第一撮影モジュール１５０は、動画や静止画等の画像を、第一撮影画像として撮影する。
　第一撮影データ送信モジュール１４０は、撮影した第一撮影画像と、自身の撮影位置である位置情報（自身の緯度及び経度）と、自身の識別子（機器ＩＤや予め装置に設定されたＩＤ等）と、この第一撮影画像を撮影した撮影時間とを含む第一撮影データを、コンピュータ１０に送信する（ステップＳ１１）。ステップＳ１１において、第一撮影データに含まれる位置情報は、第一カメラ１００を設置した設置者がこの第一カメラ１００に設定したものや、第一カメラ１００がＧＰＳ等から取得したものである。また、自身の識別子は、一の装置を特定可能な特定の文字列である。また、撮影時間は、第一撮影モジュール１５０が、第一撮影画像を撮影した時点における時刻（年月日時分秒）である。第一撮影データ送信モジュール１４０は、静止画を第一撮影画像として撮影する場合、撮影したタイミングの時刻を撮影時間として第一撮影データに含める。また、第一撮影データ送信モジュール１４０は、動画を第一撮影画像として撮影する場合、送信時の時刻を撮影時間として第一撮影データに含める。
　第一撮影データ受信モジュール２０は、第一撮影データを受信する。コンピュータ１０は、第一撮影データを受信することにより、第一カメラ１００が撮影した第一撮影画像、第一カメラ１００の位置情報、第一カメラ１００の識別子及び第一撮影画像の撮影時間を取得する。
　画像解析モジュール４０は、第一撮影画像に対して、画像解析を実行する（ステップＳ１２）。ステップＳ１２において、画像解析モジュール４０は、画像解析として、第一撮影画像に、移動体が写り込んでいるか否かを判断し、移動体が写り込んでいる場合、この移動体の種類を認識する。
　画像解析モジュール４０は、画像解析として、第一撮影画像における特徴点（ＲＧＢ値、形状等）や特徴量（画素値の平均、分散、ヒストグラム等）を抽出することによる画像認識を実行する。画像解析モジュール４０は、画像解析の結果として、第一撮影画像における移動体の色、形状、名称（例えば、メーカ名、型式）、種類の認識、移動体の種類が自転車や車両である場合における搭乗者の人数、この搭乗者の顔認識等の各種情報を特定する。例えば、移動体の種類が人である場合、この人の顔の造形、髪型、服装、身長等の個人情報を特定する。また、移動体の種類が自転車である場合、この自転車の搭乗者の個人情報、自転車の色、形状、メーカ名、名称、型式等を特定する。また、移動体が車両である場合、この車両の搭乗者の個人情報、車両の色、形状、ボディタイプ、メーカ名、名称、型式等を特定する。画像解析モジュール４０は、移動体がその他の場合であっても、特定に必要な各種情報を特定する。
　画像解析モジュール４０は、画像解析の結果、第一撮影画像に移動体が写り込んでいるか否かを判断する（ステップＳ１３）。ステップＳ１３において、画像解析モジュール４０は、上述したステップＳ１２の処理により、第一撮影画像における移動体を特定できたか否かに基づいて、この判断を実行する。画像解析モジュール４０は、移動体が写り込んでいないと判断した場合（ステップＳ１３　ＮＯ）、移動体軌跡推測システム１は、本処理を終了する。なお、移動体軌跡推測システム１は、この場合に、再度、第一撮影データを受信するまで処理を待機していてもよい。
　一方、ステップＳ１３において、画像解析モジュール４０は、移動体が写り込んでいると判断した場合（ステップＳ１３　ＹＥＳ）、第二撮影指示送信モジュール２１は、第二カメラ２００に撮影指示を送信する（ステップＳ１４）。ステップＳ１４において、第二撮影指示送信モジュール２１は、撮影指示を送信する第二カメラ２００を、この第二カメラ２００の識別子等に基づいて特定し、特定した第二カメラ２００に撮影指示を送信する。この撮影指示は、第二カメラ２００が設置された撮影位置から第二撮影画像を撮影させるコマンドを意味する。
　なお、第二撮影指示送信モジュール２１は、必ずしも撮影指示を第二カメラ２００に送信する構成でなくてもよい。この場合、第二カメラ２００が撮影する第二撮影画像を、第一撮影画像に移動体を認識した時点から、取得する構成であってもよいし、第一撮影画像を取得するのと同時に、第二撮影画像も取得する構成であってもよい。
　第二撮影指示受信モジュール２４０は、撮影指示を受信する。第二撮影モジュール２５０は、この撮影指示に基づいて、自身の撮影位置から第二撮影画像を撮影する（ステップＳ１５）。ステップＳ１５において、第二撮影モジュール２５０は、動画や静止画等の画像を、第二撮影画像として撮影する。
　第二撮影データ送信モジュール２４１は、撮影した第二撮影画像と、自身の撮影位置である位置情報（自身の緯度及び経度）と、自身の識別子（機器ＩＤや予め装置に設定されたＩＤ等）と、この第二撮影画像を撮影した撮影時間とを含む第二撮影データを、コンピュータ１０に送信する（ステップＳ１６）。ステップＳ１６において、第二撮影データに含まれる位置情報は、第二カメラ２００を設置した設置者がこの第二カメラ２００に設定したものや、第二カメラ２００がＧＰＳ等から取得したものである。また、自身の識別子は、一の装置を特定可能な特定の文字列である。また、撮影時間は、第二撮影モジュール２５０が、第二撮影画像を撮影した時点における時刻である。第二撮影データ送信モジュール２４１は、静止画を第二撮影画像として撮影する場合、撮影したタイミングの時刻を撮影時間として第二撮影データに含める。また、第二撮影データ送信モジュール２４１は、動画を第二撮影画像として撮影する場合、送信時の時刻を撮影時間として第二撮影データに含める。
　第二撮影データ受信モジュール２２は、第二撮影データを受信する。コンピュータ１０は、第二撮影データを受信することにより、第二カメラ２００が撮影した第二撮影画像、第二カメラ２００の位置情報及び第二撮影画像の撮影時間を取得する。なお、第二撮影データを受信することにより、更に、第二カメラ２００の識別子を取得してもよい。
　画像解析モジュール４０は、上述したステップＳ１２の処理と同様に、第二撮影画像に対して、画像解析を実行する（ステップＳ１７）。ステップＳ１７において、画像解析モジュール４０は、上述したステップＳ１２の処理と同様の処理を、第２撮影画像に対して実行する。
　画像解析モジュール４０は、上述したステップＳ１３の処理と同様に、画像解析の結果、第二撮影画像に移動体が写り込んでいるか否かを判断する（ステップＳ１８）。ステップＳ１８において、画像解析モジュール４０は、移動体が写り込んでいないと判断した場合（ステップＳ１８　ＮＯ）、コンピュータ１０は、上述したステップＳ１４の処理を再度実行する。
　画像解析モジュール４０は、移動体が写り込んでいると判断した場合（ステップＳ１８　ＹＥＳ）、画像解析モジュール４０は、第一撮影画像に写り込んだ移動体と、第二撮影画像に写り込んだ移動体とが同じ移動体であるか否かを判断する（ステップＳ１９）。ステップＳ１９において、画像解析モジュール４０は、第一撮影画像から抽出した移動体の特徴点や特徴量と、第二撮影画像から抽出した特徴点や特徴量とを比較することにより、同じ移動体であるか否かを判定する。同じ移動体であるとは、第一撮影画像で特定した移動体及びこの移動体の搭乗者と、第二撮影画像で特定した移動体及びこの移動体の搭乗者とが同一であるものを意味する。
　ステップＳ１９において、画像解析モジュール４０は、第一撮影画像に写り込んだ移動体と、第二撮影画像に写り込んだ移動体とが同じ移動体ではないと判断した場合（ステップＳ１９　ＮＯ）、コンピュータ１０は、上述したステップＳ１４の処理を再度実行する。
　なお、移動体軌跡推測システム１は、上述したステップＳ１３の処理から、上述したステップＳ１９の処理の間に、予め設定した所定時間以上が経過していた場合、一旦本処理を終了し、再度上述したステップＳ１０の処理を実行してもよい。例えば、第一カメラ１００と第二カメラ２００との間を移動体が移動するために必要な時間を、大幅に超過した時間が経過しても、第一撮影画像に写り込んだ移動体と、同じ移動体が、第二撮影画像に写り込んでいない場合、第二カメラ２００の撮影位置を通過していないと判断し、本処理を終了してもよい。ここでいう大幅に超過とは、第一カメラ１００と第二カメラ２００との間の移動経路において、事故や渋滞や工事等の移動体の移動に制限がかかる交通情報がないような状態であって、この経路を通常の状態で移動体が通過するために必要な時間を３０分、１時間、２時間等超過している状態を意味する。なお、第一カメラ１００と第二カメラ２００との間にコンビニエンスストア、道の駅、サービスエリア、駐車場等の休憩施設が存在する場合、この限りではなく、一般的な休憩に用いられる時間を上述した所定時間に加味したうえで、大幅に超過しているか否かを判断する構成であってもよい。
　一方、ステップＳ１９において、画像解析モジュール４０は、第一撮影画像に写り込んだ移動体と、第二撮影画像に写り込んだ移動体とが同じ移動体であると判断した場合（ステップＳ１９　ＹＥＳ）、移動体情報推測モジュール４１は、この移動体の進行方向及び速度を示す移動体情報を推測する（ステップＳ２０）。ステップＳ２０において、移動体情報推測モジュール４１は、第一撮影画像に写り込んだ移動体の状態と、第二撮影画像に写り込んだ移動体の状態とに基づいて、この移動体の進行方向を推測する。状態とは、例えば、移動体の種類が人である場合、各撮影画像内におけるその顔の向きや、身体の向き等であり、移動体の種類が自転車である場合、各撮影画像内における前輪又は後輪の位置や、搭乗者の顔の向きや、身体の向き等であり、移動体の種類が車両である場合、各撮影画像内におけるフロント又はリアの向きや、搭乗者の顔の向きや、ヘッドライトの有無等である。移動体情報推測モジュール４１は、移動体の進行方向の推測として、第一撮影画像を撮影した第一カメラ１００から、第二撮影画像を撮影した第二カメラ２００に向かう方向又はその逆の方向を、移動体の進行方向として推測する。
　例えば、移動体情報推測モジュール４１は、移動体が人である場合、各撮影画像における人の顔の向きが同じ向きであった場合、この人の進行方向が、第一撮影画像から第二撮影画像の方向であるものと推測する。また、移動体情報推測モジュール４１は、移動体が自転車である場合、第一撮影画像に後輪のみが写り込んでおり、第二撮影画像に前輪のみが写り込んでいる場合、この自転車の進行方向が、第一撮影画像から第二撮影画像の方向であるものと推測する。また、移動体情報推測モジュール４１は、移動体が車両である場合、第一撮影画像にリア部分のみが写り込んでおり、第二撮影画像にフロント部分が写り込んでいる場合、この車両の進行方向が、第一撮影画像から第二撮影画像の方向であるものと推測する。
　このように、移動体情報推測モジュール４１は、第一撮影画像に写り込んだ移動体の状態と、第二撮影画像に写り込んだ移動体の状態とに基づいて、その進行方向を推測する。上述した例は、あくまでも例であり、移動体の状態は、進行方向を推測することが可能なものであれば十分である。
　また、移動体情報推測モジュール４１は、移動体の種類に応じて、この移動体の速度を推測する。例えば、この移動体の種類が人である場合、その速度を、平均４ｋｍ／ｈとして推測し、この移動体の種類が自転車である場合、その速度を、平均２０ｋｍ／ｈとして推測し、この移動体の種類が車両である場合、その速度を、平均３０ｋｍ／ｈとして推測する。なお、移動体情報推測モジュール４１は、移動体の速度を、第一カメラ１００と第二カメラ２００とが設置された移動経路に関する交通データを加味したうえで、移動体の速度を推測してもよい。交通データとは、この移動経路における事故や渋滞等の移動体の速度を遅延させる要因となりうるデータである。コンピュータ１０は、この交通データを、外部装置から取得し、移動体の種類が、この交通データの影響を受けるものである場合、移動体の速度を、この交通データを加味したうえで、推測する。また、移動体の速度は、一例であるため、適宜変更可能である。
　図６及び図７に基づいて、移動体情報推測モジュール４１が実行する移動体情報の推測について説明する。図６は、第一撮影画像３００を模式的に示す図である。図７は、第二撮影画像４００を模式的に示す図である。前提として、画像解析モジュール４０は、第一撮影画像３００に写り込んだ移動体３１０の種類を認識する。また、前提として、画像解析モジュール４０は、第二撮影画像４００に写り込んだ移動体４１０の種類を認識する。図６において、画像解析モジュール４０は、上述したステップＳ１２及びＳ１３の処理により、移動体３１０の種類が、車両であると認識する。また、画像解析モジュール４０は、第二撮影画像４００に写り込んだ移動体４１０が、第一撮影画像３００に写り込んだ移動体３１０と同じ移動体であることを認識する。図７において、画像解析モジュール４０は、上述したステップＳ１７乃至Ｓ１９の処理により、移動体４１０が、移動体３１０と同じ移動体であると認識する。
　移動体情報推測モジュール４１は、第一撮影画像３００に写り込んだ移動体３１０の状態を認識する。また、移動体情報推測モジュール４１は、第二撮影画像４００に写り込んだ移動体４１０の状態を認識する。移動体情報推測モジュール４１は、移動体３１０のフロント部分が、第一撮影画像３００に写り込んでおり、加えて、移動体４１０のフロント部分が、第二撮影画像４００に写り込んでおり、さらに、移動体３１０のフロントの向きと、移動体４１０のフロントの向きとが同一であることから、実際の移動体の進行方向は、第一カメラ１００の撮影位置から、第二カメラ２００の撮影位置の方向であるものと推測する。移動体情報推測モジュール４１は、認識した移動体の種類に基づいた速度と、推測した移動体の進行方向とに基づいて、移動体情報を推測する。
　なお、上述した通り、交通データを加味したうえで移動体の速度を推測し、この推測した移動体の速度と、移動体の進行方向とに基づいて、移動体情報を推測してもよい。
　時間差推測モジュール４２は、第一撮影データと、第二撮影データとに基づいて、第一カメラ１００が第一撮影画像を撮影した時間と、第二カメラ２００が第二撮影画像を撮影した時間との間の時間差を推測する（ステップＳ２１）。ステップＳ２１において、時間差推測モジュール４２は、第一撮影データに含まれる撮影時間と、第二撮影データに含まれる撮影時間との間の差分を、時間差として推測する。例えば、時間差推測モジュール４２は、第一撮影モジュール１５０が、第一撮影画像を撮影した時間が、「１０：１０：００」であり、第二撮影モジュール２５０が、第二撮影画像を撮影した時間が、「１０：１０：１８」である場合、その時間差を「１８秒」として推測する。
　軌跡推測モジュール４３は、第一撮影データにおける第一カメラ１００の位置情報と、第二撮影データにおける第二カメラ２００の位置情報とに基づいて、第一カメラ１００及び第二カメラ２００の撮影対象位置を、地図上に特定する（ステップＳ２２）。ステップＳ２２において、軌跡推測モジュール４３は、第一撮影データに含まれる位置情報に基づいて、第一カメラ１００の緯度及び経度を特定し、予め記憶モジュール３０が記憶する地図データ上の緯度及び経度を参照することにより、地図上に、第一カメラ１００の場所を特定する。同様に、軌跡推測モジュール４３は、第二撮影データに含まれる位置情報に基づいて、第二カメラ２００の緯度及び経度を特定し、上述した地図データ上の緯度及び経度を参照することにより、地図上に、第二カメラ２００の場所を特定する。そのうえで、軌跡推測モジュール４３は、第一カメラ１００が設置された方向と、第二カメラ２００が設置された方向とに基づいて、其々の撮影対象位置を地図上に特定する。
　軌跡推測モジュール４３は、第一カメラ１００の場所及び第二カメラ２００の場所と、推測した時間差と、推測した移動体の速度とに基づいて、第一カメラ１００と第二カメラ２００との間における移動体が移動した軌跡を推測する（ステップＳ２３）。ステップＳ２３において、軌跡推測モジュール４３は、軌跡推測モジュール４３は、地図上に特定した第一カメラ１００の場所と第二カメラ２００の場所との間の移動経路を軌跡として推測する。具体的には、第一カメラ１００と第二カメラ２００との間の直線距離と、推測した時間差と、推測した速度とに基づいて、移動体が移動した軌跡を推測する。軌跡推測モジュール４３は、第一カメラ１００と第二カメラ２００との間の直線距離を、其々の緯度及び経度から算出する。時間差及び移動体の速度は、上述した処理により推測したものである。
　図８に基づいて、軌跡推測モジュール４３が推測する移動体が移動した軌跡の推測について説明する。図８は、軌跡推測モジュール４３が推測した移動体の軌跡を模式的に示した図である。図８において、地図５００上に、第一カメラ１００及び第二カメラ２００の位置を模式的に表示するとともに、第一カメラ１００の撮影対象位置５１０及び第二カメラ２００の撮影対象位置５２０を其々模式的に表示する。
　軌跡推測モジュール４３は、撮影対象位置５１０と、撮影対象位置５２０との間に存在する移動経路を地図データから推測する。図８において、軌跡推測モジュール４３は、移動経路５３０，５４０の２つの移動経路を推測する。次に、軌跡推測モジュール４３は、地図データに基づいて、移動経路５３０，５４０の其々の距離を推測する。本実施形態において、移動経路５３０の距離は、１．５ｋｍであり、移動経路５４０の距離は、３．２ｋｍであるものとして説明する。軌跡推測モジュール４３は、推測した移動体の速度と、推測した時間差と、この各移動経路の距離とに基づいて、移動体が移動した移動経路を推測する。具体的には、軌跡推測モジュール４３は、今回の移動体の種類が車両であることからその速度が、３０ｋｍ／ｈであるため、其々の移動経路を移動した場合の秒数を推測する。すなわち、軌跡推測モジュール４３は、各移動経路の距離を、速度で除算することにより、撮影対象位置５１０から撮影対象位置５２０までの間を移動体が移動するために必要な時間を推測する。例えば、移動体が移動経路５３０を移動した場合、１．５ｋｍを３０／３６０で除算した結果、１８秒という時間を推測する。また、移動体が移動経路５４０を移動した場合、３．２ｋｍを３０／３６０で除算した結果、３８秒という時間を推測する。この推測結果と、実際の撮影時間の時間差とを比較することにより、今回、移動体が移動した軌跡を推測する。ここで、軌跡推測モジュール４３は、移動体が各移動経路を移動するために必要な時間と、実際の撮影時間の時間差とが、一致又は近似（前後数秒、１０秒以内等）する移動経路を、移動体が移動した軌跡として推測する。本実施形態では、軌跡推測モジュール４３は、移動体が移動体５３０を移動するために必要な時間が、１８秒であり、移動体５４０を移動するために必要な時間が、３８秒であり、実際の時間差が１８秒であることから、この実際の撮影時間の時間差に一致又は近似する移動経路として、移動経路５３０を軌跡として推測する。
　ここで、軌跡推測モジュール４３は、実際の撮影時間の時間差がもう少し大きい場合、例えば、移動経路５３０，５４０の２つの何れかを単純に推測できない場合、移動経路５３０，５４０の２つの移動経路を推測してもよい。これは、移動体の速度が、必ずしも平均時速通りでない場合、一時停止や停車等をする場合、上述した交通情報により通常の移動よりも遅延が発生している場合等の理由が考えられることから、これらを加味したうえで、移動経路を推測してもよい。
　なお、図８において、地図５００上に、第一カメラ１００及び第二カメラ２００の位置及び其々の撮影対象位置５１０，５２０を表示しているが、必ずしも表示する必要はない。
　軌跡表示モジュール４４は、推測した軌跡を地図上に表示する（ステップＳ２４）。ステップＳ２４において、軌跡表示モジュール４４は、表示部に地図を表示するとともに、この地図上に推測した軌跡を表示する。
　軌跡表示モジュール４４が表示する移動体の軌跡について、上述した図８に基づいて説明する。図８において、今回推測した移動体の軌跡である移動経路５３０を、実線として、表示する。また、今回推測はしなかったものの、移動体の軌跡として可能性がある移動経路５４０を、点線として、表示する。このように、軌跡表示モジュール４４は、複数の移動経路が考えられる場合、最も可能性が高い移動経路の候補と、それ以外の移動経路の候補とを異なる表示態様にて表示する。このとき、軌跡表示モジュール４４は、最も可能性が高い移動経路の候補を強調表示やその他の方法等により、表示してもよい。この場合、軌跡表示モジュール４４は、最も可能性が高い移動経路の候補と、それ以外の移動経路とを判断可能な表示態様で表示する構成であればよい。
　なお、軌跡表示モジュール４４は、複数の軌跡を地図上に表示しているが、一の軌跡のみを地図上に表示してもよい。この場合、上述した最も可能性が高い軌跡の候補を表示すればよい。また、軌跡表示モジュール４４は、ユーザからの入力等を受け付けることにより、軌跡の表示数を変更してもよい。例えば、ユーザが一の軌跡のみの表示を所望する入力を行った場合、最も可能性が高い軌跡のみを表示してもよいし、複数の軌跡の表示を所望する入力を行った場合、その個数に応じた軌跡を表示してもよい。
　また、軌跡表示モジュール４４が地図及び軌跡を表示するのではなく、図示していない他の端末装置に、この地図及び軌跡を出力し、表示させる構成であってもよい。この場合、コンピュータ１０は、この他の端末装置に、地図及び軌跡に関するデータを出力する。他の端末装置は、このデータを取得し、自身の表示部等に表示する構成であればよい。
　また、上述した移動体軌跡推測処理において、第一カメラ１００及び第二カメラ２００は、撮影位置が予め決定された状態で、撮影画像を撮影するものであるが、これらの代替として、スマートフォン等の移動可能な撮影装置を有する携帯型端末を用いてもよい。この場合、携帯型端末は、自身の位置情報をＧＰＳ等から取得し、第一撮影データ及び第二撮影データに、この取得した位置情報を含めればよい。それ以外の処理は、上述した処理と同様に実行すればよい。
　なお、上述した各処理は、必ずしも一のハードウェアにより実行される構成でなくてもよい。例えば、上述した各処理を、コンピュータ１０、第一カメラ１００又は第二カメラ２００の何れか又は複数により実行される構成であってもよい。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　移動体軌跡推測システム、１０　コンピュータ、１００　第一カメラ、２００　第二カメラ

Claims (6)

  1. 　移動体を撮影する撮影位置が予め決定された状態で、当該移動体の画像を撮影する複数の撮影手段と、
    　撮影した各々の画像に対して画像解析を行い、同じ移動体を認識する認識手段と、
    　前記各々の画像の撮影時間と、撮影位置とに基づいて、前記移動体が移動した軌跡を推測する推測手段と、
    　を備えることを特徴とするコンピュータシステム。
  2. 　推測した前記移動体が移動した軌跡を地図上に表示する表示手段と、
    　を更に備えることを特徴とする請求項１に記載のコンピュータシステム。
  3. 　前記認識手段は、前記移動体の種類を認識し、
    　前記推測手段は、前記移動体の種類に応じて、当該移動体が移動した軌跡を推測する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  4. 　前記撮影手段は、現在の位置情報を取得できる携帯型端末に備えられた撮影手段である、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  5. 　コンピュータシステムが実行する移動体軌跡推測方法であって、
    　移動体を撮影する撮影位置が予め決定された状態で、当該移動体の画像を撮影する複数のステップと、
    　撮影した各々の画像に対して画像解析を行い、同じ移動体を認識するステップと、
    　前記各々の画像の撮影時間と、撮影位置とに基づいて、前記移動体が移動した軌跡を推測するステップと、
    　を備えることを特徴とする移動体軌跡推測方法。
  6. 　コンピュータシステムに、
    　移動体を撮影する撮影位置が予め決定された状態で、当該移動体の画像を撮影する複数のステップ、
    　撮影した各々の画像に対して画像解析を行い、同じ移動体を認識するステップ、
    　前記各々の画像の撮影時間と、撮影位置とに基づいて、前記移動体が移動した軌跡を推測するステップ、
    　を実行させるためのコンピュータ読み取り可能なプログラム。
PCT/JP2018/017129 2018-04-27 2018-04-27 コンピュータシステム、移動体軌跡推測方法及びプログラム WO2019207749A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017129 WO2019207749A1 (ja) 2018-04-27 2018-04-27 コンピュータシステム、移動体軌跡推測方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/017129 WO2019207749A1 (ja) 2018-04-27 2018-04-27 コンピュータシステム、移動体軌跡推測方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019207749A1 true WO2019207749A1 (ja) 2019-10-31

Family

ID=68293512

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/017129 WO2019207749A1 (ja) 2018-04-27 2018-04-27 コンピュータシステム、移動体軌跡推測方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2019207749A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085685A (ja) * 2001-09-10 2003-03-20 I Transport Lab Co Ltd 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法
JP2005345201A (ja) * 2004-06-01 2005-12-15 Denso Corp 走行軌跡表示装置及びプログラム
JP2010224895A (ja) * 2009-03-24 2010-10-07 Mitsubishi Electric Corp 交通流計測装置および交通流計測方法
JP2014182033A (ja) * 2013-03-19 2014-09-29 Casio Comput Co Ltd 移動軌跡表示装置並びにプログラム、及び移動軌跡表示方法
JP2016192598A (ja) * 2015-03-30 2016-11-10 ソフトバンク株式会社 画像管理システム、サーバ、画像管理方法、サーバ制御方法、及びサーバプログラム
JP2016212675A (ja) * 2015-05-11 2016-12-15 株式会社デンソー 物体認識システム
JP2017211348A (ja) * 2016-05-27 2017-11-30 沖電気工業株式会社 軌跡推定装置、軌跡推定方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085685A (ja) * 2001-09-10 2003-03-20 I Transport Lab Co Ltd 複数のビデオカメラを用いた車両走行軌跡観測装置及び方法
JP2005345201A (ja) * 2004-06-01 2005-12-15 Denso Corp 走行軌跡表示装置及びプログラム
JP2010224895A (ja) * 2009-03-24 2010-10-07 Mitsubishi Electric Corp 交通流計測装置および交通流計測方法
JP2014182033A (ja) * 2013-03-19 2014-09-29 Casio Comput Co Ltd 移動軌跡表示装置並びにプログラム、及び移動軌跡表示方法
JP2016192598A (ja) * 2015-03-30 2016-11-10 ソフトバンク株式会社 画像管理システム、サーバ、画像管理方法、サーバ制御方法、及びサーバプログラム
JP2016212675A (ja) * 2015-05-11 2016-12-15 株式会社デンソー 物体認識システム
JP2017211348A (ja) * 2016-05-27 2017-11-30 沖電気工業株式会社 軌跡推定装置、軌跡推定方法及びプログラム

Similar Documents

Publication Publication Date Title
KR101709521B1 (ko) 무인 스마트카를 이용한 공익서비스 시스템 및 방법
JP6241422B2 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
WO2017155740A1 (en) System and method for automated recognition of a transportation customer
CN110473406B (zh) 搜索支援系统、搜索支援装置以及搜索支援方法
EP3700198B1 (en) Imaging device, image processing apparatus, and image processing method
CN111292351A (zh) 车辆检测方法及执行其的电子设备
CN108139202A (zh) 图像处理装置、图像处理方法和程序
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
US20210141386A1 (en) Information processing apparatus, mobile object, control system, information processing method, and program
US20220114893A1 (en) Image capturing apparatus of vehicle, server, user terminal apparatus and method for providing parking lot guidance service using them
WO2020100922A1 (ja) データ配信システム、センサデバイス及びサーバ
JP5932850B2 (ja) 情報処理システム、情報処理方法、情報処理装置、情報処理端末、情報処理用プログラム、および、記録媒体
CN108028883A (zh) 图像处理装置、图像处理方法和程序
JP6785960B2 (ja) 空きスペース通知装置、空きスペース通知システム及び空きスペース通知方法
JP2019067201A (ja) 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム
CN110164164A (zh) 利用摄像头拍摄功能增强手机导航软件识别复杂道路精准度的方法
CN112041862A (zh) 用于通过自主车辆进行乘客识别的方法和车辆系统
EP4352700A1 (en) Objection detection using images and message information
US20220315062A1 (en) Information processing apparatus, control apparatus for moving body, method of controlling information processing apparatus, and method of controlling moving body
CN114026436B (zh) 图像处理装置、图像处理方法和程序
JP2016218895A (ja) 同一人物検証システム、方法およびプログラム
US20230298340A1 (en) Information processing apparatus, mobile object, control method thereof, and storage medium
WO2019207749A1 (ja) コンピュータシステム、移動体軌跡推測方法及びプログラム
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
JP2023060081A (ja) 処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18915927

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18915927

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP