WO2023084809A1 - 情報処理装置、情報処理方法、及び、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び、情報処理プログラム Download PDF

Info

Publication number
WO2023084809A1
WO2023084809A1 PCT/JP2022/015289 JP2022015289W WO2023084809A1 WO 2023084809 A1 WO2023084809 A1 WO 2023084809A1 JP 2022015289 W JP2022015289 W JP 2022015289W WO 2023084809 A1 WO2023084809 A1 WO 2023084809A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
information processing
photographing
terminal
user
Prior art date
Application number
PCT/JP2022/015289
Other languages
English (en)
French (fr)
Inventor
淳 磯村
宣宏 沖
一兵衛 内藤
磯生 上野
直子 重松
デビッド アッシュ
ブラッド ダビジャ
シュムール アール
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Publication of WO2023084809A1 publication Critical patent/WO2023084809A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Definitions

  • the present invention relates to an information processing device, an information processing method, and an information processing program.
  • Non-Patent Document 1 there is known a technology for providing a predetermined service using a landscape image captured by an in-vehicle camera. For example, there is a technique of extracting an object such as a postbox from the landscape image and presenting the infrastructure development status of the city based on the object (see Non-Patent Document 1). There is also a technique for assessing the real estate value of a building from the appearance of the building in the landscape image (see Non-Patent Document 2).
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of providing an image that meets user requirements.
  • An information processing apparatus is an information processing apparatus that is communicably connected to a spatio-temporal database that processes spatio-temporal data in real time and provides images to a user.
  • Image data taken on multiple dates and times at the location of , the location data of each shooting terminal at the time of shooting, and the time data at the time of shooting are collected, and the collected multiple image data, multiple location data, and multiple time data to the spatio-temporal database;
  • a receiving unit that receives a transmission request for image data from a user terminal;
  • a processing unit that searches for existing image data captured at a specified angle from the specified location from the image data group of the spatio-temporal database; and a transmission unit that transmits the existing image data to the user terminal.
  • An information processing method of one embodiment of the present invention is an information processing method in which an image is provided to a user by being communicatively connected to a spatio-temporal database that processes spatio-temporal data in real time, wherein the information processing device includes a plurality of Image data taken at multiple locations on multiple dates and times by the shooting terminals of the above, location data of each shooting terminal at the time of shooting, and time data at the time of shooting are collected, and the collected multiple image data and multiple location data and a plurality of time data to the spatio-temporal database; receiving a transmission request for image data from a user terminal; and searching the image data group of the spatio-temporal database for existing image data captured at the specified angle from the specified location, and transmitting the existing image data to the user terminal. conduct.
  • An information processing program causes a computer in a communication network to function as the information processing device.
  • An information processing program causes a computer in the terminal to function as the information processing device.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system.
  • FIG. 2 is a diagram showing a processing flow of image data collection operation.
  • FIG. 3 is a diagram showing a processing flow of an image data providing operation.
  • FIG. 4 is a diagram showing the processing flow of step S205 shown in FIG.
  • FIG. 5 is a diagram illustrating a hardware configuration example of an information processing apparatus.
  • An object of the present invention is to provide a technique capable of providing an image that meets the user's request.
  • the present invention constantly collects multiple image data taken at various locations. Then, when receiving a transmission request for image data from a user, it retrieves and provides recent existing image data that matches the specified location and specified angle requested by the user from the collected image data group. . Also, if the image data is not in the image data group, a photographing terminal that can satisfy the request is specified, and the latest image data photographed by the photographing terminal is provided.
  • the present invention uses a spatio-temporal database that can store a huge amount of spatio-temporal data all at once, and can search and analyze spatio-temporal data and objects shot at a predetermined place in real time (Patent Document 1 and Non-Patent Document 3).
  • the present invention uses a real-time spatio-temporal database for processing such as retrieval to retrieve and transmit recent existing image data of a specified location of interest to the user photographed from a specified angle. If the image data is not available, the spatio-temporal database is used to identify a photographing terminal that can satisfy the user's request. Furthermore, if the spatio-temporal database cannot be used to identify a photographing terminal that satisfies the user's request, another photographing terminal is specified and photographed so as to satisfy the user's request.
  • the real estate company can grasp the current state of the building to be assessed, and can confirm the main part of the building that cannot be seen from the road side, so that the real estate value can be assessed appropriately.
  • the real estate company can grasp the current state of the building to be assessed, and can confirm the main part of the building that cannot be seen from the road side, so that the real estate value can be assessed appropriately.
  • service providers who provide services using landscape images with the possibility of creating new businesses.
  • FIG. 1 is a diagram showing a configuration example of an information processing system 1 according to this embodiment.
  • This information processing system 1 includes an information processing device 10, a spatio-temporal database 20, a photographing terminal 30 with photographing consent, and a photographing terminal 40 without photographing consent, which are connected via a communication network so as to be able to communicate with each other. a user terminal 50;
  • the information processing device 10 is an information processing device that provides images to users.
  • the information processing device 10 may be configured by a computer (server device, etc.) within a communication network, or may be configured by a computer (smartphone, etc.) within a terminal.
  • the information processing device 10 includes a collection unit 11, a reception unit 12, a processing unit 13, and a transmission unit 14, as shown in FIG.
  • the collection unit 11 collects, from a plurality of photographing terminals 30, image data photographed by the plurality of photographing terminals 30 at a plurality of locations at a plurality of dates and times, position data of each photographing terminal 30 at the time of photographing, and time data at the time of photographing. It has a function to collect
  • the collection unit 11 has a function to transmit multiple image data, multiple position data, and multiple time data to the spatio-temporal database 20, associate the image data, the position data, and the time data, and store them in the spatio-temporal database 20.
  • the receiving unit 12 has a function of receiving, from a user terminal 50 provided by a user, an image data transmission request requesting transmission of image data of interest to the user.
  • the transmission request includes the specified location, specified angle, and specified distance specified by the user.
  • the processing unit 13 processes the image data corresponding to the specified location specified by the user within a certain past time and the recent existing image data taken at the specified angle and the specified distance from the specified location, into a spatio-temporal image data. It has a function of searching from the image data group of the database 20 .
  • the processing unit 13 can access the specified location from among the plurality of photographing terminals 30 using the position data of the spatio-temporal database 20. It has a function of searching for a suitable photographing terminal 30 and receiving the latest image data photographed from a designated place at a designated angle and at a designated distance by the searched photographing terminal 30 .
  • the processing unit 13 searches for photographing terminals 40 other than the plurality of photographing terminals 30, and uses the photographing terminal 40 that has been searched for from the designated location. It has a function to receive the latest image data taken at a specified angle and at a specified distance.
  • the processing unit 13 transmits visual, tactile, or audio operation information for adjusting the position, angle, and distance of the photographing terminal 40 based on the measurement values measured by the sensor of the photographing terminal 40 to the photographing terminal 40. It has a function to send.
  • the processing unit 13 transmits visual, tactile, or audio operation information for adjusting the position, angle, and distance of the photographing terminal 40 based on the snapshot taken by the sensor of the photographing terminal 40 to the photographing terminal 40. It has a function to send.
  • the processing unit 13 has a function of determining the position, angle, distance, and timing of the photographing terminal 40 using a machine learning model for determining the position, angle, distance, and timing of photographing.
  • the transmission unit 14 has a function of transmitting recent existing image data retrieved from the image data group of the spatio-temporal database 20 to the user terminal 50 .
  • the transmission unit 14 has a function of transmitting to the user terminal 50 the latest image data captured by the photographing terminal 30 searched from among the plurality of photographing terminals 30 .
  • the transmitting unit 14 has a function of transmitting the latest image data captured by the photographing terminals 40 other than the plurality of photographing terminals 30 to the user terminal 50 .
  • the spatio-temporal database 20 accumulates spatio-temporal data such as image data transmitted simultaneously by a plurality of photographing terminals 30, and stores spatio-temporal data corresponding to a predetermined time at a predetermined place or at a predetermined place.
  • Ultra-high-speed spatio-temporal data management technology including spatio-temporal data high-speed search technology that searches and analyzes dynamic and static objects located at a predetermined time in real time, and ultra-high-speed object position data and time data It is a database technology that enables searching, classification and analysis of
  • This spatio-temporal database 20 is disclosed in Patent Document 1 and Non-Patent Document 3.
  • the spatio-temporal database 20 uses the spatio-temporal code as a key of a distributed key-value store to improve the efficiency of multidimensional information retrieval, etc. It enables fast retrieval of data and objects.
  • the photographing terminal 30 is a photographing terminal that agrees to photograph landscapes, predetermined locations (including objects), etc. with a camera and to transmit photographed image data.
  • the photographing terminal 30 includes, for example, a camera that generates image data, a position sensor that acquires position data indicating a geographical two-dimensional coordinate position or a three-dimensional coordinate position including the photographing altitude in the two-dimensional coordinates, and a camera lens pointing direction.
  • a direction sensor (angle sensor) for detecting the angle, direction, or orientation of the photographing terminal 30, a clock for measuring time data, a speed sensor for measuring speed, and an acceleration sensor for measuring acceleration are provided.
  • the imaging terminal 30 is, for example, an automobile, a drone, or a smart phone.
  • the photographing terminal 30 is registered in the consenting photographing terminal database. The registration may be paid registration or free registration.
  • the photographing terminal 40 is a photographing terminal that has not consented to the photographing of landscapes, predetermined locations, etc., and the transmission of image data. Like the photographing terminal 30, the photographing terminal 40 also includes a camera, a position sensor, a direction sensor, a clock, a speed sensor, an acceleration sensor, and the like. The photographing terminal 40 is also an automobile, a drone, or a smart phone, for example. The photographing terminal 40 is not registered in the consenting photographing terminal database.
  • a user terminal 50 is a user terminal used by a user.
  • the user terminal 50 is, for example, a personal computer, smart phone, or tablet.
  • FIG. 2 is a diagram showing a processing flow of image data collection operation.
  • Step S101 The collection unit 11 collects data from a camera terminal 30, such as a moving or paused car, a drone in flight, or a smartphone in motion, at each location at a predetermined date and time. Photographed image data, position data obtained by the position sensor of each photographing terminal 30, and time data measured by the clock of each photographing terminal 30 are constantly collected.
  • a camera terminal 30 such as a moving or paused car, a drone in flight, or a smartphone in motion
  • the collection unit 11 can collect information such as automobiles, roads, signs, people, animals, trees, rivers, lawns, coasts, houses, supermarkets, city halls,lich buildings, parking lots, weather, the sun, clouds, rainbows, thunder, and so on.
  • Scenery and shooting locations (including objects) shot in 30 are collected all the time.
  • the photographing terminal 30 has consented to photographing and transmission of image data.
  • Step S102 Finally, the collection unit 11 transmits the plurality of image data, the plurality of position data, and the plurality of time data collected from each photographing terminal 30 to the spatio-temporal database 20, associates the data with each other, and stores the spatio-temporal database 20 accumulate in At this time, the collection unit 11 also transmits camera angle-of-view information about the angle of view of each camera collected from each photographing terminal 30 to the spatio-temporal database 20, and stores the camera angle-of-view information in association with each other.
  • the information processing apparatus 10 executes steps S101 and S102 every hour, every day, every month, and every year.
  • the spatio-temporal database 20 accumulates a huge amount of new image data taken at arbitrary dates and times at various locations around the world. If there is old image data captured in the past at the same location, the old image data is updated with the latest image data.
  • the spatio-temporal database 20 can be stored separately from the latest images.
  • the information processing apparatus 10 can also instruct the spatio-temporal database 20 to store the newest image and the old image separately according to a predetermined reference time.
  • the spatio-temporal database 20 uses position data and time data as search keys, and stores image data and the like in association with each other so that it can be searched using the search keys. Due to real-time search and analysis of spatio-temporal data and objects possessed by the spatio-temporal database 20, the information processing apparatus 10 can search for desired image data in real time at a later date.
  • FIG. 3 is a diagram showing a processing flow of an image data providing operation.
  • the receiving unit 12 receives from the user terminal 50 an image data transmission request requesting transmission of image data of interest to the user.
  • the user terminal 50 displays a map screen.
  • the receiving unit 12 receives a transmission request for image data including a specified location, specified angle, and specified distance specified by the user on the map screen in order to request an image of a user-desired location (including an object).
  • a plurality of designated locations, a plurality of designated angles, and a plurality of designated distances may be selected.
  • the specified angle may be an arbitrary specified angle from a plurality of specified angles, or a specified angle selected from a plurality of specified angles included within a certain angle range including the specified angle specified by the user on the map. It can be an angle.
  • Step S202 Next, based on the image data transmission request received from the user terminal 50, the processing unit 13 determines a photographing location where a user-desired location can actually be photographed. For example, the processing unit 13 converts the positional information of the specified location specified by the user into a geographical two-dimensional coordinate position, and determines the two-dimensional coordinate position as the shooting location.
  • the processing unit 13 determines the actual shooting angle and shooting distance for shooting the location desired by the user based on the image request for the image data received from the user terminal 50 . For example, the processing unit 13 calculates the shooting angle and shooting distance in a geographical two-dimensional coordinate system based on the specified angle and specified distance specified by the user.
  • Step S203 Next, the processing unit 13 accesses the spatio-temporal database 20, and obtains image data within a predetermined past time from the current time and which matches the shooting location, shooting angle, and shooting distance determined in step S202. Search data.
  • the processing unit 13 searches the spatio-temporal database 20 for all image data within the past month that match the shooting location using the position data and the time data as search keys. Then, the processing unit 13 calculates the photographing angle and the photographing distance for the location (including the object) in each image data based on the camera angle of view information of the camera that photographed each retrieved image data. After that, the processing unit 13 selects an image having a shooting angle and shooting distance that match the shooting angle ( ⁇ designated angle) and shooting distance ( ⁇ designated distance) determined in step S202 from all the retrieved image data. Search data.
  • the processing unit 13 allows the user to select from among one or more pieces of image data having a shooting angle and shooting distance that match the shooting angle and shooting distance determined in step S202 within a certain range.
  • the requested accuracy of the image data may be negotiated with the user, such as outputting text or voice to the user terminal 50 requesting that the specified location, specified angle, and specified distance be shifted.
  • Steps S204, S206 If recent existing image data desired by the user can be retrieved from the spatio-temporal database 20 in step S ⁇ b>203 , the processing unit 13 acquires the image data from the spatio-temporal database 20 . After that, the transmission unit 14 transmits the image data to the user terminal 50 (step S206). Since this image data meets the user's request, the process ends.
  • FIG. 4 is a diagram showing the processing flow of step S205 shown in FIG.
  • the processing unit 13 uses the position data of the spatio-temporal database 20 to identify the photographing terminal 30 that has consented to photographing and is moving to a location desired by the user.
  • the processing unit 13 refers to the spatio-temporal database 20 that constantly updates the image data, position data, and time data of each location, and obtains image data within a certain past time from the current time, and the user A photographing terminal 30 which photographed image data of a place within a certain distance from a desired place is searched.
  • the processing unit 13 searches for smartphones of automobiles, drones, and pedestrians that are passing near the location desired by the user.
  • Step S205-4 After step S ⁇ b>205 - 2 , the processing unit 13 receives the latest image data shot by the specified shooting terminal 30 . After that, the process transitions to step S206.
  • Step S205-5 If the photographing terminal 30 for which photographing consent has been given cannot be specified in step S205-1, for example, if the automobile 31 located near the place of interest to the user has been searched but is stopped (that is, if the When there is no change in each time data of a plurality of image data), and when the camera of the drone 32 is not installed at an appropriate position, the processing unit 13 is positioned within a certain distance from the user's desired location. Search for another camera device. Another photographing terminal is the photographing terminal 40 that has not consented to photographing.
  • Step S205-6 Next, the processing unit 13 asks the volunteer user of the photographing terminal 40 to specify a place (object ) and transmit image data. If the volunteer user of the photographing terminal 40 does not intend to take the photograph, the process returns to step S205-5 to search for another photographing terminal 40.
  • FIG. 1 the processing unit 13 asks the volunteer user of the photographing terminal 40 to specify a place (object ) and transmit image data. If the volunteer user of the photographing terminal 40 does not intend to take the photograph, the process returns to step S205-5 to search for another photographing terminal 40.
  • Step S205-7 When the volunteer user of the photographing terminal 40 has the intention of photographing, the processing unit 13 fixes the camera of the photographing terminal 40 toward a designated place for the volunteer user of the photographing terminal 40, and operates the camera. give instructions.
  • Step S205-8 the processing unit 13 provides visual, tactile, and audio feedback when the volunteer user of the imaging terminal 40 approaches the designated location, and the designated angle and distance designated by the user of the user terminal 50 are reached. , an instruction is given to hold the camera of the photographing terminal 40 at the optimum angle and distance to the specified location.
  • the processing unit 13 compares the position of the photographing terminal 40 measured by the position sensor of the photographing terminal 40 with the ideal photographing position calculated based on the photographing angle and photographing distance determined in step S202.
  • the processing unit 13 compares the distance from the specified location calculated based on the acceleration measured by the acceleration sensor (including the GPS sensor) of the photographing terminal 40 with the photographing distance and photographing angle determined in step S202.
  • the processing unit 13 acquires a snapshot taken by the camera of the shooting terminal 40 at the same time when the user of the shooting terminal 40 approaches the specified location, and converts the snapshot to the expected value of the snapshot (shooting angle with respect to the shooting location). and an image whose photographing distance meets the user's request).
  • Step S205-9 After that, when the position for photographing the specified location becomes optimal, that is, at the timing when the angle and distance of the imaging terminal 40 with respect to the specified location become optimal, the processing unit 13 sends the image to the volunteer user of the imaging terminal 40. An instruction is given to take a picture of a specified location and transmit it.
  • the processing unit 13 gives visual, tactile, and audio imaging instructions.
  • a screen, vibration, and sound are output so as to adjust the direction and position of the camera so as to achieve the specified angle and specified distance specified by the user.
  • the vibration intensity is output so as to gradually increase as the specified angle and the specified distance are approached.
  • the screen, vibration, and sound representing the photographing instruction are output.
  • step S205-4 the processing unit 13 receives the image data shot by the shooting terminal 40. After that, the process transitions to step S206.
  • a machine learning model may be used to determine the optimal timing.
  • the processing unit 13 inputs the position data measured by the position sensor of the photographing terminal 40 into a pre-built machine learning model for determining the timing of photographing from the position data, and the machine learning model outputs The inference result is determined as the optimum shooting timing.
  • a perfect image is not always available, so machine learning models can be used to make the image as close to optimal as possible.
  • image data that meets the user's request may be determined based on various factors such as subordinates of the location. For example, image data may be sent to meet a user's request, such as whether grass is displayed in the image data or a package that has been delivered is displayed.
  • the information processing apparatus 10 described in the present embodiment uses a real-time spatio-temporal database for processing such as searching to provide existing image data that satisfies the user's request. specifies the photographing terminal 30 or the photographing terminal 40 capable of photographing the user's designated location from a designated angle, and provides image data photographed by the photographing terminal.
  • This information processing device 10 can be applied as a new real-time PAAS (Photo As A Service) basic technology, and provides high-value services to many people and companies that require real-time images of specific locations. be able to. For example, the following services can be provided.
  • PAAS Photo As A Service
  • the processing unit 13 reduces the data size/file size of the image data or changes the angle of view according to a request from the user. Processing such as making small adjustments, hiding part of the image data, making all or part of the image data unclear, etc. is performed, and the image data after such processing is used as primary information in advance (original image data may be transmitted to the user terminal 50 prior to transmission of the .
  • a user who receives such a small-sized image or an unclear image transmits the original image (large file size image, clear image) without such processing to the information processing apparatus 10.
  • the information processing apparatus 10 can be notified of the desire to do so.
  • the information processing apparatus 10 After receiving such a request to resend the original image or acceptance of the receiving process, the information processing apparatus 10 satisfies the user's desired conditions such as an image with a large file size, a clear image, an angle of view, and a shooting distance.
  • the image is transmitted to the user terminal 50 .
  • the information processing device 10 can request a reward from the user as compensation for transmitting the image data to the user terminal 50 .
  • the information processing apparatus 10 can set various destinations such as a user-designated terminal or e-mail address as the destination of image data for the user. For example, it can be presented on a predetermined website that can be browsed from the user terminal 50 . As a result, it is possible to prevent the limited storage area in the user terminal 50 from being consumed by images having a large file size, and obtain the same effect as the original effect of the present invention.
  • This information processing device 10 provides real-time image data of electric wires, utility poles, power transmission facilities, communication facilities, etc. managed by companies such as electric power companies, railway companies, and communication companies, which are captured from a predetermined angle. can be provided in
  • This information processing device 10 can provide road management companies and water management companies with image data of road subsidences, water leaks, and water pipe bursts in real time.
  • the information processing apparatus 10 can provide any user with image data of the user's house in real time when a disaster such as a storm or wildfire occurs near the user's house. can.
  • This information processing device 10 can provide, in real time, image data of the building and the lawn inside the building to a user who wants to resell the purchased building in a remote location at a high price.
  • This information processing device 10 sends image data of the pet in real time to a person who has a pet that has escaped from a collar with a GPS so as to confirm that the pet is safe and well taken care of. can be provided in
  • a plurality of photographing terminals 30 generate a plurality of images. Collecting image data photographed at a plurality of dates and times at locations, position data of each photographing terminal 30 at the time of photographing, and time data at the time of photographing, and collecting the plurality of image data, the plurality of position data, and the plurality of time data.
  • the spatio-temporal database 20 to the spatio-temporal database 20; a receiving unit 12 that receives an image data transmission request from the user terminal 50; Also, a processing unit 13 for searching existing image data captured at a specified angle from a specified location from among the image data group of the spatio-temporal database 20, and a transmission unit 14 for transmitting the existing image data to the user terminal 50. , it is possible to provide an image that meets the user's request.
  • the processing unit 13 uses the position data of the spatio-temporal database 20 to A photographing terminal 30 that can approach a specified location is searched from among them, image data photographed from the specified location at a specified angle by the searched photographing terminal 30 is received, and the transmission unit 14 transmits the received image data to the user terminal 50. Since the image is transmitted, it is possible to reliably provide an image that meets the user's request.
  • the processing unit 13 when the processing unit 13 cannot search for a photographing terminal 30 that can approach the designated location from among the plurality of photographing terminals 30, the processing unit 13 searches for photographing terminals 40 other than the plurality of photographing terminals 30, The image data photographed at the designated angle from the designated place by the photographing terminal 40 searched for is received, and the transmitting unit 14 transmits the received image data to the user terminal 50, so that the image meeting the user's request is more reliably provided. can do.
  • the information processing apparatus 10 of the present embodiment described above includes, for example, a CPU 901, a memory 902, a storage 903, a communication device 904, an input device 905, and an output device 906, as shown in FIG. It can be realized using a general-purpose computer system.
  • Memory 902 and storage 903 are storage devices.
  • each function of the information processing apparatus 10 is realized by the CPU 901 executing a predetermined program loaded on the memory 902 .
  • the information processing device 10 may be implemented by one computer.
  • the information processing device 10 may be implemented by multiple computers.
  • the information processing device 10 may be a virtual machine implemented in a computer.
  • a program for the information processing device 10 can be stored in computer-readable recording media such as HDD, SSD, USB memory, CD, and DVD.
  • the program for the information processing device 10 may be installed and executed on a computer (server device, etc.) within the communication network in order to perform sensing and control from a remote location via the communication network.
  • the program can also be distributed on a recording medium and distributed over a communication network.
  • the program may be executed by installing a distributed or delivered program on a computer (smartphone, etc.) in the terminal.
  • An information processing device that is communicatively connected to a spatio-temporal database that processes spatio-temporal data in real time and provides an image to a user, Image data taken at multiple locations on multiple dates by multiple shooting terminals, position data of each shooting terminal at the time of shooting, and time data at the time of shooting are collected, and the collected multiple image data and multiple positions are collected.
  • transmitting data and a plurality of time data to the spatio-temporal database Receive a request to send image data from the user terminal, Searching the image data group of the spatio-temporal database for existing image data corresponding to a specified place specified by a user and within a certain past time and taken at a specified angle from the specified place. , transmitting the existing image data to the user terminal;
  • Information processing equipment that is communicatively connected to a spatio-temporal database that processes spatio-temporal data in real time and provides an image to a user, Image data taken at multiple locations on
  • (Appendix 2) A non-temporary storage medium that is communicatively connected to a spatio-temporal database that processes spatio-temporal data in real time and that stores a computer-executable program that performs information processing to provide an image to a user.
  • the information processing includes: Image data taken at multiple locations on multiple dates by multiple shooting terminals, position data of each shooting terminal at the time of shooting, and time data at the time of shooting are collected, and the collected multiple image data and multiple positions are collected.
  • information processing system 10 information processing device 11: collection unit 12: reception unit 13: processing unit 14: transmission unit 20: spatio-temporal database 30: photographing terminal 40: photographing terminal 50: user terminal 901: CPU 902: Memory 903: Storage 904: Communication device 905: Input device 906: Output device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

時空間上のデータをリアルタイムに処理する時空間データベース２０に通信可能に接続され、ユーザに対して画像を提供する情報処理装置１０において、複数の撮影端末により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを前記時空間データベース２０へ送信する収集部１１と、ユーザ端末５０から画像データの送信要求を受信する受信部１２と、ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、前記指定場所から指定角度で撮影された既存の画像データを前記時空間データベースの画像データ群の中から検索する処理部１３と、前記既存の画像データを前記ユーザ端末へ送信する送信部１４と、を備える。

Description

情報処理装置、情報処理方法、及び、情報処理プログラム
　本発明は、情報処理装置、情報処理方法、及び、情報処理プログラムに関する。
　従来、車載カメラで撮影した風景画像を用いて所定のサービスを提供する技術が知られている。例えば、その風景画像から郵便ポスト等のオブジェクトを抽出し、そのオブジェクトを基に都市のインフラ整備状況を提示する技術がある（非特許文献１を参照）。また、その風景画像内の建物の外観より、その建物の不動産価値を査定する技術がある（非特許文献２を参照）。
特開２０２０－１３５３９号公報
Sihang Qiu、外３名、"Crowd-Mapping Urban Objects from Street-Level Imagery"、ACM 2019、p.1521-p.1531、［online］、［2021年8月6日検索］、インターネット＜URL : https://dl.acm.org/doi/pdf/10.1145/3308558.3313651＞ Stephen Law、外２名、"Take a Look Around: Using Street View and Satellite Images to Estimate House Prices"、ACM Transactions on Intelligent Systems and Technology、Vol. 10、No. 5、Article 54、2019年9月、［online］、［2021年8月6日検索］、インターネット＜URL : https://dl.acm.org/doi/abs/10.1145/3342240＞ 花舘、外８名、"高速時空間データ管理技術「Axispot」と時空間データ高速検索技術"、NTT技術ジャーナル、2019年11月、p.18-p.22
　しかしながら、車載カメラで撮影された多くの風景画像は、数か月前や数年前に撮影された時期の古い画像であり、かつ、道路上の自動車を視点とした画像であるため、現在の風景画像や特定の場所から特定の角度で撮影した風景画像を所望するユーザの要求に応えることが難しいという課題があった。
　例えば、不動産会社は、建物の画像から当該建物の現状を把握して不動産価値を査定することを期待する。しかし、数年前に撮影された古い画像からでは当該建物の不動産価値を適正に査定することは難しく、道路側からは見えない軒裏等の画像が不足している。例えば、従来のストリートビューは、道路上の自動車から無作為に撮影された画像を提供するにすぎない。
　本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、ユーザの要求に合う画像を提供可能な技術を提供することである。
　本発明の一態様の情報処理装置は、時空間上のデータをリアルタイムに処理する時空間データベースに通信可能に接続され、ユーザに対して画像を提供する情報処理装置において、複数の撮影端末により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを前記時空間データベースへ送信する収集部と、ユーザ端末から画像データの送信要求を受信する受信部と、ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、前記指定場所から指定角度で撮影された既存の画像データを前記時空間データベースの画像データ群の中から検索する処理部と、前記既存の画像データを前記ユーザ端末へ送信する送信部と、を備える。
　本発明の一態様の情報処理方法は、時空間上のデータをリアルタイムに処理する時空間データベースに通信可能に接続され、ユーザに対して画像を提供する情報処理方法において、情報処理装置が、複数の撮影端末により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを前記時空間データベースへ送信するステップと、ユーザ端末から画像データの送信要求を受信するステップと、ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、前記指定場所から指定角度で撮影された既存の画像データを前記時空間データベースの画像データ群の中から検索するステップと、前記既存の画像データを前記ユーザ端末へ送信するステップと、を行う。
　本発明の一態様の情報処理プログラムは、上記情報処理装置として通信ネットワーク内のコンピュータを機能させる。
　本発明の一態様の情報処理プログラムは、上記情報処理装置として端末内のコンピュータを機能させる。
　本発明によれば、ユーザの要求に合う画像を提供可能な技術を提供できる。
図１は、情報処理システムの構成例を示す図である。 図２は、画像データの収集動作の処理フローを示す図である。 図３は、画像データの提供動作の処理フローを示す図である。 図４は、図３に示したステップＳ２０５の処理フローを示す図である。 図５は、情報処理装置のハードウェア構成例を示す図である。
　以下、図面を参照して、本発明の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。
　［発明の概要］
　本発明の目的は、ユーザの要求に合う画像を提供可能な技術を提供することである。この目的を達成するため、本発明は、様々な場所で撮影された複数の画像データを常時収集する。そして、ユーザから画像データの送信要求を受けた場合には、そのユーザの要求する指定場所及び指定角度に合う最近の既存の画像データを収集していた画像データ群の中から検索して提供する。また、その画像データが画像データ群の中にない場合には、その要求を満たせる撮影端末を特定し、その撮影端末で撮影された最新の画像データを提供する。
　但し、本発明に係る画像データの常時収集や検索を行うためには、複数の場所で複数の日時にそれぞれ撮影された膨大な時空間上の画像データを超高速で処理しなければならない。そこで、本発明は、膨大な時空間データを一斉に蓄積可能であり、かつ、所定の場所で撮影された時空間データやオブジェクトをリアルタイムに検索、分析可能な時空間データベースを用いる（特許文献１及び非特許文献３を参照）。
　つまり、本発明は、検索等の処理にリアルタイム性のある時空間データベースを用いて、ユーザにとって関心のある指定場所を指定角度から撮影した最近の既存の画像データを検索して送信する。また、その画像データがない場合には、時空間データベースを用いて当該ユーザの要求を満たせる撮影端末を特定する。さらに、時空間データベースを用いて当該ユーザの要求を満たせる撮影端末を特定できない場合には、他の撮影端末を特定して当該ユーザの要求を満たすように撮影させる。
　これにより、ユーザの要求に合う画像を提供することができる。例えば、不動産会社は、査定対象の建物の現状を把握でき、道路側からでは見えなかった建物の要部を確認できるので、適正に不動産価値を査定することができる。その結果、風景画像を用いてサービスを提供するサービス提供者に対して新たなビジネスを生み出す可能性を提供することができる。
　［情報処理システムの構成例］
　図１は、本実施形態に係る情報処理システム１の構成例を示す図である。この情報処理システム１は、通信ネットワークを介して相互通信可能に接続された、情報処理装置１０と、時空間データベース２０と、撮影同意済みの撮影端末３０と、撮影未同意の撮影端末４０と、ユーザ端末５０と、を備える。
　情報処理装置１０は、ユーザに対して画像を提供する情報処理装置である。情報処理装置１０は、通信ネットワーク内のコンピュータ（サーバ装置等）で構成してもよいし、端末内のコンピュータ（スマートフォン等）で構成してもよい。
　情報処理装置１０は、図１に示したように、収集部１１と、受信部１２と、処理部１３と、送信部１４と、を備える。
　収集部１１は、複数の撮影端末３０から、その複数の撮影端末３０により複数の場所で複数の日時にそれぞれ撮影された画像データ、撮影時の各撮影端末３０の位置データ、撮影時の時刻データを収集する機能を備える。
　収集部１１は、複数の画像データ、複数の位置データ、複数の時刻データを時空間データベース２０へ送信し、画像データ、位置データ、時刻データを関連付けて時空間データベース２０に蓄積させる機能を備える。
　受信部１２は、ユーザの備えるユーザ端末５０から、そのユーザにとって関心のある画像データの送信を要求する画像データの送信要求を受信する機能を備える。その送信要求には、ユーザの指定する指定場所、指定角度、指定距離が含まれている。
　処理部１３は、ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、その指定場所から指定角度及び指定距離で撮影された最近の既存の画像データを、時空間データベース２０の画像データ群の中から検索する機能を備える。
　処理部１３は、最近の既存の画像データを時空間データベース２０の画像データ群の中から検索できない場合、時空間データベース２０の位置データを用いて複数の撮影端末３０の中から指定場所に接近可能な撮影端末３０を検索し、検索した撮影端末３０により指定場所から指定角度及び指定距離で撮影された最新の画像データを受信する機能を備える。
　処理部１３は、複数の撮影端末３０の中から指定場所に接近可能な撮影端末３０を検索できない場合、複数の撮影端末３０以外の撮影端末４０を検索し、検索した撮影端末４０により指定場所から指定角度及び指定距離で撮影された最新の画像データを受信する機能を備える。
　処理部１３は、撮影端末４０のセンサで測定された測定値を基に当該撮影端末４０の位置、角度、距離を調整する視覚的、触覚的、又は音声的な操作情報を当該撮影端末４０へ送信する機能を備える。
　処理部１３は、撮影端末４０のセンサで撮影されたスナップショットを基に当該撮影端末４０の位置、角度、距離を調整する視覚的、触覚的、又は音声的な操作情報を当該撮影端末４０へ送信する機能を備える。
　処理部１３は、撮影する位置、角度、距離、タイミングを決定するための機械学習モデルを用いて、撮影端末４０の位置、角度、距離、タイミングを決定する機能を備える。
　送信部１４は、時空間データベース２０の画像データ群の中から検索された最近の既存の画像データをユーザ端末５０へ送信する機能を備える。
　送信部１４は、複数の撮影端末３０の中から検索された撮影端末３０により撮影された最新の画像データをユーザ端末５０へ送信する機能を備える。
　送信部１４は、複数の撮影端末３０以外の撮影端末４０により撮影された最新の画像データをユーザ端末５０へ送信する機能を備える。
　時空間データベース２０は、複数の撮影端末３０が一斉に送信する画像データ等の時空間上のデータを蓄積しながら、所定の場所で所定の時刻に対応する時空間上のデータや所定の場所で所定の時刻に位置する動的、静的なオブジェクトをリアルタイムに検索、分析する時空間データ高速検索技術を含む超高速時空間データ管理技術であり、かつ、超高速でモノの位置データや時刻データを検索、分類分析を可能とするデータベース技術である。
　この時空間データベース２０は、特許文献１及び非特許文献３に開示されている。例えば、非特許文献３に開示されているように、時空間データベース２０は、時空間コードを分散キーバリューストアのキーとして用いて多次元情報検索の効率化等を行うことで、時空間上のデータやオブジェクトの高速検索を実現している。
　撮影端末３０は、風景や所定場所（オブジェクトを含む）等をカメラで撮影すること、撮影した画像データを送信することに同意した撮影端末である。撮影端末３０は、例えば、画像データを生成するカメラ、地理的な二次元座標位置又は二次元座標に撮影高度を含む三次元座標位置を示す位置データを取得する位置センサ、カメラのレンズの向いている角度、方角、又は撮影端末３０の向きを検出する方角センサ（角度センサ）、時刻データを測定するクロック、速度を測定する速度センサ、加速度を測定する加速度センサを備える。撮影端末３０は、例えば、自動車、ドローン、スマートフォンである。撮影端末３０は、同意撮影端末データベースに登録されている。その登録は、有料登録、無料登録を問わない。
　撮影端末４０は、風景や所定場所等の撮影及び画像データの送信に同意していない撮影端末である。撮影端末４０も、撮影端末３０と同様に、カメラ、位置センサ、方角センサ、クロック、速度センサ、加速度センサ等を備える。撮影端末４０も、例えば、自動車、ドローン、スマートフォンである。撮影端末４０は、同意撮影端末データベースに登録されていない。
　ユーザ端末５０は、ユーザの使用するユーザ端末である。ユーザ端末５０は、例えば、パソコン、スマートフォン、タブレットである。
　［情報処理装置の動作例］
　次に、情報処理装置１０の動作例を説明する。
　　［画像データ収集動作］
　まず、情報処理装置１０が撮影端末３０から画像データを収集する動作を説明する。図２は、画像データの収集動作の処理フローを示す図である。
　ステップＳ１０１；
　収集部１１は、走行中又は一時停止中の自動車、飛行中のドローン、移動中のスマートフォン等の撮影端末３０から、その撮影端末３０により各場所で所定の日時に各撮影端末３０のカメラでそれぞれ撮影された画像データ、各撮影端末３０の位置センサでそれぞれ取得された位置データ、各撮影端末３０のクロックでそれぞれ測定された時刻データを常時収集する。
　例えば、収集部１１は、自動車、道路、標識、人、動物、木、川、芝生、海岸、家、スーパーマーケット、市役所、国会議事堂、駐車場、天気、太陽、雲、虹、雷等、撮影端末３０で撮影された風景や撮影場所（オブジェクトを含む）等を常時収集する。撮影端末３０は、撮影及び画像データの送信に同意済みである。
　ステップＳ１０２；
　最後に、収集部１１は、各撮影端末３０からそれぞれ収集した複数の画像データ、複数の位置データ、複数の時刻データを時空間データベース２０へ送信し、それらのデータ同士を関連付けて時空間データベース２０に蓄積させる。このとき、収集部１１は、各撮影端末３０からそれぞれ収集した各カメラの画角に関するカメラ画角情報も時空間データベース２０へ送信し、そのカメラ画角情報も関連付けて蓄積させる。
　情報処理装置１０は、ステップＳ１０１～ステップＳ１０２を毎時刻、毎日、毎月、毎年実行する。その結果、時空間データベース２０には、世界各地の各場所で任意の日時に撮影された膨大な新しい画像データが蓄積される。同じ場所で過去に撮影された古い画像データがある場合、その古い画像データは最新の画像データで更新される。
　なお、ユーザによっては、過去の時刻を指定して古い画像の送付や閲覧を要求することも想定されるので、時空間データベース２０は、最新の画像と区別して保管しておくこともできる。また、情報処理装置１０は、時空間データベース２０に対して、最新の画像と古い画像とを所定の基準時刻で区別して保管しておくように指定することもできる。
　時空間データベース２０は、位置データ、時刻データを検索キーとし、その検索キーで検索可能となるように、画像データ等を関連付けて記憶する。時空間データベース２０の持つ時空間上のデータやオブジェクトの検索、分析のリアルタイム性により、情報処理装置１０は、後日、所望の画像データをリアルタイムに検索することができる。
　　［所望画像データの提供動作（全体）］
　次に、情報処理装置１０がユーザの要求に合う画像データを提供する動作を説明する。図３は、画像データの提供動作の処理フローを示す図である。
　ステップＳ２０１；
　受信部１２は、ユーザ端末５０から、ユーザにとって関心のある画像データの送信を要求する画像データの送信要求を受信する。例えば、ユーザ端末５０には、地図画面が表示されている。受信部１２は、ユーザ所望の場所（オブジェクトを含む）の画像を要求するためにユーザが地図画面上で指定した指定場所、指定角度、指定距離を含む画像データの送信要求を受信する。このとき、複数の指定場所、複数の指定角度、複数の指定距離のそれぞれの中から１つ以上をそれぞれ選択するようにしてもよい。例えば、指定角度は、複数の指定角度のうち任意の指定角度でもよいし、ユーザが地図上で指定した指定角度を含む一定の角度範囲内に含まれる複数の指定角度の中から選択された指定角度でもよい。
　ステップＳ２０２；
　次に、処理部１３は、ユーザ端末５０から受信した画像データの送信要求を基に、ユーザ所望の場所を実際に撮影可能な撮影場所を決定する。例えば、処理部１３は、ユーザが指定した指定場所の位置情報を地理的な二次元座標位置に変換し、その二次元座標位置を撮影場所として決定する。
　また、処理部１３は、ユーザ端末５０から受信した画像データの画像要求を基に、ユーザ所望の場所を撮影する実際の撮影角度及び撮影距離を決定する。例えば、処理部１３は、ユーザが指定した指定角度及び指定距離を基に、地理的な二次元座標系での撮影角度及び撮影距離を計算する。
　ステップＳ２０３；
　次に、処理部１３は、時空間データベース２０へアクセスし、現在の時刻から過去一定時間内の画像データであって、かつ、ステップＳ２０２で決定した撮影場所、撮影角度、撮影距離に一致する画像データを検索する。
　例えば、処理部１３は、時空間データベース２０から、位置データ及び時刻データを検索キーに用いて、その撮影場所に一致する過去１か月以内の画像データを全て検索する。そして、処理部１３は、検索した各画像データをそれぞれ撮影したカメラのカメラ画角情報を基に、各画像データ内の場所（オブジェクトを含む）に対する撮影角度及び撮影距離を計算する。その後、処理部１３は、検索した全ての画像データの中から、ステップＳ２０２で決定していた撮影角度（≒指定角度）及び撮影距離（≒指定距離）に一致する撮影角度及び撮影距離を有する画像データを検索する。
　このとき、撮影角度及び撮影距離が一致する画像データを検索できないことも考えられる。その場合には、処理部１３は、ステップＳ２０２で決定していた撮影角度及び撮影距離に一定範囲内で一致する撮影角度及び撮影距離を有する１つ以上の画像データの中から選択させたり、ユーザの指定場所、指定角度、指定距離をずらして欲しい等の文章や音声をユーザ端末５０に出力したりする等、画像データの要求精度をユーザとの間で交渉してもよい。
　ステップＳ２０４、Ｓ２０６；
　ステップＳ２０３で時空間データベース２０からユーザ所望の最近の既存の画像データを検索できた場合には、処理部１３は、その画像データを時空間データベース２０から取得する。その後、送信部１４は、その画像データをユーザ端末５０へ送信する（ステップＳ２０６）。この画像データはユーザの要求に合う画像データなので、処理を終了する。
　ステップＳ２０４、Ｓ２０５、Ｓ２０６；
　ステップＳ２０３で時空間データベース２０からユーザ所望の最近の既存の画像データを検索できなかった場合、例えば、ユーザの関心のある場所の画像データであっても数か月以上経過しており古い場合、最近の画像データであっても撮影角度又は撮影距離がユーザの要求に一致しない場合には、処理部１３は、時空間データベース２０を用いてユーザ所望の場所を撮影可能な撮影同意済みの撮影端末３０を検索し、又は撮影未同意の撮影端末４０を検索し、撮影要求を行い、撮影画像を収集する（ステップＳ２０５）。その後、送信部１４は、その撮影された最新の画像データをユーザ端末５０へ送信する（ステップＳ２０６）。この画像データはユーザの要求に合う画像データなので、処理を終了する。
　　［所望画像データの提供動作（ステップＳ２０５の動作）］
　引き続き、ステップＳ２０５の動作を詳述する。図４は、図３に示したステップＳ２０５の処理フローを示す図である。
　ステップＳ２０５－１；
　処理部１３は、時空間データベース２０の位置データを用いて、ユーザ所望の場所へ移動している撮影同意済みの撮影端末３０を特定する。例えば、処理部１３は、各場所の画像データ、位置データ、時刻データを常時更新している時空間データベース２０を参照し、現在の時刻から過去一定時間内の画像データであって、かつ、ユーザ所望の場所から一定距離内の場所の画像データを撮影した撮影端末３０を検索する。例えば、処理部１３は、ユーザ所望の場所の近くを通り過ぎようとしている自動車、ドローン、歩行者のスマートフォンを検索する。
　ステップＳ２０５－２、Ｓ２０５－３；
　ステップＳ２０５－１で撮影端末３０を特定できた場合には、処理部１３は、その撮影端末３０に自動撮影機能があれば、その撮影端末３０に対して、ユーザ所望の場所（オブジェクトを含む）に対する角度及び距離がステップＳ２０２で決定していた撮影角度（≒指定角度）及び撮影距離（≒指定距離）に一致するタイミングで当該場所を撮影して送信する指示を行う。自動撮影機能がなければ、処理部１３は、その指示を当該撮影端末３０のユーザに対して指示する。
　ステップＳ２０５－４；
　ステップＳ２０５－２の後、処理部１３は、特定された撮影端末３０で撮影された最新の画像データを受信する。その後、ステップＳ２０６へ遷移する。
　ステップＳ２０５－５；
　ステップＳ２０５－１で撮影同意済みの撮影端末３０を特定できなかった場合、例えば、ユーザの関心のある場所の近くに位置する自動車３１を検索できたが停止中の場合（つまり、一定時間内の複数の画像データの各時刻データに変化がない場合）、適切な位置にドローン３２のカメラが設置されていない場合には、処理部１３は、ユーザ所望の場所から一定距離内の場所に位置する別の撮影端末を検索する。別の撮影端末とは、撮影未同意の撮影端末４０である。
　ステップＳ２０５－６；
　次に、処理部１３は、検索した撮影端末４０は風景や所定場所等の撮影及び画像データの送信に同意していないので、その撮影端末４０のボランティアユーザに対して、これから指定する場所（オブジェクトを含む）の撮影及び画像データの送信を行う撮影の意思の有無を問い合わせる。その撮影端末４０のボランティアユーザに当該撮影の意思がない場合、ステップＳ２０５－５へ戻り、他の撮影端末４０を検索する。
　ステップＳ２０５－７；
　撮影端末４０のボランティアユーザに撮影の意思がある場合、処理部１３は、その撮影端末４０のボランティアユーザに対して、その撮影端末４０のカメラを指定場所に向けて固定し、そのカメラを操作する指示を行う。
　ステップＳ２０５－８；
　そして、処理部１３は、その撮影端末４０のボランティアユーザが指定場所に近づくと視覚的、触覚的、及び音声的なフィードバックを提供し、ユーザ端末５０のユーザの指定した指定角度及び指定距離になるように、その指定場所に対して当該撮影端末４０のカメラを可能な限り最適な角度及び距離に保持する指示を行う。
　例えば、処理部１３は、撮影端末４０の位置センサで測定された撮影端末４０の位置とステップＳ２０２で決定していた撮影角度及び撮影距離を基に計算した理想的な撮影位置とを比較する。処理部１３は、撮影端末４０の加速度センサ（ＧＰＳセンサ含む）で測定された加速度に基づき計算した指定場所からの距離とステップＳ２０２で決定していた撮影距離や撮影角度とを比較する。
　例えば、処理部１３は、撮影端末４０のユーザが指定場所に近づくと同時に当該撮影端末４０のカメラで撮影されたスナップショットを取得し、そのスナップショットをスナップショットの期待値（撮影場所に対する撮影角度及び撮影距離がユーザの要求に合うイメージ画像）と比較する。
　ステップＳ２０５－９；
　その後、処理部１３は、指定場所を撮影する位置が最適になったとき、つまり、指定場所に対する撮影端末４０の角度及び距離が最適になったタイミングで、撮影端末４０のボランティアユーザに対して当該指定場所を撮影して送信する指示を行う。
　例えば、処理部１３は、ステップＳ２０５－８と同様に、視覚的、触覚的、及び音声的な撮影指示を行う。具体的には、ステップＳ２０５－８であれば、ユーザの指定した指定角度及び指定距離になるようにカメラの向きや位置を調整するような画面、振動、音声を出力させる。特に振動を出力させる場合には、指定角度及び指定距離に近づくにつれて振動強度を次第に強めるように出力させる。また、ステップＳ２０５－９であれば、撮影指示を表す画面、振動、音声を出力する。
　その後、ステップＳ２０５－４へ遷移し、処理部１３は、撮影端末４０で撮影された画像データを受信する。その後、ステップＳ２０６へ遷移する。
　なお、撮影する位置、角度、距離、タイミング等については、機械学習モデルを用いて最適なタイミングを決定してもよい。例えば、処理部１３は、撮影端末４０の位置センサで測定された位置データを、位置データから撮影のタイミングを決定するために予め構築した機械学習モデルに入力し、その機械学習モデルから出力された推論結果を最適な撮影のタイミングとして決定する。完璧な画像が常に得られるとは限らないので、機械学習モデルを用いることにより、画像を可能な限り最適に近づけることができる。
　また、本実施形態では、撮影する場所（オブジェクトを含む）、角度、距離を基に、ユーザの要求に合う画像データを提供する方法を説明した。その他、その場所の従属物等、様々な要素を基にユーザの要求に合う画像データを判断してもよい。例えば、画像データ内に芝生が表示されているか、配達済みの荷物が表示されているか、といったユーザの要求を満たす場合に、画像データを送信してもよい。
　［情報処理装置の適用例］
　本実施形態で説明した情報処理装置１０は、検索等の処理にリアルタイム性のある時空間データベースを用いて、ユーザの要求を満たす既存の画像データを提供し、その既存の画像データがない場合には、ユーザの指定場所を指定角度から撮影できる撮影端末３０又は撮影端末４０を特定し、その撮影端末で撮影された画像データを提供する。
　この情報処理装置１０は、新たなリアルタイムＰＡＡＳ（Ｐｈｏｔｏ　Ａｓ　Ａ　Ｓｅｒｖｉｃｅ）の基盤技術として適用可能であり、特定の場所のリアルタイムな画像を必要とする多くの人や企業に高価値のサービスを提供することができる。例えば、次のようなサービスの提供が考えられる。
　この情報処理装置１０は、ユーザの要求に応じ、送信部１４が画像データをユーザ端末５０へ送信する前に、処理部１３が当該画像データのデータサイズ・ファイルサイズを縮小したり、画角を小さく調整したり、画像データの一部を隠したり、画像データの全部・一部を不鮮明にしたりする等の加工処理を施し、その加工処理後の画像データを一次情報として事前に（原画像データの送信前に）ユーザ端末５０へ送信することができる。
　このようなサイズの小さい画像や不鮮明な画像を受け取ったユーザは、情報処理装置１０に対して、そのような加工処理を施していない原画像（ファイルサイズの大きな画像、鮮明な画像）を送信することを希望することを、情報処理装置１０へ通知することができる。
　この情報処理装置１０は、このような原画像の再送付依頼又は受信処理の了解を受け取った後、ユーザの所望するファイルサイズの大きな画像、鮮明な画像、画角や撮影距離等の条件を満たす画像を、ユーザ端末５０へ送信する。
　この情報処理装置１０は、画像データをユーザ端末５０へ送信したことの対価として、ユーザから報酬を要求することができる。
　この情報処理装置１０は、ユーザに対する画像データの送付先として、ユーザの指定する端末やメールアドレス等、様々な送信先を設定できる。例えば、ユーザ端末５０から閲覧可能な所定のＷＥＢサイトに提示することもできる。これによりユーザ端末５０内の限られた記憶領域がファイルサイズの大きい画像で消費されてしまうことを未然に防ぐとともに、本発明の当初の効果と同様の効果を得ることができる。
　この情報処理装置１０は、電力会社、鉄道会社、通信会社等の会社に対して、その会社の管理する電線、電柱、送電設備、通信設備等の画像を所定の角度から撮影した画像データをリアルタイムで提供することができる。
　この情報処理装置１０は、道路管理会社や水道管理会社に対して、道路の陥没や水漏れ、水道管の破裂を撮影した画像データをリアルタイムで提供することができる。
　この情報処理装置１０は、任意のユーザに対して、そのユーザの家に近くで嵐や山火事等の災害が発生した際に、そのユーザの家を撮影した画像データをリアルタイムで提供することができる。
　この情報処理装置１０は、購入した遠隔地の建物を高値で転売したいユーザに対して、その建物や建物内の芝生を撮影した画像データをリアルタイムで提供することができる。
　この情報処理装置１０は、ＧＰＳ付きの首輪をした逃げ出したペットを飼っている人に対して、そのペットが無事であり世話が行き届いていることを確認するために、そのペットの画像データをリアルタイムで提供することができる。
　［実施形態の効果］
　本実施形態によれば、時空間上のデータをリアルタイムに処理する時空間データベース２０に通信可能に接続され、ユーザに対して画像を提供する情報処理装置１０において、複数の撮影端末３０により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末３０の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを時空間データベース２０へ送信する収集部１１と、ユーザ端末５０から画像データの送信要求を受信する受信部１２と、ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、指定場所から指定角度で撮影された既存の画像データを時空間データベース２０の画像データ群の中から検索する処理部１３と、既存の画像データをユーザ端末５０へ送信する送信部１４と、を備えるので、ユーザの要求に合う画像を提供することができる。
　また、本実施形態によれば、処理部１３は、既存の画像データを時空間データベース２０の画像データ群の中から検索できない場合、時空間データベース２０の位置データを用いて複数の撮影端末３０の中から指定場所に接近可能な撮影端末３０を検索し、検索した撮影端末３０により指定場所から指定角度で撮影された画像データを受信し、送信部１４は、受信した画像データをユーザ端末５０へ送信するので、ユーザの要求に合う画像を確実に提供することができる。
　また、本実施形態によれば、処理部１３は、複数の撮影端末３０の中から指定場所に接近可能な撮影端末３０を検索できない場合、複数の撮影端末３０以外の撮影端末４０を検索し、検索した撮影端末４０により指定場所から指定角度で撮影された画像データを受信し、送信部１４は、受信した画像データをユーザ端末５０へ送信するので、ユーザの要求に合う画像をより確実に提供することができる。
　［その他］
　本発明は、上記実施形態に限定されない。本発明は、本発明の要旨の範囲内で数々の変形が可能である。
　上記説明した本実施形態の情報処理装置１０は、例えば、図５に示すように、ＣＰＵ９０１と、メモリ９０２と、ストレージ９０３と、通信装置９０４と、入力装置９０５と、出力装置９０６と、を備えた汎用的なコンピュータシステムを用いて実現できる。メモリ９０２及びストレージ９０３は、記憶装置である。当該コンピュータシステムにおいて、ＣＰＵ９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、情報処理装置１０の各機能が実現される。
　情報処理装置１０は、１つのコンピュータで実装されてもよい。情報処理装置１０は、複数のコンピュータで実装されてもよい。情報処理装置１０は、コンピュータに実装される仮想マシンであってもよい。情報処理装置１０用のプログラムは、ＨＤＤ、ＳＳＤ、ＵＳＢメモリ、ＣＤ、ＤＶＤ等のコンピュータ読取り可能な記録媒体に記憶できる。
　情報処理装置１０用のプログラムは、通信ネットワークを介して遠隔地からセンシングや制御を行うようにするため、通信ネットワーク内のコンピュータ（サーバ装置等）にインストールして実行してもよい。プログラムは、記録媒体で配布し、通信ネットワークを介して配信することもできる。プログラムは、配布又は配信されたプログラムを端末内のコンピュータ（スマートフォン等）にインストールして実行してもよい。
　［付記］
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　時空間上のデータをリアルタイムに処理する時空間データベースに通信可能に接続され、ユーザに対して画像を提供する情報処理装置であって、
　複数の撮影端末により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを前記時空間データベースへ送信し、
　ユーザ端末から画像データの送信要求を受信し、
　ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、前記指定場所から指定角度で撮影された既存の画像データを前記時空間データベースの画像データ群の中から検索し、
　前記既存の画像データを前記ユーザ端末へ送信する、
　情報処理装置。
　（付記項２）
　時空間上のデータをリアルタイムに処理する時空間データベースに通信可能に接続され、ユーザに対して画像を提供する情報処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記情報処理は、
　複数の撮影端末により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを前記時空間データベースへ送信し、
　ユーザ端末から画像データの送信要求を受信し、
　ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、前記指定場所から指定角度で撮影された既存の画像データを前記時空間データベースの画像データ群の中から検索し、
　前記既存の画像データを前記ユーザ端末へ送信する、
　非一時的記憶媒体。
　１：情報処理システム
　１０：情報処理装置
　１１：収集部
　１２：受信部
　１３：処理部
　１４：送信部
　２０：時空間データベース
　３０：撮影端末
　４０：撮影端末
　５０：ユーザ端末
　９０１：ＣＰＵ
　９０２：メモリ
　９０３：ストレージ
　９０４：通信装置
　９０５：入力装置
　９０６：出力装置

Claims (9)

  1. 　時空間上のデータをリアルタイムに処理する時空間データベースに通信可能に接続され、ユーザに対して画像を提供する情報処理装置において、
    　複数の撮影端末により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを前記時空間データベースへ送信する収集部と、
    　ユーザ端末から画像データの送信要求を受信する受信部と、
    　ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、前記指定場所から指定角度で撮影された既存の画像データを前記時空間データベースの画像データ群の中から検索する処理部と、
    　前記既存の画像データを前記ユーザ端末へ送信する送信部と、
    　を備える情報処理装置。
  2. 　前記指定角度は、
    　ユーザが地図上で指定した指定角度、又は、ユーザが地図上で指定した指定角度を含む一定の角度範囲内に含まれる複数の指定角度の中から選択された指定角度である請求項１に記載の情報処理装置。
  3. 　前記処理部は、
    　前記既存の画像データを前記時空間データベースの画像データ群の中から検索できない場合、前記時空間データベースの位置データを用いて前記複数の撮影端末の中から前記指定場所に接近可能な撮影端末を検索し、検索した撮影端末により前記指定場所から前記指定角度で撮影された画像データを受信し、
    　前記送信部は、
    　前記受信した画像データを前記ユーザ端末へ送信する請求項１又は２に記載の情報処理装置。
  4. 　前記処理部は、
    　前記複数の撮影端末の中から前記指定場所に接近可能な撮影端末を検索できない場合、前記複数の撮影端末以外の撮影端末を検索し、検索した撮影端末により前記指定場所から前記指定角度で撮影された画像データを受信する請求項３に記載の情報処理装置。
  5. 　前記処理部は、
    　前記複数の撮影端末以外の撮影端末のセンサで測定された測定値を基に当該撮影端末の位置及び角度を調整する視覚的又は音声的な操作情報を当該撮影端末へ送信する請求項４に記載の情報処理装置。
  6. 　前記処理部は、
    　前記複数の撮影端末以外の撮影端末のセンサで撮影されたスナップショットを基に当該撮影端末の位置及び角度を調整する視覚的又は音声的な操作情報を当該撮影端末へ送信する請求項４に記載の情報処理装置。
  7. 　時空間上のデータをリアルタイムに処理する時空間データベースに通信可能に接続され、ユーザに対して画像を提供する情報処理方法において、
    　情報処理装置が、
    　複数の撮影端末により複数の場所で複数の日時にそれぞれ撮影された画像データと撮影時の各撮影端末の位置データと撮影時の時刻データとを収集し、収集した複数の画像データと複数の位置データと複数の時刻データとを前記時空間データベースへ送信するステップと、
    　ユーザ端末から画像データの送信要求を受信するステップと、
    　ユーザが指定した指定場所に対応する過去一定時間内の画像データであって、かつ、前記指定場所から指定角度で撮影された既存の画像データを前記時空間データベースの画像データ群の中から検索するステップと、
    　前記既存の画像データを前記ユーザ端末へ送信するステップと、
    　を行う情報処理方法。
  8. 　請求項１に記載の情報処理装置として通信ネットワーク内のコンピュータを機能させる情報処理プログラム。
  9. 　請求項１に記載の情報処理装置として端末内のコンピュータを機能させる情報処理プログラム。
PCT/JP2022/015289 2021-11-10 2022-03-29 情報処理装置、情報処理方法、及び、情報処理プログラム WO2023084809A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163277790P 2021-11-10 2021-11-10
US63/277,790 2021-11-10

Publications (1)

Publication Number Publication Date
WO2023084809A1 true WO2023084809A1 (ja) 2023-05-19

Family

ID=86335490

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/015289 WO2023084809A1 (ja) 2021-11-10 2022-03-29 情報処理装置、情報処理方法、及び、情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2023084809A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696132A (ja) * 1992-09-10 1994-04-08 Mitsubishi Electric Corp 画像データ管理方法及びその装置
JP2003317193A (ja) * 2002-04-23 2003-11-07 Denso Corp 装 置
JP2012222603A (ja) * 2011-04-08 2012-11-12 Olympus Corp 撮像装置
JP2017016388A (ja) * 2015-07-01 2017-01-19 株式会社日本総合研究所 地域アルバム生成サーバ及びその生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696132A (ja) * 1992-09-10 1994-04-08 Mitsubishi Electric Corp 画像データ管理方法及びその装置
JP2003317193A (ja) * 2002-04-23 2003-11-07 Denso Corp 装 置
JP2012222603A (ja) * 2011-04-08 2012-11-12 Olympus Corp 撮像装置
JP2017016388A (ja) * 2015-07-01 2017-01-19 株式会社日本総合研究所 地域アルバム生成サーバ及びその生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANADATE MASAYUKII, KIMURA, TATSURO, OKI, NOBUHIRO, SHIGEMATSU, NAOKO, UENO, ISOO, NAITO, ICHIBE, KUBO, TAKASHI, MIYAHARA, KAZUHI: "Phygital-data-centric Computing for Data-driven Innovation in the Physical World. Introduction to AxispotTM, Real-time Spatio-temporal Data-management System, and Its High-speed Spatio-temporal Data-search Terchnology.", NTT TECHNICAL JOURNAL, vol. 31, no. 11, 1 November 2019 (2019-11-01), pages 18 - 22, XP093065875 *

Similar Documents

Publication Publication Date Title
US20200175054A1 (en) System and method for determining a location on multimedia content
US10326934B2 (en) Service system, information processing apparatus, and service providing method
CN106845470B (zh) 地图数据采集方法和装置
US11310419B2 (en) Service system, information processing apparatus, and service providing method
US9305024B2 (en) Computer-vision-assisted location accuracy augmentation
US20210027112A1 (en) Semantic State Based Sensor Tracking and Updating
US8274571B2 (en) Image zooming using pre-existing imaging information
US20160178803A1 (en) Weather forecasting system and methods
US20150063642A1 (en) Computer-Vision-Assisted Location Check-In
US9672223B2 (en) Geo photo searching based on current conditions at a location
US10204272B2 (en) Method and system for remote management of location-based spatial object
US10515103B2 (en) Method and system for managing viewability of location-based spatial object
US20200117941A1 (en) Real-time micro air-quality indexing
CN114358660B (zh) 一种城市街道品质评估方法、系统及存储介质
KR20170143439A (ko) 3차원 공간 정보 구축을 위한 빅데이터 시스템의 연계 장치 및 방법
KR100986622B1 (ko) Ｌｂｓ 기반의 모바일 단말을 이용한 사고 민원 처리 시스템 및 방법
JP5072464B2 (ja) 画像提供装置、画像提供方法、画像提供プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
TW202025011A (zh) 用於電子設備的管理裝置及其管理方法
WO2023084809A1 (ja) 情報処理装置、情報処理方法、及び、情報処理プログラム
US20180278573A1 (en) Pubic safety camera identification system and method
JP2021099603A (ja) 情報処理装置、情報処理方法およびプログラム
KR20190091214A (ko) 동영상으로부터 장소 정보를 추출하는 장치 및 방법
US10331733B2 (en) System and method for presenting condition-specific geographic imagery
JP2008191893A (ja) 風景配信装置、風景配信システム、風景画像の登録方法、風景配信方法、案内図作成システムおよびデータ構造
KR20230120779A (ko) Ai 기반 지형변화 자동화 분석 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892313

Country of ref document: EP

Kind code of ref document: A1