WO2021033443A1 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、プログラム及び情報処理システム Download PDF

Info

Publication number
WO2021033443A1
WO2021033443A1 PCT/JP2020/026527 JP2020026527W WO2021033443A1 WO 2021033443 A1 WO2021033443 A1 WO 2021033443A1 JP 2020026527 W JP2020026527 W JP 2020026527W WO 2021033443 A1 WO2021033443 A1 WO 2021033443A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
information processing
image data
dimensional model
Prior art date
Application number
PCT/JP2020/026527
Other languages
English (en)
French (fr)
Inventor
嵩明 加藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/635,085 priority Critical patent/US12002158B2/en
Priority to CN202080057389.7A priority patent/CN114270404A/zh
Priority to JP2021540657A priority patent/JPWO2021033443A1/ja
Publication of WO2021033443A1 publication Critical patent/WO2021033443A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/04—Payment circuits
    • G06Q20/06—Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme
    • G06Q20/065—Private payment circuits, e.g. involving electronic currency used among participants of a common payment scheme using e-cash
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/389—Keeping log of transactions for guaranteeing non-repudiation of a transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Definitions

  • This technology relates to information processing devices, information processing methods, programs, and information processing systems that use blockchain.
  • Patent Document 1 describes that at a construction site or the like, an aerial image of a land to be surveyed by a drone (unmanned airplane) is analyzed to generate 3D data or the like showing the topographical shape of the land. ..
  • the situation changes over time, such as the number of materials, their storage space, earth and sand, and the shape of the building to be constructed. It is desirable to regularly monitor and manage changes in circumstances in order to carry out accurate and prompt construction work.
  • the purpose of this technology is to provide an information processing device, an information processing method, a program, and an information processing system capable of grasping the situation in a certain area.
  • the information processing apparatus includes an image acquisition unit, a three-dimensional model generation unit, and a block generation unit.
  • the image acquisition unit acquires image information having image data linked to each other and position information at the time of acquisition of the image data.
  • the three-dimensional model generation unit generates a three-dimensional model using the image information.
  • the block generation unit generates a new block connected to a block chain formed by connecting blocks in which image information used when generating the three-dimensional model is recorded.
  • An image use determination unit for verifying whether or not the image information is approved as a transaction is further provided, and the three-dimensional model generation unit may generate a three-dimensional model using the image information approved as the transaction. Good.
  • the image use determination unit may determine whether or not to use the image information approved as a transaction in the three-dimensional model generation.
  • the image usage determination unit uses the image data of the usage determination target for the three-dimensional model generation based on the similarity of the image data of the usage determination target to the image data used for the three-dimensional model generation. May be determined.
  • the image use determination unit may sort a plurality of the above image information using the above position information.
  • the three-dimensional model generation unit may generate the three-dimensional model using a plurality of the image information sorted using the position information.
  • the information processing method acquires unauthenticated image information having image data linked to each other and position information at the time of acquisition of the image data, and obtains the image.
  • a three-dimensional model is generated using the information, and a new block is generated which is connected to a block chain in which the blocks in which the image information used at the time of generating the three-dimensional model is recorded are connected.
  • the program according to one form of the present technology uses the step of acquiring the image information having the image data linked to each other and the position information at the time of acquiring the image data, and the image information.
  • the information processing device is subjected to a process including a step of generating a three-dimensional model and a step of generating a new block connected to a block chain formed by connecting blocks in which image information used when generating the above three-dimensional model is recorded. Let it run.
  • the information processing system includes a plurality of information processing devices.
  • the information processing apparatus includes a three-dimensional model generation unit that generates a three-dimensional model using image information that has image data linked to each other and position information at the time of acquisition of the image data, and a generation of the three-dimensional model. It is provided with a block generation unit that generates a new block to be connected to a block chain formed by connecting blocks in which image information used at times is recorded.
  • FIG. 1 is a schematic view showing the configuration of the information processing system 1.
  • a three-dimensional map of a certain area of a municipality unit is generated, and this three-dimensional map can be used by, for example, a civil engineering construction company or a company that provides a game using the three-dimensional map. It has become.
  • a plurality of companies that agree on the use of a three-dimensional map of a certain area may form an alliance to form a group.
  • a three-dimensional map is a three-dimensional model that includes geospatial information.
  • the three-dimensional map is generated and updated by a plurality of information processing devices (miners) based on a plurality of images provided by an unspecified number of image providers (end users).
  • the images used to generate the 3D map are recorded on the blockchain.
  • a civil engineering construction company which is a user of a 3D map, can accurately grasp the situation of a construction site, such as the number of materials, storage space, and the state of earth and sand, by looking at the 3D map that is updated from time to time. it can.
  • a company that provides a game can utilize the three-dimensional map for producing a game using the three-dimensional map.
  • the miner receives a reward from the user of the three-dimensional map for the generation of the three-dimensional map, and the end user for the provision of the image. The reward will be described later.
  • the information processing system 1 includes a minor group 6 composed of a plurality of information processing devices (minors) 2, a group 3 composed of a plurality of companies 30A to 30D having an alliance, and a plurality of mobile terminals ( It has an end user group 7 composed of end users) 4.
  • a minor group 6 composed of a plurality of information processing devices (minors) 2
  • a group 3 composed of a plurality of companies 30A to 30D having an alliance
  • a plurality of mobile terminals It has an end user group 7 composed of end users 4
  • FIG. 1 in order to distinguish each mobile terminal, reference numerals 4A to 4C are attached, but when it is not particularly necessary to distinguish them, they will be referred to as mobile terminals 4.
  • the number of mobile terminals 4 is shown as 3
  • the number of companies with which the alliance is formed is 4
  • the number of information processing devices (minor) 2 is shown as 3. Not limited to numbers.
  • the mobile terminal 4 is possessed by an unspecified number of end users.
  • the end user is an image provider who provides image data obtained by capturing an area to be generated by a three-dimensional map, and is, for example, a general consumer.
  • the end user can upload the image information of the image taken by the mobile terminal 4 to the image / three-dimensional map database (hereinafter, referred to as the image / three-dimensional map DB) 26 described later. Details of the mobile terminal 4 will be described later.
  • the plurality of information processing devices 2 are configured to be able to communicate with each other by P2P (Peer to Peer). Further, each information processing device 2 is configured to be able to communicate with the mobile terminal 4.
  • the information processing device 2 verifies the unauthenticated image uploaded to the image / three-dimensional map DB 26, and performs a verification work of whether or not to approve it as a transaction.
  • the image data approved as a transaction is image data that can be used for generating a three-dimensional map, and is image data that can be used as a consideration for providing the image data.
  • the information processing device 2 generates a three-dimensional map using an image approved as a transaction.
  • the information processing device 2 performs a mining process for recording the image used at the time of generating the three-dimensional map on the blockchain. That is, the information processing device 2 is a minor. Further, the information processing device 2 stores a part (fragmentary three-dimensional map) of the three-dimensional map generated by itself and another information processing device 2 in the image / three-dimensional map DB 26. Details of the information processing device 2 will be described later.
  • Group 3 consists of a plurality of companies 30A to 30D. Each company 30A to 30D can use a three-dimensional map. Each company 30A to 30D owns an information processing device (not shown) that acquires a fragmentary three-dimensional map stored in the information processing device (minor) 2 and integrates one three-dimensional map. Group 3 pays a reward to a minor who is the owner of the information processing device 2 that generates a three-dimensional map and an end user who is a user of the mobile terminal 4 who is an image provider. Miners are rewarded, for example, when the 3D map is updated. More specifically, the miner who generates a 3D map using images, discovers the nonce first, and generates the block connected to the blockchain is paid. In addition, the end user is paid a reward when, for example, the provided image data is used when generating a three-dimensional map.
  • FIG. 2 is a block diagram showing a configuration example of the mobile terminal 4 and the information processing device 2 which are a part of the information processing system 1.
  • the electronic device possessed by the end user may be a mobile terminal such as a smartphone or a PDA (Personal Digital Assistant), a digital camera, a video, or the like, and has at least an imaging unit and a position acquisition unit. It suffices if the image data and the position information acquired by the position acquisition unit can be uploaded to the image / three-dimensional map DB 26 directly or indirectly via another information terminal.
  • a mobile terminal 4 such as a smartphone as an electronic device possessed by an end user will be given.
  • the image information will be described here as an example, video information may be used.
  • the mobile terminal 4 has an application program that can upload the image information of the image taken by itself to the image / three-dimensional map DB26 and receive a reward when the image information is used for three-dimensional map generation. It has been downloaded in advance.
  • the mobile terminal 4 includes an image sensor 41 as an image pickup unit, a GPS (Global Positioning System) 42 as a position information acquisition unit, and a geomagnetic sensor 43 as an attitude information acquisition unit.
  • the image sensor 41 acquires image data by a shooting operation by the end user.
  • the GPS 42 detects the position information of the mobile terminal 4.
  • the GPS 42 measures its position based on triangulation using radio waves from artificial satellites orbiting the earth.
  • the position information indicates the position of the mobile terminal (end user) 4 when the image data is acquired, and the position information and the image data are associated with each other.
  • the information acquired by the GPS 42 includes date and time information such as a date and a time stamp, as well as position information such as altitude when the longitude, latitude, and altitude are used as sea level standards.
  • the geomagnetic sensor 43 detects the attitude information of the mobile terminal 4.
  • the posture information is the photographed image orientation in the true direction, and is the photographed direction information seen from the mobile terminal 4.
  • the display unit 44 displays an image or the like taken by the image sensor 41.
  • the display unit 44 is composed of an image display panel such as a liquid crystal display or an organic EL display.
  • the communication unit 45 communicates with the information processing device 2 via the wireless network.
  • the communication unit 45 transmits image information including image data and position information to the information processing device 2.
  • the transmitted image information is stored in the image / three-dimensional map DB 26.
  • the input operation unit 46 is composed of keys, buttons, a touch panel, and the like. An image is uploaded or the like by an end user's input operation using the input operation unit 46.
  • the end user who owns the mobile terminal 4 can provide image information (image data with position information) of the image acquired by himself / herself, and can receive a reward by using the image information at the time of generating a three-dimensional map. Further, in the image information acquired by the mobile terminal 4 and uploaded to the image / three-dimensional map DB 26, in addition to the image data and the position information, it is specified by which mobile terminal 4 the image associated with these is acquired. Mobile terminal information (end user information) may be included so that it can be performed. As a result, the end user who provided the image used for the three-dimensional map generation can be identified, and the end user who contributed to the three-dimensional map generation can be paid a reward.
  • the uploaded image information may include date and time information indicating the date and time of shooting acquired by GPS 42 in association with the image data. Since the timing of uploading by each mobile terminal 4 may differ from that at the time of image data acquisition, the date and time information is included in the image information, so that when the three-dimensional map is generated, the date and time information is used in addition to the position information. Data can be sorted into multiple groups. Sorting will be described later. When the date and time information is included, the image data is stored in the image / three-dimensional map DB 26 in time series based on the date and time information.
  • the information processing device 2 has a control unit 20, an image / three-dimensional map DB 26, and a recording ledger DB 27.
  • the information processing device 2 includes a program that performs image data usage determination processing, three-dimensional map generation processing using image information, and mining processing for recording image data used during three-dimensional map generation on a blockchain. ..
  • the image use determination process includes a verification operation of whether to approve the image data as a transaction and a determination operation of whether to use the image data for three-dimensional map generation.
  • the program is pre-installed in a storage unit (not shown).
  • the image / three-dimensional map DB 26 contains image information uploaded from the mobile terminal (end user) 4, a fragmentary three-dimensional map generated by itself, and a fragmentary tertiary generated by another information processing device (minor). Stores the original map.
  • the fragmentary three-dimensional map stored in the image / three-dimensional map DB 26 may be divided into fragment information after being integrated into the whole as a three-dimensional map (three-dimensional model).
  • a fragmentary three-dimensional map once integrated as a three-dimensional map and then divided into fragment information may be distributed to each information processing device (minor).
  • the image information includes at least position information and image data associated with each other, and in the present embodiment, end user information associated with the position information and image data are further included.
  • the recording ledger DB27 stores the image information used for generating the three-dimensional map in a blockchain.
  • the data stored in the recording ledger DB 27 will be referred to as blockchain data.
  • the blockchain data stored in the recording ledger DB 27 is similarly held by all of the information processing devices (miners) 2 participating in the three-dimensional map generation.
  • the blockchain data is generated by itself or another information processing device (minor) 2, and is updated as needed.
  • FIG. 3 is a conceptual diagram of the blockchain 5.
  • the blockchain 5 is configured by connecting each block 51 with a chain 52.
  • the block 51 stores transaction data, a nonce value, a hash value of the immediately preceding block, and a reward destination.
  • the transaction data is the image information used at the time of generating the three-dimensional map, and is the image data and the position information associated with each other.
  • the destination of the reward corresponds to the minor information that found the nonce.
  • the blockchain data is a recording ledger of image information used when generating a three-dimensional map.
  • the blockchain data contains information on the miners who contributed to the generation of the 3D map. Further, the blockchain data includes the image information used at the time of generating the three-dimensional map, and the image information stored in the image / three-dimensional map DB 26 includes the information of the mobile terminal 4 (end user information) in association with it. Therefore, the blockchain data indirectly includes the information of the end user who provided the image that contributed to the generation of the three-dimensional map. In this way, the blockchain data is not only a recording ledger of images used at the time of 3D map generation, but also a recording ledger of rewards paid to miners and end users who have contributed to 3D map generation.
  • the transaction data stored in the block 51 is the image data and the position information associated with each other, but in addition to this, the end user information may be included in the transaction data.
  • the image data stored in the image / 3D map DB26 is divided into two statuses: authenticated (verification completed) and unauthenticated (verification unworked).
  • authenticated verification completed
  • unauthenticated verification unworked
  • the image data that has been verified by the image use determination unit 22 of the control unit 20 described later to verify whether or not to approve it as a transaction is given an authenticated status, and the image data that has not yet been verified Is given an unauthenticated status.
  • the image data to which the authenticated status is given is divided into image data approved as a transaction and image data not approved as a transaction.
  • each information processing device 2 has a recording ledger DB 27, and each information processing device 2 has common blockchain data.
  • the control unit 20 controls a series of processes in the three-dimensional map generation.
  • the control unit 20 includes an image acquisition unit 21, an image use determination unit 22, a three-dimensional map generation unit 23 as a three-dimensional model generation unit, and a block generation unit 24.
  • the image acquisition unit 21 acquires image data to which an unauthenticated status is given from the image / three-dimensional map DB 26.
  • the image use determination unit 22 performs verification work for determining whether or not to approve the image data acquired by the image acquisition unit 21 as a transaction.
  • the verification work result is transmitted to the image / three-dimensional map DB26 and stored.
  • the determination of whether or not to approve as a transaction is a determination of whether or not the image is suitable for generating a three-dimensional map. For example, an overexposed image, an out-of-black image, an out-of-focus image, etc. are not images suitable for three-dimensional map generation because the object to be photographed is unclear. Therefore, the image use determination unit 22 uses these images as transactions. Not approve.
  • the tone of the bright part may be lost and a phenomenon called whiteout may occur in the image.
  • the image use determination unit 22 does not approve the image data as a transaction when the whiteout pixels in which such whiteout occurs are present in a predetermined ratio or more with respect to the number of pixels of the entire image.
  • a part of the screen such as night or shade is extremely dark or the difference in brightness in the screen is large, the tone of the dark part of the captured image may be lost and black crushing may occur, which is a state in which the image appears black. is there.
  • the image use determination unit 22 does not approve the image data as a transaction when the black crushed pixels in which such black crushing occurs are present in a predetermined ratio or more with respect to the number of pixels of the entire image.
  • the whiteout pixel determination and the blackout pixel determination using the luminance threshold value described in JP-A-2008-148180 can be used. Then, if the overexposed pixels or the underexposed pixels are present in a predetermined ratio or more with respect to the number of pixels of the entire image, the image data is not approved as a transaction, and if not, the image data is approved as a transaction.
  • JP-A-2010-217954 can be used, and whether or not the image use determination unit 22 approves the image data as a transaction based on the blur degree detection result. Is determined.
  • the image use determination unit 22 sorts a plurality of image data approved as a transaction into a plurality of groups based on the associated position information.
  • the position accuracy that can be determined by the GPS 42 is about several tens of meters to several hundreds of meters.
  • the image use determination unit 22 outputs the group sorted based on the position information to the three-dimensional map generation unit 23. Since the three-dimensional map generation unit 23 generates a three-dimensional map using a plurality of image data of each group sorted based on the position information, the three-dimensional map can be efficiently generated.
  • the image use determination unit 22 may determine whether or not to use the image data sorted based on the position information at the time of generating the three-dimensional map. For example, the image use determination unit 22 may determine that the image data having a high degree of similarity to the image data used at the time of generating the three-dimensional map is not used. For example, when multiple images of the same scene are shot continuously from the same place without moving in the same shooting direction with one mobile terminal, the obtained image is statistical information such as brightness histogram, average brightness value, and color distribution. It is possible to obtain images with a high degree of similarity with almost the same composition with little change in. When there are a plurality of image data having such a high degree of similarity, not all the image data is required for the three-dimensional map generation.
  • the image use determination unit 22 determines that the image data having a high degree of similarity to the image data used when generating the three-dimensional map is recognized as a transaction but is not used for the three-dimensional map generation. .. This makes it possible to prevent the occurrence of excessive uploads by the end user for the purpose of reward. For example, if the end user who provided the image data is paid according to the number of uploaded images regardless of whether or not it is used when generating the three-dimensional map, the end user has a high degree of similarity to the reward purpose. There is a possibility to upload multiple image data.
  • Whether or not the similarity is high is determined by, for example, how much the image data contributes to the 3D map generation by adding the image data at the time of generating the 3D map. More specifically, how much the number of 3D points increases when the 3D map is generated by adding the image data to be used for comparison to the image data to be compared that is determined to be used when the 3D map is generated. And so on. If the amount of increase in the three-dimensional points is a certain amount or more, the similarity can be determined to be low, and if it is lower than a certain amount, the similarity can be determined to be high. In addition, for the image data to be compared and the image data for use determination, the respective brightness histograms, average brightness, color distribution, image frequency, edge strength, etc. are acquired as reference parameters, and the similarity is obtained by comparing these. You may judge. In addition, the degree of similarity may be determined by extracting the points of interest of the image data to be compared and the image data to be determined to be used, and comparing them
  • the image use determination unit 22 may determine that the image data having almost no similarity to the image data used when generating the three-dimensional map is not used. For example, even if two end users shoot at the same position, if one shooting direction is east and the other shooting direction is west, and so on, the shot images have the same position information. Even so, the images taken by the two are completely different, and the image data has almost no similarity. That is, even if there are a plurality of image data sorted into the same group based on the position information, the shooting directions may be opposite.
  • the image use determination unit 22 compares a plurality of image data having the same position information, detects a common landmark, for example, and for the image data on which the same landmark is projected, the landmark and its surroundings are three-dimensional. It is determined that the image data used for map generation and other image data are not used for three-dimensional map generation of the landmark and its surroundings as image data having almost no similarity. The image determined not to be used can be used to generate a three-dimensional map of another area.
  • one group sorted based on the position information is further divided into a plurality of small groups by the above-mentioned method using landmarks, etc., and each small group is targeted by using the image data belonging to each small group. You may want to generate a three-dimensional model of the area of.
  • the image use determination unit 22 has insufficient information for three-dimensional map generation. If there is, it may be determined that the three-dimensional map generation using the image data classified into the group is not performed at this time.
  • the three-dimensional map generation unit 23 is portable when each image data is acquired by using a plurality of image data approved as a transaction by the image use determination unit 22 and determined to be used for three-dimensional map generation. After estimating the position and shooting direction of the terminal 4, a fragmentary three-dimensional map is generated and reconstructed based on the plurality of image data. The reconstructed and updated fragmentary 3D map is stored in the image / 3D map DB26. A reward is paid to the end user who provided the image data used when generating the 3D map. That is, the determination result by the image use determination unit 22 determines whether or not the end user is rewarded.
  • Existing technology can be used to generate a three-dimensional map using a plurality of image data.
  • an image-based 3D modeling method that restores the three-dimensional information contained in the image from one or a plurality of images or a time-series image to create a three-dimensional model can be used.
  • Image-based 3D modeling captures the optical image of a 3D scene mapped to a 2D plane as image data, and reverse-maps the 2D image data to the 3D scene to create the original 3D scene. It restores the information of.
  • FIG. 4 is a conceptual diagram illustrating an example of generating a three-dimensional model using a plurality of images. As shown in FIG. 4, the shooting position and shooting direction in which each image was acquired are estimated from the plurality of images 1, image 2, and image 3, and the images 1, image 2, and images taken from each estimated shooting position are estimated. A three-dimensional model of the object A that satisfies all of 3 is generated.
  • the block generation unit 24 generates a new block 51 to be connected to the blockchain 5, and performs a block generation process to connect the new block 51 to the blockchain 5. Further, the block generation unit 24 verifies and approves whether or not the nonce value discovered by the other information processing device (minor) 2 is correct.
  • the block generation unit 24 stores the image data and position information (transaction data) associated with each other used at the time of generating the three-dimensional map in the new block 51, and is a nonce value for connecting to the previous block 51.
  • the nonce value is found, it is verified by another information processing device (minor) 2, and when it is approved, the block generation unit 24 stores the destination of the mining reward in the new block 51, and the blockchain 5 is new.
  • the blocks 51 are connected.
  • the destination of the mining reward is the information of the miner who found the nonce value, and when the new block 51 is connected to the immediately preceding block 51, the miner who found the nonce value can receive the reward.
  • the hash value of the previous block (the previous hash value in the figure), the nonce value for connecting to the previous block 51, the transaction data (image data and position information linked to each other), and the reward.
  • the destination is stored.
  • the new block 51 is concatenated, and the updated blockchain data is stored in the recording ledger DB 27.
  • the information processing device 2 performs image data use determination processing, three-dimensional map generation processing using image information, and mining processing for recording image data used at the time of three-dimensional map generation on a blockchain.
  • FIG. 5 is a flow chart of information processing in the information processing device 2.
  • 6 to 8 are examples of display screens displayed on the mobile terminal 4 owned by the end user.
  • image information (image data and position information linked to each other) is acquired by the mobile terminal 4 possessed by the end user.
  • the example shown in FIG. 6 is a schematic plan view of the mobile terminal 4 in which the images 47A to 47C acquired by the different mobile terminals 4A to 4C are projected on the display unit 44. Both images are images of the exterior of the same hotel, and were taken from different shooting directions.
  • the image 47A acquired by the mobile terminal 4A shown in FIG. 6A is a photograph of the front of the hotel from the front side of the hotel.
  • the image 47B acquired by the mobile terminal 4B shown in FIG. 6B is taken at a position higher than that of the mobile terminal 4A, and is taken by looking down at the hotel from an oblique left.
  • the image 47C acquired by the mobile terminal 4C shown in FIG. 6C was acquired at the same altitude position as the mobile terminal 4A, and was taken by looking up at the hotel from an oblique right side.
  • a comment asking whether or not to upload the image / three-dimensional map DB 26 is displayed.
  • the end user inputs whether or not to upload according to the comment.
  • the image information is stored in the image / three-dimensional map DB 26 of each information processing device 2.
  • the image acquisition unit 21 acquires the image information (image data and position information associated with each other) stored in the image / three-dimensional map DB 26 (S1).
  • the image use determination unit 22 performs verification work of the acquired image data and determines whether or not to approve it as a transaction, and further, whether or not to use the image approved as a transaction for three-dimensional map generation. Is determined (S2).
  • the three-dimensional map generation unit 23 generates a three-dimensional map based on the image determined to be used for the three-dimensional map generation (S3).
  • the block generation unit 24 has already generated a three-dimensional map by another information processing device 2 and a nonce value has been found, the nonce value is verified and approved.
  • the block generator 24 When the nonce value is first discovered by itself generating a three-dimensional map, the block generator 24 generates a new block after being verified and approved by another information processing device 2, and blocks this new block. It is connected to the chain (S4).
  • the updated fragmentary three-dimensional map is stored in the image / three-dimensional map DB 26 of the information processing device 2.
  • the updated blockchain data is stored in all the recording ledgers DB27 of the information processing device (minor) 2 participating in the three-dimensional map generation.
  • the information about the image used for the three-dimensional map generation processing is recorded in the blockchain, and it is difficult to be tampered with retroactively, so that a highly reliable three-dimensional map can be generated.
  • FIG. 7 is an example of a display screen of the mobile terminal 4 when one user uploads, for example, three images.
  • the shooting position information, the shooting date / time information, and the reward information associated with the image are displayed on the right side of each image uploaded by the end user.
  • the reward amount is displayed in the reward information column.
  • the image in the middle of FIG. 7 is an example of an image that has a high degree of similarity to the top image and was not used for three-dimensional map generation. In this case, since the reward is not paid, the reward amount of 0 yen is displayed as the reward information.
  • the image at the bottom of FIG. 7 shows an example during usage determination by the image usage determination unit 22, and the characters processing are displayed in the reward information column. In this way, the end user can confirm the presence or absence of the reward according to the determination result of the image use determination unit 22 from the display image of the mobile terminal 4.
  • the three-dimensional map generation unit 23 estimates the position and shooting direction (attitude) of the mobile terminal 4 when each image data is acquired based on the plurality of image data at the time of generating the three-dimensional map. ..
  • FIG. 8 is an example of a confirmation screen of the three-dimensional map generation result.
  • a figure showing the area where the three-dimensional model was generated this time the position of the mobile terminal 4 when the image data used for generating the area was acquired, and the shooting direction (attitude) on the three-dimensional map ( White circles and triangles) are superimposed and displayed.
  • the white circles indicate the shooting positions of the mobile terminals 4A to 4C when the captured images 47A to 47C shown in FIG.
  • the embedded triangle indicates the shooting direction.
  • the shooting direction is the direction from the apex in contact with the white circle toward the opposite side of the apex.
  • the positions and shooting directions (attitudes) of these mobile terminals 4A to 4C are estimated based on a plurality of image data acquired by each mobile terminal when the three-dimensional map is generated.
  • the area filled with dots shown on the front side of the hotel indicates an area in which a three-dimensional image is generated using the image data acquired by the mobile terminals 4A to 4C.
  • the estimated shooting position and shooting direction are displayed graphically, and the area where the three-dimensional map is generated can be seen from the image data.
  • the confirmation screen can be confirmed by the end user, for example.
  • the number of images used for three-dimensional map generation is set to three for convenience, the number is not limited to this.
  • a highly reliable three-dimensional map is generated by the end user group and the minor group using the blockchain, and the user of the three-dimensional map uses the three-dimensional map to generate the area. You can grasp the situation. Further, the three-dimensional map can be updated at any time, and the user of the three-dimensional map can grasp the change in the situation of the area at any time by using the three-dimensional map.
  • a construction company which is a user of a 3D map, can grasp changes in the situation over time such as the number of materials, earth and sand, and the shape of a building by regularly monitoring the 3D map of a construction site. , Can perform accurate and quick construction work.
  • the blockchain is used to record the image data used at the time of generating the three-dimensional map and the minor and the end user who contributed to the generation of the three-dimensional map. It is possible to grasp the reward status to the end user. It should be noted that the effects described in the present specification are merely examples and are not limited, and other effects may be obtained.
  • the image information uploaded from the end user is image data with position information, but in addition to this, attitude information obtained from, for example, a geomagnetic sensor is uploaded. It may be included in the image information.
  • attitude information obtained from, for example, a geomagnetic sensor is uploaded. It may be included in the image information.
  • the plurality of image data can be grouped for each shooting direction by using the posture information, and the work of removing images having low similarity can be reduced. It can be unnecessary. As a result, a three-dimensional map can be efficiently generated.
  • the attitude information may be acquired by using SLAM (Simultaneous Localization and Mapping) that calculates the self-position from the feature point information of the captured image. This eliminates the need for estimating the shooting direction (posture) of the mobile terminal using a plurality of image data when generating a three-dimensional map.
  • SLAM Simultaneous Localization and Mapping
  • the position information acquisition unit may be acquired by using Wi-Fi (registered trademark).
  • each information processing device (minor) has an image / three-dimensional map DB
  • a plurality of groups including a plurality of information processing devices (minors) may be provided, and each group may share one image / three-dimensional map DB.
  • the image information and the fragmentary three-dimensional map generated by each of the information processing devices (miners) belonging to the same group are stored in one image / three-dimensional map DB.
  • each information processing device (minor) may have a DB for storing image information, and the three-dimensional map may be stored in one DB shared by a plurality of information processing devices (minor).
  • the DB in which the three-dimensional map is stored may be managed by, for example, a group 3 that uses the three-dimensional map.
  • a reward is paid to the miner who discovers the nonce value, and the reward is paid to the end user who provided the image used for the 3D map generation.
  • image data approved as a transaction may be set so that a reward is paid even if the image data has a high degree of similarity and is not used for three-dimensional map generation.
  • the reward amount is set lower than the reward for the image data used for generating the three-dimensional map.
  • the reward for the image data approved as such a transaction but not used for the 3D map generation may be stopped.
  • the timing of stopping the reward may be set in advance for a limited period such as 3 months from the start of map generation, or may be set according to the degree of completion of 3D map generation.
  • a reward is paid to the miners, and the reward may be distributed among the miners.
  • one blockchain data is configured to exist in one group 3, but the present invention is not limited to this.
  • a blockchain may be generated for each village, and a plurality of blockchains may be generated for each municipality for one group 3. You may.
  • the information processing device 2 is configured to determine an area where image data for generating a three-dimensional map is insufficient based on the generated three-dimensional map, and notify the end user of the area. May be good. As a result, it is possible to encourage the end user to actively acquire the image data in the area where the image data is insufficient, and it is possible to promote the generation of the three-dimensional map.
  • An image acquisition unit that acquires image information having image data linked to each other and position information at the time of acquisition of the above image data, and an image acquisition unit.
  • a 3D model generator that generates a 3D model using the above image information
  • An information processing device including a block generator for generating a new block connected to a blockchain formed by connecting blocks for recording image information used when generating the above three-dimensional model.
  • the three-dimensional model generation unit is an information processing device that generates a three-dimensional model using image information approved as the transaction.
  • the image use determination unit is an information processing device that determines whether or not to use the image information approved as a transaction in the generation of a three-dimensional model. (4) The information processing device according to (3) above. Whether or not the image usage determination unit uses the image data of the usage determination target for the three-dimensional model generation based on the similarity of the image data of the usage determination target to the image data used for the three-dimensional model generation. Information processing device that determines. (5) The information processing device according to any one of (2) to (4) above. The image use determination unit is an information processing device that sorts a plurality of the above image information using the above position information. (6) The information processing device according to (5) above.
  • the three-dimensional model generation unit is an information processing device that generates the three-dimensional model using a plurality of the image information sorted by using the position information. (7) Acquire unauthenticated image information having image data linked to each other and position information at the time of acquisition of the above image data. A three-dimensional model is generated using the above image information, An information processing method for generating a new block connected to a blockchain formed by connecting blocks in which image information used when generating the above three-dimensional model is recorded.
  • the three-dimensional model generation unit that generates a three-dimensional model using the image data associated with each other and the image information having the position information at the time of acquiring the image data, and the image information used at the time of generating the three-dimensional model are
  • An information processing system including a plurality of information processing devices, including a block generation unit that generates a new block connected to a block chain formed by connecting recorded blocks.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】ある領域の状況を把握することが可能な情報処理装置、情報処理方法、プログラム及び情報処理システムを提供する。 【解決手段】情報処理装置は、画像取得部と、三次元モデル生成部と、ブロック生成部とを具備する。上記画像取得部は、互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する画像情報を取得する。上記三次元モデル生成部は、上記画像情報を用いて三次元モデルを生成する。上記ブロック生成部は、上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成する。

Description

情報処理装置、情報処理方法、プログラム及び情報処理システム
　本技術は、ブロックチェーンを用いた情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。
　特許文献１には、建設現場等において、ドローン（無人飛行機）によって測量対象の土地を空撮した撮像画像について解析し、その土地の地形形状を示す３Ｄデータ等を生成することが記載されている。
特開２０１７－１３８１０９号公報
　例えば建設現場では、資材の数やその置き場、土砂、建設する建物の形状等、時間経過とともに状況が変化する。正確かつ迅速な建設作業を行うために状況変化を定期的にモニタリングして管理することが望まれている。
　本技術の目的は、ある領域の状況を把握することが可能な情報処理装置、情報処理方法、プログラム及び情報処理システムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、画像取得部と、三次元モデル生成部と、ブロック生成部とを具備する。
　上記画像取得部は、互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する画像情報を取得する。
　上記三次元モデル生成部は、上記画像情報を用いて三次元モデルを生成する。
　上記ブロック生成部は、上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成する。
　このような構成によれば、ブロックチェーンによって時系列順に１本の鎖状に情報が記録され、さかのぼって改ざんされ難くなっており、信頼度の高い三次元モデルを生成することができる。
　上記画像情報を、トランザクションとして承認するか否かを検証する画像使用判定部を更に具備し、上記三次元モデル生成部は、上記トランザクションとして承認した画像情報を用いて三次元モデルを生成してもよい。
　上記画像使用判定部は、トランザクションとして承認された画像情報を、三次元モデル生成において使用するか否かを判定してもよい。
　上記画像使用判定部は、使用判定対象の画像データの、上記三次元モデル生成に使用する画像データに対する類似度に基づいて、上記使用判定対象の画像データを三次元モデル生成に使用するか否かを判定してもよい。
　上記画像使用判定部は、上記位置情報を用いて複数の上記画像情報を仕分けてもよい。
　上記三次元モデル生成部は、上記位置情報を用いて仕分けされた複数の上記画像情報を用いて上記三次元モデルを生成してもよい。
　上記目的を達成するため、本技術の一形態に係る情報処理方法は、互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する未認証の画像情報を取得し、上記画像情報を用いて三次元モデルを生成し、上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成する。
　上記目的を達成するため、本技術の一形態に係るプログラムは、互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する画像情報を取得するステップと、上記画像情報を用いて三次元モデルを生成するステップと、上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するステップを含む処理を情報処理装置に実行させる。
　上記目的を達成するため、本技術の一形態に係る情報処理システムは、複数の情報処理装置を具備する。
　上記情報処理装置は、互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する画像情報を用いて三次元モデルを生成する三次元モデル生成部と、上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するブロック生成部とを備える。
情報処理システムの構成を説明する概略図である。 上記情報処理示システムの一部を構成する情報処理装置及び携帯端末の構成例を示すブロック図である。 ブロックチェーンを説明する図である。 複数の画像から三次元モデルを生成する概念図である。 上記情報処理装置による情報処理方法を説明するフロー図である。 エンドユーザの携帯端末に表示される表示画面の一例である。 エンドユーザの携帯端末に表示される表示画面の一例である。 モデリング結果の確認画面の一例である。
　[情報処理システムの概要]
　本技術の実施形態に係る情報処理システムついて、図１を用いて説明する。
　図１は、情報処理システム１の構成を示す概略図である。
　本実施形態における情報処理システム１では、例えば市町村単位のある領域の三次元地図が生成され、この三次元地図を、例えば土木建設会社や三次元地図を用いたゲームを提供する会社等が利用可能となっている。このようなある領域の三次元地図の利用という点で一致する複数の会社がアライアンスを結んでグループを形成してもよい。
　三次元地図は、地理空間情報を含む三次元モデルである。
　情報処理システム１では、三次元地図は、不特定多数の画像提供者（エンドユーザ）から提供された複数の画像を基に複数の情報処理装置（マイナー）によって生成、更新される。三次元地図生成に用いられた画像はブロックチェーンで記録されていく。
　例えば、三次元地図の利用者である土木建設会社は、随時更新される三次元地図を見ることにより、資材の数や置き場、土砂の様子等、建設現場の状況等を的確に把握することができる。また、例えば、ゲームを提供する会社は、三次元地図を用いたゲームの製作等に三次元地図を活用することができる。
　本実施形態の情報処理システム１では、マイナーは三次元地図の生成に対して、エンドユーザは画像提供に対して、三次元地図の利用者から報酬を得る。報酬については後述する。
　図１に示すように、情報処理システム１は、複数の情報処理装置（マイナー）２からなるマイナー群６と、アライアンスを結んだ複数の会社３０Ａ～３０Ｄからなるグループ３と、複数の携帯端末（エンドユーザ）４からなるエンドユーザ群７と、を有する。
　図１において、各携帯端末を区別するために、４Ａ～４Ｃの符号を付したが、特に区別する必要がない場合は、携帯端末４と称して説明する。また、図１では、便宜的に、携帯端末４の数を３つ、アライアンスを結ぶ会社の数を４つ、情報処理装置（マイナー）２の数を３つで図示しているが、これらの数に限定されない。
　携帯端末４は、不特定多数のエンドユーザによって所持される。エンドユーザは、三次元地図生成の対象となる領域を撮影した画像データを提供する画像提供者であり、例えば一般生活者である。エンドユーザは、携帯端末４を用いて撮影した画像の画像情報を、後述する画像・三次元地図データベース（以下、画像・三次元地図ＤＢという。）２６にアップロードすることができる。
　携帯端末４の詳細については後述する。
　複数の情報処理装置２同士は、Ｐ２Ｐ（Peer to Peer）により通信可能に構成される。また、各情報処理装置２は携帯端末４と通信可能に構成される。
　情報処理装置２は、画像・三次元地図ＤＢ２６にアップロードされている未認証の画像を検証し、トランザクションとして承認するかしないかの検証作業を行う。トランザクションとして承認される画像データとは、三次元地図生成に用いることが可能な画像データであり、画像データ提供の対価となり得る画像データである。
　また、情報処理装置２は、トランザクションとして承認した画像を用いて三次元地図を生成する。
　更に、情報処理装置２は、三次元地図の生成時に用いた画像をブロックチェーンで記録するためのマイニング処理を行う。すなわち、情報処理装置２はマイナーである。
　更に、情報処理装置２は、自身及び他の情報処理装置２が生成した三次元地図の一部分（断片的な三次元地図）を画像・三次元地図ＤＢ２６に記憶する。
　情報処理装置２の詳細については後述する。
　グループ３は、複数の会社３０Ａ～３０Ｄからなる。各会社３０Ａ～３０Ｄは、三次元地図を利用することができる。各会社３０Ａ～３０Ｄは、情報処理装置（マイナー）２が格納する断片的な三次元地図を取得し、１つの三次元地図を統合する図示しない情報処理装置を所有する。
　グループ３は、三次元地図を生成する情報処理装置２の所持者であるマイナー及び画像提供者となる携帯端末４の利用者であるエンドユーザに対して報酬を支払う。
　マイナーに対しては、例えば三次元地図が更新されたときに報酬が支払われる。より具体的には、画像を用いて三次元地図を生成し、ノンスを最初に発見してブロックチェーンに連結されるブロックを生成したマイナーに報酬が支払われる。
　また、エンドユーザに対しては、例えば提供した画像データが三次元地図生成の際に用いられた場合に報酬が支払われる。
　次に、図２を用いて携帯端末４及び情報処理装置２について説明する。
　図２は、情報処理システム１の一部である携帯端末４及び情報処理装置２の構成例を示すブロック図である。
　[携帯端末（エンドユーザ）]
　エンドユーザが所持する電子機器としては、スマートフォンやＰＤＡ（Personal Digital Assistant）などの携帯端末の他、デジタルカメラやビデオ等であってもよく、少なくとも撮像部と位置取得部を有し、これら撮像部及び位置取得部で取得された画像データ及び位置情報を、直接的又は他の情報端末機を間に介して間接的に画像・三次元地図ＤＢ２６にアップロード可能であればよい。本実施形態では、エンドユーザが所持する電子機器としてスマートフォンといった携帯端末４を用いる例をあげる。また、ここでは、画像情報を例にあげて説明するが、映像情報を用いてもよい。
　携帯端末４には、自身が撮影した画像の画像情報を画像・三次元地図ＤＢ２６にアップロードし、当該画像情報が三次元地図生成に使用された場合に報酬を受け取ることが可能となるアプリケーションプログラムが予めダウンロードされている。
　図２に示すように、携帯端末４は、撮像部としての撮像素子４１と、位置情報取得部としてのＧＰＳ（Global Positioning System、全地球測位システム）４２と、姿勢情報取得部としての地磁気センサ４３と、表示部４４と、通信部４５と、入力操作部４６と、を有する。
　撮像素子４１は、エンドユーザによる撮影動作によって画像データを取得する。
　ＧＰＳ４２は、携帯端末４の位置情報を検出する。ＧＰＳ４２は、地球を周回する人工衛星からの電波を用いた三角測量に基づき、自身の位置を計測する。位置情報は、画像データを取得したときの携帯端末（エンドユーザ）４の位置を示すものであり、位置情報と画像データとは互いに紐づけられる。ＧＰＳ４２で取得される情報には、経度、緯度、高度の基準を海抜基準としたときの高度等の位置情報の他、日付、タイムスタンプ等の日時情報が含まれる。
　地磁気センサ４３は携帯端末４の姿勢情報を検出する。姿勢情報は真方位での撮影画像方位であり、携帯端末４からみた撮影方向情報である。
　表示部４４は、撮像素子４１で撮影した画像等を表示する。表示部４４は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等の画像表示パネルで構成される。
　通信部４５は、無線ネットワークを介して情報処理装置２との通信を行う。通信部４５は、情報処理装置２に対して、画像データ及び位置情報を含む画像情報を送信する。送信された画像情報は画像・三次元地図ＤＢ２６に格納される。
　入力操作部４６は、キー、ボタン、タッチパネルなどにより構成される。入力操作部４６を用いたエンドユーザの入力操作によって、画像のアップロード等が行われる。
　携帯端末４を所持するエンドユーザは、自身が取得した画像の画像情報（位置情報付き画像データ）を提供し、当該画像情報が三次元地図生成時に使用されることにより報酬を受け取ることができる。
　また、携帯端末４で取得され、画像・三次元地図ＤＢ２６にアップロードされる画像情報には、画像データ及び位置情報に加え、これらに紐づけされた当該画像がどの携帯端末４により取得されたかが特定できるように携帯端末情報（エンドユーザ情報）が含まれていてもよい。これにより、三次元地図生成に使用された画像を提供したエンドユーザを特定することができ、三次元地図生成に貢献したエンドユーザに対して報酬を支払うことができる。
　また、アップロードされる画像情報に、ＧＰＳ４２で取得された撮影時の日時を示す日時情報が画像データに紐づけされて含まれていてもよい。各携帯端末４によってアップロードが行われるタイミングは画像データ取得時と異なる場合もあるので、画像情報に日時情報が含まれることにより、三次元地図生成時に、位置情報に加えて日時情報も用いて画像データを複数のグループに仕分けることができる。仕分けについては後述する。日時情報が含まれる場合、画像・三次元地図ＤＢ２６では、画像データは日時情報に基づいて時系列に格納される。
　[情報処理装置（マイナー）]
　図２に示すように、情報処理装置２は、制御部２０と、画像・三次元地図ＤＢ２６と、記録台帳ＤＢ２７と、を有する。
　情報処理装置２は、画像データの使用判定処理、画像情報を用いた三次元地図生成処理、三次元地図生成時に用いた画像データをブロックチェーンで記録するためのマイニング処理を行うプログラムを備えている。上記画像の使用判定処理には、画像データをトランザクションとして承認するか否かの検証作業と、画像データを三次元地図生成に使用するか否かの判定作業が含まれる。プログラムは、図示しない記憶部に予めインストールされている。
　画像・三次元地図ＤＢ２６は、携帯端末（エンドユーザ）４からアップロードされる画像情報と、自身が生成した断片的な三次元地図と、他の情報処理装置（マイナー）が生成した断片的な三次元地図と、を格納する。画像・三次元地図ＤＢ２６に格納される断片的な三次元地図は、一旦三次元地図（三次元モデル）として全体に統合した後に断片情報に複数分けられたものであってもよい。一旦三次元地図として全体に統合した後に断片情報に分けられた断片的な三次元地図が、各情報処理装置（マイナー）に分配されてもよい。
　画像情報には、互いに紐づけされた位置情報及び画像データが少なくとも含まれ、本実施形態ではこれに紐づけられたエンドユーザ情報が更に含まれている。
　記録台帳ＤＢ２７は、三次元地図生成に使用した画像情報をブロックチェーンで格納する。以下、記録台帳ＤＢ２７に格納されるデータをブロックチェーンデータと称して説明する。記録台帳ＤＢ２７に格納されるブロックチェーンデータは、三次元地図生成に参加する情報処理装置（マイナー）２の全てによって同じように保有される。ブロックチェーンデータは、自身又は他の情報処理装置（マイナー）２によって生成され、随時更新される。
　図３はブロックチェーン５の概念図である。ブロックチェーン５は、各ブロック５１がチェーン５２によって連結されて構成される。詳細については後述するが、ブロック５１には、トランザクションデータと、ノンス値と、直前のブロックのハッシュ値と、報酬の送付先が格納される。本実施形態において、トランザクションデータは、三次元地図生成時に用いられた画像情報であり、互いに紐づけされた画像データと位置情報である。報酬の送付先は、ノンスを発見したマイナー情報に相当する。
　ブロックチェーンデータは、三次元地図生成時に使用した画像情報の記録台帳である。
　ブロックチェーンデータには三次元地図生成に貢献したマイナーの情報が含まれる。また、ブロックチェーンデータには三次元地図生成時に用いた画像情報が含まれ、画像・三次元地図ＤＢ２６に格納される画像情報には携帯端末４の情報（エンドユーザ情報）が紐づけされて含まれているので、ブロックチェーンデータには三次元地図生成に貢献した画像を提供したエンドユーザの情報が間接的に含まれる。
　このように、ブロックチェーンデータは、三次元地図生成時に使用した画像の記録台帳であるとともに、三次元地図生成に貢献したマイナー及びエンドユーザに対して支払われる報酬の記録台帳にもなる。
　尚、ここでは、ブロック５１に格納されるトランザクションデータは互いに紐づけされた画像データと位置情報であるとしたが、これに加えエンドユーザ情報がトランザクションデータに含まれていてもよい。
　画像・三次元地図ＤＢ２６に格納される画像データは、認証済（検証作業済）と未認証（検証未作業）の２つのステータスに分けられる。後述する制御部２０の画像使用判定部２２によって、トランザクションとして承認するか否かの検証作業が行われた画像データには認証済のステータスが付与され、まだ検証作業が行われていない画像データには未認証のステータスが付与される。認証済のステータスが付与されている画像データは、トランザクションとして承認された画像データと、トランザクションとして承認されていない画像データとに分けられる。
　情報処理装置（マイナー）２は複数存在し、それぞれが記録台帳ＤＢ２７を有しており、各情報処理装置２は、共通のブロックチェーンデータを持つ。
　制御部２０は、三次元地図生成における一連の処理を制御する。
　制御部２０は、画像取得部２１と、画像使用判定部２２と、三次元モデル生成部としての三次元地図生成部２３と、ブロック生成部２４と、を有する。
　画像取得部２１は、画像・三次元地図ＤＢ２６から未認証のステータスが付与されている画像データを取得する。
　画像使用判定部２２は、画像取得部２１で取得した画像データを、トランザクションとして承認するか否かを判定する検証作業を行う。検証作業結果は画像・三次元地図ＤＢ２６に送信され、記憶される。
　トランザクションとして承認するか否かの判定は、三次元地図生成に適した画像か否かの判定である。例えば、白とびした画像、黒つぶれした画像、ピンボケした画像等は、撮影対象物が不明瞭で三次元地図生成に適した画像ではないため、画像使用判定部２２は、これらの画像をトランザクションとして承認しない。
　例えば日光の強い場所や白の服など明るいものがあるところで撮影した際、明るい部分の諧調が失われ真っ白になる白とびという現象が画像に生じる場合がある。画像使用判定部２２は、このような白とびが発生した白とび画素が、画像全体の画素数に対して所定の割合以上存在する場合は、その画像データをトランザクションとして承認しない。
　また、夜や日陰などの画面内の一部分が極度に暗い場合や画面内の明暗差が大きいときに、撮影した画像の暗い部分の諧調が失われ真っ黒に映る状態である黒つぶれが生じる場合がある。画像使用判定部２２は、このような黒つぶれが発生した黒つぶれ画素が、画像全体の画素数に対して所定の割合以上存在する場合は、その画像データをトランザクションとして承認しない。
　白とび画素及び黒つぶれ画素の検出は、例えば特開２００８－１４８１８０号公報に記載される輝度閾値を用いた白とび画素判定及び黒つぶれ画素判定を用いることができる。そして、画像全体の画素数に対して所定の割合以上に白とび画素又は黒つぶれ画素が存在した場合はその画像データをトランザクションとして承認せず、存在しない場合はその画像データをトランザクションとして承認する。
　また、ピンボケの検出は、例えば特開２０１０－２１７９５４号公報に記載される技術を用いることができ、画像使用判定部２２は、ボケ度検出結果に基づいて、画像データをトランザクションとして承認するか否かを判定する。
　また、画像使用判定部２２は、トランザクションとして承認した複数の画像データを、紐づけされている位置情報に基づいて、複数のグループに仕分けをする。
　ここで、ＧＰＳ４２で判定できる位置精度は数十ｍから数百ｍ程度である。画像データに紐づけられた位置情報を用いることにより、複数の画像データを、例えば同じ位置情報を有する画像データを１つのグループとして、複数のグループに仕分けることができる。
　画像使用判定部２２は、位置情報に基づいて仕分けしたグループを三次元地図生成部２３に出力する。三次元地図生成部２３では、位置情報に基づいて仕分けされた各グループの複数の画像データを用いて三次元地図を生成するので、効率よく三次元地図を生成することができる。
　更に、画像使用判定部２２は、位置情報に基づいて仕分けされた画像データを、三次元地図生成時に使用するか否かを判定してもよい。
　例えば、画像使用判定部２２は、三次元地図生成時に使用した画像データと類似度の高い画像データは使用しないと判定してもよい。
　例えば１つの携帯端末で同じ場所から同じ撮影方向で移動することなく連写して複数枚同じようなシーンを撮影した場合、得られる画像は、輝度ヒストグラム、平均輝度値、色分布などの統計的情報に関して変化が少なく、ほぼ同じ構図の類似度の高い画像となり得る。このような類似度の高い複数の画像データが存在する場合、三次元地図生成に全ての画像データは必要ではない。このような場合、画像使用判定部２２は、三次元地図生成時に使用する画像データに類似度が高い画像データは、トランザクションとしては認めるが、三次元地図生成には使用しない、との判定を行う。
　これにより、報酬を目的としたエンドユーザによる過剰なアップロードの発生を防止することができる。例えば、三次元地図生成時に使用するか否かを問わず画像データを提供したエンドユーザに対してアップロードした画像数に応じて報酬が支払われるとした場合、エンドユーザは報酬目的に類似度の高い画像データを複数アップロードする可能性がある。これに対して、上述したように、既に三次元地図生成に使用した画像データと類似度の高い画像データは使用しないとし、三次元地図生成時に使用された画像に対して報酬を支払う形態とすることにより、報酬目的のエンドユーザによる過剰な無用な画像のアップロードの発生を防止することができる。
　類似度が高いか否かの判定は、例えば、三次元地図生成時に画像データを追加することによって三次元地図生成にその画像データがどの程度寄与するかによって行われる。より具体的には、三次元地図生成時に使用すると判定した比較対象となる画像データに対して、使用判定対象の画像データを追加することによって三次元地図生成時に三次元の点がどれほど増加するか等によって判定することができる。三次元の点の増加量がある一定量以上であれば類似度が低く、ある一定量よりも低ければ類似度が高いと判定することができる。
　このほか、比較対象となる画像データと使用判定の画像データについて、それぞれの輝度ヒストグラム、平均輝度、色分布、画像周波数、エッジ強度等を参照パラメータとして取得し、これらを比較することによって類似度を判定してもよい。
　また、このほか、比較対象となる画像データと使用判定対象の画像データについて、それぞれの注目点を抽出し、これらを比較することによって類似度を判定してもよい。
　また、画像使用判定部２２は、三次元地図生成時に使用する画像データと類似度がほとんどない画像データは使用しないと判定してもよい。
　例えば、２人のエンドユーザが同じ位置で撮影しても、一方の撮影方向が東で、他方の撮影方向が西であるというように反対の方向を撮影した場合、撮影画像が同じ位置情報をもっていても、両者がそれぞれ撮影した画像は全く異なるものとなり、類似度がほとんどない画像データとなる。すなわち、位置情報に基づいて同じグループに仕分けされた複数の画像データであっても、撮影方向が反対の場合もあり得る。
　画像使用判定部２２は、例えば、同じ位置情報をもつ複数の画像データを比較して、例えば共通のランドマークを検出し、同じランドマークが写し出される画像データについてはランドマーク及びその周辺の三次元地図生成に使用し、それ以外の画像データは類似度がほとんどない画像データとして、ランドマーク及びその周辺の三次元地図生成には使用しないとの判定をする。尚、使用しないと判定した画像は、他の領域の三次元地図の生成に使用することができる。
　尚、位置情報に基づいて仕分けされた１つのグループを、上述のランドマークを用いた手法等で、更に複数の小グループにわけ、小グループ毎に、各小グループに属する画像データを用いて対象の領域の三次元モデルを生成するようにしてもよい。
　また、画像使用判定部２２は、位置情報に基づいて分けられた１つのグループを構成する複数の画像データの数が、所定の数以下である場合、三次元地図生成には情報が不十分であるとして、現時点では当該グループに分類された画像データを用いた三次元地図生成は行わないと判定してもよい。
　このように、画像データに紐づけられる位置情報を用いることにより、画像データを絞り込んで三次元地図を生成することができ、効率の良い処理が可能となる。
　三次元地図生成部２３は、画像使用判定部２２で、トランザクションとして承認され、かつ、三次元地図生成に使用すると判定された複数の画像データを用いて、各画像データが取得されたときの携帯端末４の位置及び撮影方向を推定した後、当該複数の画像データを基に断片的な三次元地図を生成し、再構築する。再構築され更新された断片的な三次元地図は、画像・三次元地図ＤＢ２６に格納される。
　三次元地図生成時に使用した画像データを提供したエンドユーザに対しては報酬が支払われる。すなわち、画像使用判定部２２による判定結果は、エンドユーザへの報酬の有無を決定する。
　複数の画像データを用いた三次元地図の生成には既存の技術を用いることができる。例えば、１枚又は複数枚の画像や時系列画像から、画像の中に含まれている三次元情報を復元し、三次元モデルを作り上げるイメージベースド３Ｄモデリング手法を用いることができる。イメージベースド三次元モデリングとは、三次元シーンの光学像が二次元平面に写像されたものを画像データとして捉え、その二次元画像データから三次元シーンへの逆写像を行い、元の三次元シーンの情報を復元するものである。モデルベースの３Ｄモデリング手法、ステレオ計測法による３Ｄモデリング手法、時系列画像を用いる３Ｄ形状復元手法などがある。
　図４は、複数の画像を用いた三次元モデル生成の一例を説明する概念図である。図４に示すように、複数の画像１、画像２、画像３から、各画像が取得された撮影位置及び撮影方向が推定され、推定された各撮影位置から撮影した画像１、画像２、画像３を全て満たすような物体Ａの三次元モデルを生成する。
　図３を参照する。ブロック生成部２４は、ブロックチェーン５に連結する新しいブロック５１を生成し、当該新しいブロック５１をブロックチェーン５に連結するブロック生成処理を行う。また、ブロック生成部２４は、他の情報処理装置（マイナー）２が発見したノンス値が正しいか否かを検証し、承認する。
　詳細には、ブロック生成部２４は、三次元地図生成時に用いた互いに紐づけされた画像データ及び位置情報（トランザクションデータ）を新しいブロック５１に格納し、前のブロック５１に連結するためのノンス値を探索する。ノンス値が見つかると他の情報処理装置（マイナー）２による検証が行われ、承認を受けると、ブロック生成部２４は、マイニングの報酬の送付先を新しいブロック５１に格納し、ブロックチェーン５に新しいブロック５１を連結する。マイニングの報酬の送付先とはノンス値を発見したマイナーの情報であり、新しいブロック５１が直前のブロック５１につながると、ノンス値を発見したマイナーは報酬を受け取ることができる。
　ブロック５１には、直前のブロックのハッシュ値（図上、前回のハッシュ値）、前のブロック５１につなぐためのノンス値、トランザクションデータ（互いに紐づけされた画像データ及び位置情報）、及び、報酬の送付先が格納される。
　新しいブロック５１が連結され、更新されたブロックチェーンデータは、記録台帳ＤＢ２７に格納される。
　このように情報処理装置２では、画像データの使用判定処理、画像情報を用いた三次元地図生成処理、三次元地図生成時に用いた画像データをブロックチェーンで記録するためのマイニング処理が行われる。
　[情報処理方法]
　図５～図８を用いて情報処理システム１における処理の流れについて説明する。
　図５は、情報処理装置２における情報処理のフロー図である。図６～図８は、エンドユーザが所持する携帯端末４に表示される表示画面の一例である。
　まず、エンドユーザが所持する携帯端末４により画像情報（互いに紐づけされた画像データ及び位置情報）が取得される。
　図６に示す例は、互いに異なる携帯端末４Ａ～４Ｃそれぞれが取得した画像４７Ａ～４７Ｃが表示部４４に写し出された携帯端末４の概略平面図である。いずれの画像も、同じホテルの外観の画像であり、それぞれ異なる撮影方向から撮影されたものである。例えば図６（Ａ）に示す携帯端末４Ａで取得された画像４７Ａはホテルの正面側からホテル正面を撮影したものである。図６（Ｂ）に示す携帯端末４Ｂで取得された画像４７Ｂは、携帯端末４Ａよりも高度が高い位置で撮影され、ホテルを左斜めから見下ろして撮影したものである。図６（Ｃ）に示す携帯端末４Ｃで取得された画像４７Ｃは、携帯端末４Ａと同じ高度位置で取得され、ホテルを右斜めから見上げて撮影したものである。
　表示部４４には、アップロードの対象となる画像が表示される他、例えば画像・三次元地図ＤＢ２６へのアップロードの有無を問うコメントが表示される。エンドユーザは、そのコメントに従ってアップロードの有無の入力を行う。アップロードをするという入力操作が行われると、画像情報は各情報処理装置２の画像・三次元地図ＤＢ２６に格納される。
　次に、図５に示すように、画像取得部２１により画像・三次元地図ＤＢ２６に格納されている画像情報（互いに紐づけされた画像データ及び位置情報）が取得される（Ｓ１）。
　次に、画像使用判定部２２により、取得した画像データの検証作業が行われトランザクションとして承認するか否かが判定され、更に、トランザクションとして承認された画像を三次元地図生成に使用するか否かが判定される（Ｓ２）。
　次に、三次元地図生成部２３により、三次元地図生成に使用すると判定された画像を基に三次元地図が生成される（Ｓ３）。
　次に、ブロック生成部２４により、既に他の情報処理装置２で三次元地図が生成されノンス値が発見されている場合は、このノンス値の検証、承認が行われる。自身が三次元地図を生成し、最初にノンス値を発見した場合は、他の情報処理装置２による検証、承認を受けた後、ブロック生成部２４は新しいブロックを生成し、この新しいブロックをブロックチェーンに連結させる（Ｓ４）。更新された断片的な三次元地図は、情報処理装置２の画像・三次元地図ＤＢ２６に格納される。更新されたブロックチェーンデータは、三次元地図生成に参加する情報処理装置（マイナー）２の全ての記録台帳ＤＢ２７に格納される。
　このように、本実施形態では、ブロックチェーンで三次元地図生成処理に用いた画像に関する情報が記録され、さかのぼって改ざんされ難くなっており、信頼度の高い三次元地図を生成することができる。
　エンドユーザは、１枚以上の画像をアップロードすることが可能である。図７は、１人のユーザが例えば３枚の画像をアップロードした場合の携帯端末４の表示画面例である。図７に示すように、エンドユーザがアップロードした画像それぞれの右側に、当該画像に紐づけられる撮影位置情報、撮影日時情報、報酬情報が表示される。
　図７の一番上の画像が三次元地図生成に使用された場合、報酬情報の欄に報酬額が表示される。図７の真中の画像は、一番上の画像と類似度が高く三次元地図生成に使用されなかった画像例である。この場合、報酬は支払われないため、報酬情報として報酬額０円が表示される。図７の一番下の画像は、画像使用判定部２２による使用判定中の例を示すものであり、報酬情報の欄にはprocessing（処理中）の文字が表示される。
　このように、エンドユーザは、画像使用判定部２２の判定結果に応じた報酬の有無を、携帯端末４の表示画像によって確認することができる。
　上述したように、三次元地図生成部２３は、三次元地図生成時に、複数の画像データを基にそれぞれの画像データが取得されたときの携帯端末４の位置と撮影方向（姿勢）を推定する。
　図８は、三次元地図生成結果の確認画面の一例である。図８では、三次元地図に、今回三次元モデルを生成した領域と、当該領域を生成するのに用いた画像データを取得したときの携帯端末４の位置及び撮影方向（姿勢）を示す図形（白抜き円及び三角形）が重畳されて表示される。
　図８上、白抜きの円は、図６に示す撮影画像４７Ａ～４７Ｃが撮影されたときの各携帯端末４Ａ～４Ｃの撮影位置を示し、携帯端末４Ａ～４Ｃ毎に図示しているドットで埋められた三角形は撮影方向を示す。撮影方向を示す三角形において白抜きの円に接触する頂点から当該頂点の対向辺に向かう方向が撮影方向である。これらの携帯端末４Ａ～４Ｃの位置、撮影方向（姿勢）は、三次元地図生成時に、各携帯端末が取得した複数の画像データを基にして推定される。
　図８上、ホテルの正面側に図示したドットで埋められた領域は、携帯端末４Ａ～４Ｃで取得した画像データを用いて三次元画像を生成した領域を示す。
　このように、図８に示す確認画面では、推定された撮影位置と撮影方向が図形で表示され、画像データによって三次元地図が生成された領域がわかるように表示される。確認画面は例えばエンドユーザによって確認できるようになっている。
　尚、ここでは便宜的に三次元地図生成に用いられる画像数を３枚としたが、これに限定されない。
　以上のように、本実施形態では、ブロックチェーンを用いてエンドユーザ群及びマイナー群によって信頼度の高い三次元地図が生成され、三次元地図の利用者は、三次元地図を用いてその領域の状況を把握することができる。更に、三次元地図は随時更新可能となっており、三次元地図の利用者は、三次元地図を用いてその領域の状況変化を随時把握することができる。
　例えば、三次元地図利用者である建設会社が、建設現場の三次元地図を定期的にモニタリングすることにより、資材の数、土砂、建物の形状等の時間経過による状況変化を把握することができ、正確かつ迅速な建設作業を行うことができる。
　また、本実施形態では、ブロックチェーンを用いて、三次元地図生成時に用いた画像データの記録と三次元地図生成に貢献したマイナー及びエンドユーザの記録が行われるので、この記録を用いてマイナー及びエンドユーザへの報酬状況を把握することができる。
　尚、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、上述の実施形態においては、エンドユーザからアップロードされる画像情報は、位置情報付き画像データである例をあげたが、これに加えて、例えば地磁気センサ等から得られる姿勢情報がアップロードされる画像情報に含まれていてもよい。これにより、三次元地図生成時に複数の画像データを用いた携帯端末の撮影方向（姿勢）の推定作業が不要となる。また、例えば、同じ位置情報の複数の画像データがあった場合、姿勢情報を用いて、複数の画像データを撮影方向毎にグループ分けすることができ、類似度の低い画像を除く作業を軽減又は不要とすることができる。これにより、効率よく三次元地図を生成することができる。
　また、姿勢情報取得部として地磁気センサを例にあげたが、撮影画像の特徴点情報から自己位置算出を行うＳＬＡＭ（Simultaneous Localization and Mapping）を利用して姿勢情報を取得してもよい。これにより、三次元地図生成時に複数の画像データを用いた携帯端末の撮影方向（姿勢）の推定作業が不要となる。
　また、上述の実施形態においては、位置情報取得部としてＧＰＳを用いる例をあげたが、Ｗｉ－Ｆｉ（登録商標）を用いて位置情報を取得するように構成してもよい。
　また、上述の実施形態においては、各情報処理装置（マイナー）それぞれが画像・三次元地図ＤＢを持つ例をあげたが、これに限定されない。
　例えば、複数の情報処理装置（マイナー）からなるグループを複数設け、各グループで１つの画像・三次元地図ＤＢを共有してもつように構成してもよい。この場合、画像情報と、同じグループに所属する情報処理装置（マイナー）それぞれが生成した断片的な三次元地図が１つの画像・三次元地図ＤＢに格納される。
　また、画像情報を格納するＤＢは各情報処理装置（マイナー）それぞれが持ち、三次元地図は複数の情報処理装置（マイナー）で共有する１つのＤＢに格納する構成としてもよい。この三次元地図が格納されるＤＢは、例えば三次元地図を利用するグループ３が管理していてもよい。
　また、上述の実施形態において、三次元地図が更新されたときに、ノンス値を発見したマイナーに報酬が支払われ、三次元地図生成に使用された画像を提供したエンドユーザに報酬が支払われる例をあげたが、これに限定されるものではない。
　一例として、トランザクションとして承認された画像データに対しては、例えば類似度が高く三次元地図生成に使用されなくとも報酬が支払われるように設定してもよい。この場合、報酬金額は、三次元地図生成に使用された画像データに対する報酬よりも低く設定する。これにより、三次元地図生成の初期段階では、より多くの画像データが必要となってくるため、エンドユーザによる、ピンボケ等の不適切な画像データのアップロードを抑制しつつ、多くの画像データのアップロードを促すことができる。尚、三次元地図生成がある程度生成された段階以降は、このようなトランザクションとして承認されているが三次元地図生成に使用されなかった画像データへの報酬が停止されてもよい。この報酬の停止のタイミングは、地図生成開始から３か月など予め期間を限定して設定してもよいし、三次元地図生成の完成度に応じて設定されてもよい。
　また、更に他の例として、三次元地図利用者である会社３０が三次元地図を利用したときにマイナーに報酬が支払われ、各マイナーで報酬を分配するようにしてもよい。
　また、上述の実施形態では、１つのグループ３に１つのブロックチェーンデータが存在するように構成したが、これに限定されない。例えば、３つの村からなる地域の三次元地図を生成する場合、村毎にブロックチェーンを生成してもよく、１つのグループ３に対して、市町村単位でブロックチェーンを複数生成するように構成してもよい。
　また、情報処理装置２が、生成された三次元地図を基に、三次元地図生成のための画像データが不足している領域を判定し、その領域をエンドユーザに通知するように構成してもよい。これにより、画像データが不足している領域の画像データのエンドユーザによる積極的な取得を促すことができ、三次元地図生成を促進することができる。
　なお、本技術は以下のような構成もとることができる。
　（１）
　互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する画像情報を取得する画像取得部と、
　上記画像情報を用いて三次元モデルを生成する三次元モデル生成部と、
　上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するブロック生成部
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　上記画像情報を、トランザクションとして承認するか否かを検証する画像使用判定部
　を更に具備し、
　上記三次元モデル生成部は、上記トランザクションとして承認された画像情報を用いて三次元モデルを生成する
　情報処理装置。
　（３）
　上記（２）に記載の情報処理装置であって、
　上記画像使用判定部は、トランザクションとして承認した画像情報を、三次元モデル生成において使用するか否かを判定する
　情報処理装置。
　（４）
　上記（３）に記載の情報処理装置であって、
　上記画像使用判定部は、使用判定対象の画像データの、上記三次元モデル生成に使用する画像データに対する類似度に基づいて、上記使用判定対象の画像データを三次元モデル生成に使用するか否かを判定する
　情報処理装置。
　（５）
　上記（２）～（４）のいずれか１つに記載の情報処理装置であって、
　上記画像使用判定部は、上記位置情報を用いて複数の上記画像情報を仕分ける
　情報処理装置。
　（６）
　上記（５）に記載の情報処理装置であって、
　上記三次元モデル生成部は、上記位置情報を用いて仕分けされた複数の上記画像情報を用いて上記三次元モデルを生成する
　情報処理装置。
　（７）
　互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する未認証の画像情報を取得し、
　上記画像情報を用いて三次元モデルを生成し、
　上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成する
　情報処理方法。
　（８）
　互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する画像情報を取得するステップと、
　上記画像情報を用いて三次元モデルを生成するステップと、
　上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するステップ
　を含む処理を情報処理装置に実行させるためのプログラム。
　（９）
　互いに紐づけされた画像データと上記画像データの取得時の位置情報とを有する画像情報を用いて三次元モデルを生成する三次元モデル生成部と、上記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するブロック生成部とを備える、複数の情報処理装置
　を具備する情報処理システム。
　１…情報処理システム
　２…情報処理装置
　５…ブロックチェーン
　２１…画像取得部
　２２…画像使用判定部
　２３…三次元地図生成部（三次元モデル生成部）
　２４…ブロック生成部
　５１…ブロック

Claims (9)

  1. 　互いに紐づけされた画像データと前記画像データの取得時の位置情報とを有する画像情報を取得する画像取得部と、
    　前記画像情報を用いて三次元モデルを生成する三次元モデル生成部と、
    　前記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するブロック生成部
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記画像情報を、トランザクションとして承認するか否かを検証する画像使用判定部
    　を更に具備し、
    　前記三次元モデル生成部は、前記トランザクションとして承認された画像情報を用いて三次元モデルを生成する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記画像使用判定部は、トランザクションとして承認した画像情報を、三次元モデル生成において使用するか否かを判定する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記画像使用判定部は、使用判定対象の画像データの、前記三次元モデル生成に使用する画像データに対する類似度に基づいて、前記使用判定対象の画像データを三次元モデル生成に使用するか否かを判定する
    　情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記画像使用判定部は、前記位置情報を用いて複数の前記画像情報を仕分ける
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記三次元モデル生成部は、前記位置情報を用いて仕分けされた複数の前記画像情報を用いて前記三次元モデルを生成する
    　情報処理装置。
  7. 　互いに紐づけされた画像データと前記画像データの取得時の位置情報とを有する未認証の画像情報を取得し、
    　前記画像情報を用いて三次元モデルを生成し、
    　前記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成する
    　情報処理方法。
  8. 　互いに紐づけされた画像データと前記画像データの取得時の位置情報とを有する画像情報を取得するステップと、
    　前記画像情報を用いて三次元モデルを生成するステップと、
    　前記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するステップ
    　を含む処理を情報処理装置に実行させるためのプログラム。
  9. 　互いに紐づけされた画像データと前記画像データの取得時の位置情報とを有する画像情報を用いて三次元モデルを生成する三次元モデル生成部と、前記三次元モデルの生成時に用いた画像情報が記録されるブロックが連結してなるブロックチェーンに連結する新しいブロックを生成するブロック生成部とを備える、複数の情報処理装置
    　を具備する情報処理システム。
PCT/JP2020/026527 2019-08-21 2020-07-07 情報処理装置、情報処理方法、プログラム及び情報処理システム WO2021033443A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/635,085 US12002158B2 (en) 2019-08-21 2020-07-07 Information processing apparatus, information processing method and information processing system
CN202080057389.7A CN114270404A (zh) 2019-08-21 2020-07-07 信息处理装置、信息处理方法、程序和信息处理系统
JP2021540657A JPWO2021033443A1 (ja) 2019-08-21 2020-07-07

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019151196 2019-08-21
JP2019-151196 2019-08-21

Publications (1)

Publication Number Publication Date
WO2021033443A1 true WO2021033443A1 (ja) 2021-02-25

Family

ID=74661096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/026527 WO2021033443A1 (ja) 2019-08-21 2020-07-07 情報処理装置、情報処理方法、プログラム及び情報処理システム

Country Status (4)

Country Link
US (1) US12002158B2 (ja)
JP (1) JPWO2021033443A1 (ja)
CN (1) CN114270404A (ja)
WO (1) WO2021033443A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208347A (ja) * 2015-04-24 2016-12-08 国立大学法人 筑波大学 著作物保護支援装置
WO2019072311A2 (en) * 2018-12-29 2019-04-18 Alibaba Group Holding Limited PARTICIPATORY PRODUCTION BASED ON A CHAIN OF BLOCKS OF MAPPING APPLICATIONS

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10025447B1 (en) * 2015-06-19 2018-07-17 Amazon Technologies, Inc. Multi-device user interface
JP6425353B2 (ja) 2016-02-01 2018-11-21 三菱マテリアルテクノ株式会社 空中写真測量および三次元立体モデル生成用標識、空中写真測量方法
US20180165585A1 (en) * 2016-12-09 2018-06-14 Cognitive Scale, Inc. Method for Providing Procurement Related Cognitive Insights Using Blockchains
US10663303B2 (en) * 2017-06-12 2020-05-26 Panasonic Intellectual Property Management Co., Ltd. System and method for dynamically authenticating map data using blockchains
US11762968B2 (en) * 2021-07-20 2023-09-19 P Tech, Llc Encryption, security, and video optimization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208347A (ja) * 2015-04-24 2016-12-08 国立大学法人 筑波大学 著作物保護支援装置
WO2019072311A2 (en) * 2018-12-29 2019-04-18 Alibaba Group Holding Limited PARTICIPATORY PRODUCTION BASED ON A CHAIN OF BLOCKS OF MAPPING APPLICATIONS

Also Published As

Publication number Publication date
US20220292769A1 (en) 2022-09-15
CN114270404A (zh) 2022-04-01
JPWO2021033443A1 (ja) 2021-02-25
US12002158B2 (en) 2024-06-04

Similar Documents

Publication Publication Date Title
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
KR101797006B1 (ko) 드론을 이용한 토지 조사 시스템 및 방법
US9196084B2 (en) Determining object volume from mobile device images
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
US11640651B2 (en) Multiple georeferenced aerial image crop analysis and synthesis
KR101871764B1 (ko) 가상현실 기반의 시설관리 플랫폼 구축 시스템
CN108474657B (zh) 一种环境信息采集方法、地面站及飞行器
US10110817B2 (en) Image processing device and method, and program for correcting an imaging direction
US20230162449A1 (en) Systems and methods for data transmission and rendering of virtual objects for display
US11272081B2 (en) Systems and methods for real-time compositing of video content
CN116917929A (zh) 用于遥感中的超分辨率图像处理的系统和方法
CN109034214B (zh) 用于生成标记的方法和装置
KR102548454B1 (ko) 태양광패널의 설치 위치 및 설치 각도 추천 방법
WO2021033443A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
KR20100029725A (ko) 촬영영상에서 추출된 촬영객체를 이용한 영상정보 관리 시스템 및 그 방법
Burgett et al. Accuracy of drone-based surveys: Structured evaluation of a UAS-based land survey
Spicer et al. Producing usable simulation terrain data from UAS-collected imagery
CN106203279A (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
JP4896762B2 (ja) 画像処理装置および画像処理プログラム
CN112106112A (zh) 一种点云融合方法、设备、系统及存储介质
CN114627252A (zh) 获取地表温度分布的无人机和地表温度分布图的获取方法
WO2019061020A1 (zh) 图像生成方法、图像生成装置和机器可读存储介质
KR101415145B1 (ko) 항공기 탑재용 eo/ir 장비 자동임무 수행을 위한 촬영표적좌표 생성방법
KR101647021B1 (ko) 위성 스케줄 검색 및 궤도 표출 기법
WO2021115192A1 (zh) 图像处理装置、图像处理方法、程序及记录介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20853945

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021540657

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20853945

Country of ref document: EP

Kind code of ref document: A1