WO2024202096A1 - 方向推定システム、方向推定方法、学習システム、学習方法及びプログラム - Google Patents

方向推定システム、方向推定方法、学習システム、学習方法及びプログラム Download PDF

Info

Publication number
WO2024202096A1
WO2024202096A1 PCT/JP2023/028979 JP2023028979W WO2024202096A1 WO 2024202096 A1 WO2024202096 A1 WO 2024202096A1 JP 2023028979 W JP2023028979 W JP 2023028979W WO 2024202096 A1 WO2024202096 A1 WO 2024202096A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
training
estimated
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/028979
Other languages
English (en)
French (fr)
Inventor
ティアゴ オリベイラ
満 中澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Group Inc filed Critical Rakuten Group Inc
Priority to JP2025509664A priority Critical patent/JPWO2024202096A1/ja
Publication of WO2024202096A1 publication Critical patent/WO2024202096A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q3/00—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18—Network planning tools
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24—Cell structures
    • H04W16/28—Cell structures using beam steering

Definitions

  • the present disclosure relates to a direction estimation system, a direction estimation method, a learning system, a learning method, and a program.
  • Mobile communication networks used for communication with mobile phones and the like include multiple base stations. Each base station has an antenna for transmitting and receiving radio waves.
  • the above problem applies not only to antennas of base stations included in mobile communication networks, but also to various antennas, such as antennas for broadcasting such as television or radio, or radar antennas. Furthermore, the above problem applies not only to antennas, but also to objects that can be installed according to an installation plan with a predetermined pointing direction, such as solar panels, surveillance cameras, or speakers. Furthermore, the above problem applies not only to objects that can be installed according to an installation plan, but also to objects in general, including movable objects such as drones or cars.
  • the direction estimation system includes a first image acquisition means for acquiring a first image obtained by photographing a feature existing in a direction corresponding to the orientation direction of the estimation target object as viewed from the position of the estimation target object, a position information acquisition means for acquiring position information of the estimation target object, a map image obtained by photographing the ground surface from the sky, a second image acquisition means for acquiring a second image showing a range of the map image with the position of the estimation target object as a base point based on the position information of the estimation target object and the map image, and a trained estimation model in which the relationship between a set of a first learning image obtained by photographing a feature existing in a direction corresponding to the orientation direction of the learning target object as viewed from the position of the learning target object and a second learning image showing a range of the map image with the position of the learning target object as a base point, and answer data showing the orientation direction of the learning target object in the second learning image has been learned, and an estimation means for executing an estimation of the orientation
  • FIG. 2 is a diagram illustrating an example of a hardware configuration of the direction estimation system according to the present embodiment.
  • FIG. 1 is a diagram showing an example of an antenna installation plan.
  • FIG. 2 is a diagram illustrating a ground image for learning.
  • FIG. 1 is a diagram illustrating a reference image for learning.
  • FIG. 1 is a diagram illustrating an overview of learning an estimation model.
  • FIG. 1 is a diagram illustrating an overview of estimation of a pointing direction using an estimation model.
  • FIG. 2 is a functional block diagram showing an example of functions realized by the learning device.
  • FIG. 4 illustrates an example of a learning process of the learning device.
  • FIG. 2 is a diagram showing an example of a ground image database for learning;
  • FIG. 2 is a diagram illustrating an example of a map image database.
  • FIG. 4 is a diagram illustrating an example of a teacher database.
  • FIG. 2 is a functional block diagram showing an example of functions realized by the estimation device.
  • FIG. 2 is a diagram illustrating an example of an estimation process performed by the estimation device.
  • FIG. 2 is a diagram illustrating an example of a ground image database.
  • FIG. 2 is a diagram illustrating an example of a map image database.
  • FIG. 4 is a flow chart illustrating an example of a process executed in the learning device.
  • FIG. 4 is a flow chart illustrating an example of a process executed in the learning device.
  • FIG. 4 is a flow chart showing an example of processing executed in the estimation device.
  • FIG. 13 is a diagram illustrating a loss in learning in the first modified example.
  • FIG. 13 is a diagram illustrating a loss in learning in the first modified example.
  • FIG. 11 is a functional block diagram showing an example of functions realized by a learning device of modified example 2.
  • FIG. 13 is a histogram diagram showing an example of a distribution of teacher data with respect to a pointing direction.
  • FIG. 2 is a diagram showing an example of original teacher data;
  • FIG. 13 is a diagram illustrating an example of extended teacher data.
  • FIG. 1 is a diagram showing an example of a hardware configuration of a direction estimation system 1 of this embodiment.
  • the direction estimation system 1 includes a learning device 10 and an estimation device 20, which are connected to a network N such as the Internet or a LAN.
  • a network N such as the Internet or a LAN.
  • FIG. 1 shows one learning device 10 and one estimation device 20, there may be a plurality of learning devices 10 and one estimation device 20.
  • FIG. 1 shows a case where the learning device 10 and the estimation device 20 are different from each other, but they may be the same device.
  • the learning device 10 and the estimation device 20 may belong to different systems.
  • the learning device 10 is a computer operated by a user.
  • the learning device 10 is a personal computer, a server computer, a portable information terminal (including a tablet computer and a wearable terminal), or a mobile phone (including a smartphone).
  • the learning device 10 includes a control unit 11, a memory unit 12, a communication unit 13, an operation unit 14, and a display unit 15.
  • the control unit 11 has at least one processor.
  • the control unit 11 executes processing according to the programs and data stored in the memory unit 12.
  • the memory unit 12 includes a main memory unit and an auxiliary memory unit.
  • the main memory unit is a volatile memory such as RAM
  • the auxiliary memory unit is a non-volatile memory such as ROM, EEPROM, flash memory, or a hard disk.
  • the communication unit 13 is a communication interface for wired or wireless communication, and performs data communication via the network N.
  • the operation unit 14 is an input device for performing operations, such as a touch panel or a pointing device such as a mouse, a keyboard, or buttons.
  • the display unit 15 is, for example, a liquid crystal display unit or an organic EL display unit. The display unit 15 displays images according to instructions from the control unit 11.
  • the estimation device 20 is a computer operated by a user.
  • the user of the learning device 10 and the user of the estimation device 20 may be the same or different.
  • the estimation device 20 is a personal computer, a server computer, a portable information terminal (including a tablet computer and a wearable terminal), or a mobile phone (including a smartphone).
  • the estimation device 20 includes a control unit 21, a memory unit 22, a communication unit 23, an operation unit 24, and a display unit 25.
  • the physical configurations of the control unit 21, the memory unit 22, the communication unit 23, the operation unit 24, and the display unit 25 may be similar to those of the control unit 11, the memory unit 12, the communication unit 13, the operation unit 14, and the display unit 15, respectively.
  • the programs and data described as being stored in the storage units 12 and 22 may be supplied via the network N.
  • the hardware configuration of each of the learning device 10 and the estimation device 20 is not limited to the above example, and various hardware may be applied.
  • a reading unit e.g., an optical disk drive or a memory card slot
  • an input/output unit e.g., a USB port
  • the programs and data stored in the information storage medium may be supplied to each computer via the reading unit or the input/output unit.
  • the direction estimation system 1 will be described by taking as an example a case where the direction estimation system 1 is used to estimate the pointing direction of an antenna of a base station included in a mobile communication network. As described above, the direction estimation system 1 can be used to estimate the pointing direction of various objects other than an antenna.
  • the pointing direction is the direction that indicates the front direction of the antenna.
  • the pointing direction is a direction that has a predetermined relationship with the front direction of the antenna.
  • the pointing direction is the front direction of the antenna itself, that is, the direction in which the antenna transmits or receives signals, but the pointing direction is not limited to the front direction of the antenna.
  • the pointing direction may be the rear direction of the antenna.
  • the pointing direction may be the line of sight.
  • the pointing direction may be the direction in which a photographing device such as a camera provided on the drone faces.
  • the pointing direction may be the direction in which the windshield of the car faces.
  • the pointing direction is not limited to the line of sight.
  • the direction estimation system 1 has a learning device 10 and an estimation device 20. Below, we first provide an overview of the learning device 10, and then provide an overview of the estimation device 20.
  • FIG 2 is a diagram showing an example of an antenna installation plan P.
  • the installation plan P predetermines the location where each antenna should be installed and the direction in which each antenna should point at that location.
  • a mobile communication service provider installs antennas in accordance with this installation plan.
  • an existing antenna that has been installed in accordance with this installation plan will be referred to as the learning target antenna LA.
  • FIG. 3 is a diagram explaining the learning ground image LGI.
  • an operator O uses an image capture device C to capture an image of a feature TF from the position of the learning target antenna LA along the orientation direction AO of the learning target antenna LA, and obtains a learning ground image LGI.
  • the learning ground image LGI is an image obtained by capturing an image of a feature TF that exists in a direction according to the orientation direction AO of the learning target antenna LA as viewed from the position of the learning target antenna LA. Details of the learning ground image LGI will be described later.
  • the learning device 10 stores a learning ground image database DB1 that stores the learning ground image LGI, the position information of the learning target antenna LA, and the orientation direction AO of the learning target antenna LA in association with each other (see Figure 9).
  • FIG. 4 is a diagram explaining the learning reference image LRI.
  • the learning reference image LRI is acquired based on the position information of the learning target antenna LA and the map image MI.
  • the learning reference image LRI is an image showing a range R of the map image MI with the position of the learning target antenna LA as the base point.
  • the learning reference image LRI will be described in detail later.
  • the pair of learning ground image LGI and learning reference image LRI thus obtained is associated with correct answer data AD indicating the orientation direction AO of the learning target antenna LA in the learning reference image LRI, and is stored as teacher data TD (see FIG. 11).
  • FIG. 5 is a diagram showing an overview of learning the estimation model M.
  • the estimation model M is learned by using the teacher data TD.
  • the learned estimation model M thus learned is transmitted to the estimation device 20, which will be described later.
  • the estimation device 20 estimates the direction of orientation AO of a newly installed antenna (hereinafter, referred to as an "estimated antenna EA").
  • the estimated antenna EA is an antenna different from the already installed learning antenna LA.
  • the worker O uses the image capture device C to capture the feature TF from the position of the estimated target antenna EA along the orientation direction AO of the estimated target antenna EA, thereby obtaining a ground image GI.
  • the estimation device 20 stores a ground image database DB4 that stores the learning ground image LGI and the position information of the learning antenna LA in association with each other (see FIG. 14).
  • a reference image RI is acquired based on the position information of the estimation target antenna EA and the map image MI in the same manner as described with reference to FIG. 4.
  • the reference image RI is an image showing a range R of the map image MI starting from the position of the estimation target antenna EA.
  • the direction estimation system 1 of this embodiment described above can estimate the pointing direction AO of the antenna EA to be estimated in the reference image RI based on the ground image GI and the reference image RI, making it possible to verify the pointing direction AO of the antenna EA to be estimated.
  • the direction estimation system 1 will be described in detail below.
  • FIG. 7 is a functional block diagram showing an example of functions realized by the learning device 10.
  • the learning device 10 has a data storage unit 100, a ground image acquisition unit for learning 101, a position information acquisition unit 102, a map image acquisition unit 103, a reference image acquisition unit for learning 104, a teacher data generation unit 105, a teacher data acquisition unit 106, a feature extraction unit 107, a combined feature acquisition unit 108, and a learning unit 109.
  • the data storage unit 100 is realized by the storage unit 12.
  • the ground image acquisition unit for learning 101, the position information acquisition unit 102, the map image acquisition unit 103, the reference image acquisition unit for learning 104, the teacher data generation unit 105, the teacher data acquisition unit 106, the feature extraction unit 107, the combined feature acquisition unit 108, and the learning unit 109 are mainly realized by the control unit 11. These functions are examples of learning functions. In the following description, an example of a learning process of the learning device 10 shown in FIG. 8 may be referred to.
  • the data storage unit 100 stores a ground image database DB1, a map image database DB2, a teacher database DB3, a first feature extractor FE1, a second feature extractor FE2, and an estimation model M for learning.
  • FIG. 9 is a diagram showing an example of the training ground image database DB1.
  • the training ground image database DB1 stores a training ground image LGI, position information of a training target antenna LA, and an orientation direction AO of the training target antenna LA in association with each other.
  • the position of the learning target antenna LA is the position of the learning target antenna LA defined in the installation plan P.
  • the position of the learning target antenna LA is preferably the same as the position of the learning target antenna LA defined in the installation plan P, but may be a position shifted from the position of the learning target antenna LA defined in the installation plan P.
  • the position of the object may be, for example, a position obtained by a surveying means for the object.
  • the direction according to the orientation direction AO of the antenna LA to be studied is a direction that has a predetermined relationship with the orientation direction AO of the antenna LA to be studied.
  • the direction according to the orientation direction AO of the antenna LA to be studied is the orientation direction AO of the antenna LA to be studied itself. That is, in this embodiment, the direction in which the imaging device C faces (imaging direction CO) is the same as the orientation direction AO of the antenna LA to be studied.
  • the direction according to the orientation direction AO of the antenna LA to be studied may be a direction different from the orientation direction AO of the antenna LA to be studied. That is, the imaging direction CO may be a direction different from the orientation direction AO of the antenna LA to be studied.
  • the learning ground image LGI shows at least a part of the learning target antenna LA.
  • at least a part of the learning target antenna LA is captured in the learning ground image LGI.
  • the learning ground image LGI is obtained by photographing the feature TF directly behind and approximately directly above the learning target antenna LA, so that below that, the learning ground image LGI shows a part of the upper surface of the learning target antenna LA. Needless to say, if the photographing position is different, the manner in which the learning target antenna LA is shown in the learning ground image LGI will also differ.
  • the target antenna LA shown in the learning ground image LGI has a sign S indicating the orientation direction AO of the target antenna LA.
  • the sign S is a rectangular sticker as shown in FIG. 7.
  • the sign S is attached to the target antenna LA so that its longitudinal direction is parallel to the orientation direction AO of the target antenna LA.
  • the shape of the sign S does not necessarily have to be rectangular, and may be an ellipse, an arrow shape, etc.
  • the sign S is not limited to a sticker, and may be, for example, drawn directly on the target antenna LA.
  • information derived from the sign S is extracted from the learning ground image LGI as information related to the orientation AO of the target antenna LA, and this information is used for the learning and estimation described below, improving the efficiency of learning and the accuracy of estimation.
  • the position information of the target antenna LA is the coordinates indicating the position of the target antenna LA.
  • the coordinates indicating the position of the target antenna LA are expressed by latitude and longitude, but may be expressed in a format other than latitude and longitude.
  • the orientation direction AO of the target antenna LA stored in the learning ground image database DB1 is obtained by surveying by the worker O, as described above (see Figure 3). As will be described later, the correct answer data AD of the teacher data TD is obtained based on the orientation direction AO of the target antenna LA stored in the learning ground image database DB1.
  • FIG. 10 is a diagram showing an example of the map image database DB2. As shown in Fig. 10, the map image database DB2 stores a plurality of map images MI.
  • the map image MI is an image obtained by photographing the ground surface from the sky.
  • the map image MI can also be said to be an image showing features from the sky.
  • the features shown in the map image MI are not limited to the features TF shown in the learning ground image LGI.
  • the map image MI is an image obtained by photographing the ground surface directly below from the sky.
  • the map image MI is an image showing the ground surface in a planar view.
  • the map image MI may be an image of the ground surface photographed diagonally below from the sky.
  • the map image MI may be an image showing the ground surface from a bird's-eye view.
  • the map image MI is a satellite image, but the map image MI may also be an aerial photograph.
  • one map image showing the ground surface of a certain geographical range is divided into multiple map images MI (e.g., a map image showing the ground surface of Tokyo, a map image showing the ground surface of Kanagawa Prefecture, etc.), and these are stored in the map image database DB2.
  • the data storage unit 100 may store one map image MI (e.g., a map image showing the ground surface of all of Japan).
  • Fig. 11 is a diagram showing an example of the teacher database DB3. As shown in Fig. 11, the teacher database DB3 stores a plurality of teacher data TD. The teacher data TD will be described in detail later.
  • the first feature extractor FE1 is a machine learning model used to extract features LGF of a training ground image from the training ground image LGI (see FIG. 8).
  • a convolutional neural network (CNN) is used as the first feature extractor FE1, but any machine learning model that extracts features from an image can be used as the first feature extractor FE1.
  • the parameters of the first feature extractor FE1 are fixed and are not updated by learning in the learning device 10.
  • the feature quantity LGF of the training ground image and the feature quantity LRF of the training reference image are each represented as a multidimensional vector, but may be represented in other formats such as a matrix, an array, or a single numerical value.
  • the references to the first feature extractor FE1 and the second feature extractor FE2 do not refer to the concept of feature extraction, but rather to the electronic data generated by that concept.
  • the first feature extractor FE1 and the second feature extractor FE2 include a program and parameters.
  • the first feature extractor FE1 and the second feature extractor FE2 may refer to either only the program or only the parameters.
  • the program included in the first feature extractor FE1 and the second feature extractor FE2 defines the processing content (instructions or calculation formulas) that the computer should execute.
  • the estimation model M is a model that estimates the direction of orientation AO of the antenna EA to be estimated based on a pair of a ground image GI and a reference image RI.
  • the estimation model M can also be said to be a regression model that regresses the direction of orientation AO of the antenna EA to be estimated based on a pair of a ground image GI and a reference image RI.
  • the estimation model M stored in the data storage unit 100 is the estimation model M before learning. That is, the parameters of the estimation model M stored in the data storage unit 100 are initial values. After the learning unit 109 described later starts learning, the data storage unit 100 stores the estimation model M in the middle of learning. After the learning unit 109 ends learning, the data storage unit 100 stores the learned estimation model M.
  • various machine learning models such as neural networks can be used.
  • the estimation model M receives the combined feature CF obtained based on the feature GF of the ground image and the feature RF of the reference image as input, and outputs the directional direction AO of the antenna EA to be estimated in the reference image RI (see FIG. 13).
  • the estimation model M may be a model to which the feature GF of the ground image and the feature RF of the reference image are directly input. In that case, the learning device 10 and the estimation device 20 may not have the combined feature acquisition units 108 and 206 described later.
  • the estimation model M may be a model to which the ground image GI and the reference image RI are directly input.
  • the learning device 10 and the estimation device 20 may not have the feature extraction units 107 and 205 and the combined feature acquisition units 108 and 206 described later.
  • the estimation model M may be a model to which data obtained by combining the ground image GI and the reference image RI is input.
  • estimation model M does not refer to the concept of feature extraction, but rather to the electronic data generated by that concept.
  • the estimation model M includes a program and parameters. Note that the estimation model M may refer to either only the program or only the parameters.
  • the program included in the estimation model M defines the processing content (commands or calculation formulas) that the computer should execute.
  • the learning ground image acquisition unit 101 acquires the learning ground image LGI (see FIG. 8). In this embodiment, the ground image acquisition unit 101 acquires the learning ground image LGI from a learning ground image database DB1 stored in the data storage unit 100. Note that the ground image acquisition unit 101 may acquire the learning ground image LGI from a computer other than the learning device 10 or an external information storage medium.
  • the position information acquisition unit 102 acquires the position information of the learning target antenna LA (see FIG. 8). In this embodiment, the position information acquisition unit 102 acquires the position information of the learning target antenna LA from a learning ground image database DB1 stored in the data storage unit 100. Note that the position information acquisition unit 102 may acquire the position information of the learning target antenna LA from a computer other than the learning device 10 or an external information storage medium.
  • the map image acquisition unit 103 acquires a map image MI (see FIG. 8).
  • the map image acquisition unit 103 acquires the map image MI from the map image database DB2 in the data storage unit 100.
  • the map image acquisition unit 203 may acquire the map image MI from an external information storage medium or computer.
  • the learning reference image acquisition unit 104 acquires a learning reference image LRI based on the position information of the learning target antenna LA and the map image MI (see FIG. 8).
  • the learning reference image LRI is an image showing the range R of the map image MI, starting from the position of the learning target antenna LA.
  • the range R with the position of the target antenna LA as the base point is a predetermined range that includes the position of the target antenna LA.
  • the range R is a predetermined range that has the position of the target antenna LA as the center.
  • the center of the range R is not limited to the position of the target antenna LA, and may be, for example, a position that is a predetermined distance away in a predetermined direction from the position of the target antenna LA.
  • the learning reference image acquisition unit 104 identifies the position of the learning target antenna LA in the map image MI. Next, the learning reference image acquisition unit 104 identifies a range R based on the position of the learning target antenna LA. In other words, the learning reference image acquisition unit 104 identifies the scale of the map image MI indicated by the learning reference image LRI. Then, the learning reference image acquisition unit 104 acquires a portion of the map image MI that corresponds to the identified range R as the learning reference image LRI.
  • the map image MI shown by the learning reference image LRI faces north. That is, in this embodiment, the direction MO in which the map image MI shown by the learning reference image LRI faces is north. In addition, the map image MI shown by the learning reference image LRI may face any direction.
  • the teacher data generating unit 105 generates teacher data TD based on a set of the learning ground image LGI and the learning reference image LRI, and the correct answer data AD (see FIG. 8).
  • the teacher data generating unit 105 generates the teacher data TD by associating the set of the learning ground image LGI and the learning reference image LRI with the correct answer data AD.
  • the teacher data generating unit 105 stores the generated teacher data TD in the teacher database DB3 of the data storage unit 100.
  • the correct answer data AD indicates the orientation direction AO of the learning target antenna LA in the learning reference image LRI (see FIG. 5).
  • the correct answer data AD can also be said to be label data for the learning ground image LGI and the learning reference image LRI.
  • the correct answer data AD can be said to be data indicating a true value.
  • the teacher data generating unit 105 generates the correct answer data AD based on the orientation direction of the learning target antenna LA acquired from the learning ground image database DB1 (see FIG. 8).
  • the correct answer data AD indicates the orientation direction AO itself of the learning target antenna LA in the learning reference image LRI, so the teacher data generating unit 105 may use the orientation direction of the learning target antenna LA acquired from the learning ground image database DB1 as the correct answer data AD as it is.
  • the correct answer data AD indicates a direction that has a predetermined relationship with the orientation direction AO of the learning target antenna LA in the learning reference image LRI.
  • the correct answer data AD indicates the orientation direction AO of the learning target antenna LA in the learning reference image LRI itself, but the correct answer data AD may indicate a direction different from the orientation direction AO of the learning target antenna LA in the learning reference image LRI.
  • the correct answer data AD may indicate the shooting direction CO.
  • the correct answer data AD is represented by an azimuth angle Az of a direction that has a predetermined relationship with the orientation direction AO of the learning target antenna LA in the learning reference image LRI (see FIG. 5).
  • the azimuth angle Az is based on the orientation direction MO (i.e., north) of the map image MI shown in the learning reference image LRI.
  • the azimuth angle Az is the angle between the orientation direction MO of the map image MI shown in the learning reference image LRI and a direction that has a predetermined relationship with the orientation direction AO of the learning target antenna LA in the learning reference image LRI (in this embodiment, the orientation direction AO itself of the learning target antenna LA in the learning reference image LRI).
  • the azimuth angle Az may be based on a direction other than the orientation direction MO of the map image MI shown in the learning reference image LRI.
  • the orientation direction MO of the map image MI shown in the learning reference image LRI is north
  • the azimuth angle Az may be based on the south.
  • the ground image acquisition unit 101, the location information acquisition unit 102, the map image acquisition unit 103, and the learning reference image acquisition unit 104 are realized by the learning device 10, these functions may be realized by a device other than the learning device 10.
  • the generation of the teacher data TD, and therefore the generation of the teacher database DB3 may be performed by a device other than the learning device 10.
  • the teacher data acquisition unit 106 acquires a plurality of teacher data TD (see FIG. 8).
  • the teacher data acquisition unit 106 acquires the plurality of teacher data TD from the teacher database DB3 of the data storage unit 100.
  • the teacher data acquisition unit 106 may acquire the plurality of teacher data TD from an external information storage medium or computer.
  • the feature extraction unit 107 extracts the feature amount LGF of the training ground image from the training ground image LGI based on the first feature extractor FE1, and extracts the feature amount LRF of the training reference image from the training reference image LRI based on the second feature extractor FE2 (see FIG. 8). Specifically, the feature extraction unit 107 inputs the training ground image LGI to the first feature extractor FE1, and obtains the feature amount LGF of the training ground image output from the first feature extractor FE1. Similarly, the feature extraction unit 107 inputs the training reference image LRI to the second feature extractor FE2, and obtains the feature amount LRF of the training reference image output from the second feature extractor FE2.
  • the combined feature acquisition unit 108 acquires a training combined feature LCF based on the features LGF of the training ground image and the features LRF of the training reference image (see FIG. 8). Specifically, the combined feature acquisition unit 108 acquires a training combined feature LCF by combining the features LGF of the training ground image and the features LRF of the training reference image. Combination can also be called concatenation.
  • the training combined feature LCF is a vector whose dimensionality is the sum of the dimensionality of the features LGF of the training ground image and the dimensionality of the features LRF of the training reference image.
  • the learning unit 109 executes learning of the estimation model M based on each of the multiple pieces of teacher data TD (see FIG. 8).
  • the learning unit 109 calculates the loss based on the output of the estimation model M based on the training ground image LGI and the training reference image LRI, and the ground truth data AD. In this embodiment, the learning unit 109 calculates the loss based on the output of the estimation model M when the training combined feature LCF is input, and the ground truth data AD.
  • the loss indicates the difference between the direction indicated by the output of the estimation model M based on the training ground image LGI and the training reference image LRI, and the direction indicated by the ground truth data AD.
  • the loss is sometimes called a loss function, referring to the function itself that calculates the numerical value of the loss.
  • Various losses can be used, such as the mean squared error (MSE), mean absolute error (MAE), or mean squared logarithmic error (MSLE).
  • the learning unit 109 performs learning of the estimation model M based on the calculated loss.
  • Learning of the estimation model M means adjusting the parameters of the estimation model M.
  • the learning unit 109 performs learning of the estimation model M so as to reduce the loss.
  • various algorithms such as backpropagation, gradient descent, or Adam may be used.
  • the learning unit 109 repeats learning of the estimated model M until the loss becomes sufficiently small (for example, the loss becomes less than a threshold value).
  • the learning unit 109 may repeat learning using the same teacher database DB3 until the loss becomes sufficiently small, or may learn using a new teacher database DB3. If the loss becomes sufficiently small during learning, learning may end at that point.
  • the learning unit 109 may end learning after repeating learning a predetermined number of times, even if the loss is not sufficiently small.
  • FIG. 12 is a functional block diagram showing an example of a function realized by the estimation device 20.
  • the estimation device 20 has a data storage unit 200, a ground image acquisition unit 201, a position information acquisition unit 202, a map image acquisition unit 203, a reference image acquisition unit 204, a feature extraction unit 205, a combined feature acquisition unit 206, and an estimation unit 207.
  • the data storage unit 200 is realized by the storage unit 22.
  • the ground image acquisition unit 201, the position information acquisition unit 202, the map image acquisition unit 203, the reference image acquisition unit 204, the feature extraction unit 205, the combined feature acquisition unit 206, and the estimation unit 207 are mainly realized by the control unit 21.
  • These functions are an example of an estimation function.
  • an example of an estimation process of the estimation device 20 shown in FIG. 13 may be referred to.
  • the data storage unit 200 stores a ground image database DB4, a map image database DB5, a first feature extractor FE1, a second feature extractor FE2, and an estimation model M.
  • [Ground image database] 14 is a diagram showing an example of the ground image database DB4.
  • the ground image database DB4 stores the ground image GI and the position information of the estimation target antenna EA in association with each other. Note that, since the estimation device 20 estimates the pointing direction AO of the estimation target antenna EA, the ground image database DB4 does not store the pointing direction AO of the estimation target antenna EA, unlike the learning ground image database DB1.
  • the ground image GI is an image obtained by photographing a feature TF that exists in a direction corresponding to the orientation direction AO of the estimated target antenna EA as viewed from the position of the estimated target antenna EA. Details of the ground image GI are the same as those of the learning ground image LGI, so a description will be omitted (see Figure 3).
  • FIG. 15 is a diagram showing an example of the map image database DB5.
  • the map image database DB5 is the same as the map image database DB2 (see Fig. 10). Therefore, a description of the map image database DB5 will be omitted. Note that the map image database DB5 may be different from the map image database DB2.
  • the first feature extractor FE1 and the second feature extractor FE2 are the same as those stored in the data storage unit 100 of the learning device 10, and therefore a description thereof will be omitted.
  • the data storage unit 200 of the estimation device 20 may store a first feature extractor FE1 and a second feature extractor FE2 different from those stored in the data storage unit 100 of the learning device 10.
  • the data storage unit 200 stores an estimation model M that has been trained by the learning device 10. That is, the estimation model M stored in the data storage unit 200 is a trained model in which the relationship between a set of a training ground image LGI and a training reference image LRI, and the supervised data AD has been trained.
  • the ground image acquisition unit 201 acquires a ground image GI (see FIG. 13).
  • the ground image acquisition unit 201 acquires the ground image GI from a ground image database DB4 stored in the data storage unit 200.
  • the ground image acquisition unit 201 may acquire the ground image GI from a computer other than the estimation device 20 or an external information storage medium.
  • the position information acquisition unit 202 acquires the position information of the estimation target antenna EA (see FIG. 13). In this embodiment, the position information acquisition unit 202 acquires the position information of the estimation target antenna EA from the ground image database DB4 stored in the data storage unit 100. Note that the position information acquisition unit 202 may acquire the position information of the estimation target antenna EA from another computer other than the estimation device 20 or an external information storage medium.
  • the map image acquisition unit 203 acquires a map image MI (see FIG. 13).
  • the map image acquisition unit 203 acquires the map image MI from the map image database DB5 in the data storage unit 200.
  • the map image acquisition unit 203 may acquire the map image MI from an external information storage medium or computer.
  • the reference image acquisition unit 204 acquires a reference image RI based on the position information of the estimation target antenna EA and the map image MI (see FIG. 13).
  • the reference image RI is an image showing a range R in the map image MI with the position of the estimation target antenna EA as the base point.
  • the details of the reference image RI are the same as those of the learning reference image LRI (see FIG. 4), and therefore a description thereof will be omitted.
  • the details of the reference image acquisition unit 204 are the same as those of the learning reference image acquisition unit 104, and therefore a description thereof will be omitted.
  • the feature extraction unit 205 extracts a feature amount GF of a ground image from the ground image GI based on the first feature extractor FE1, and extracts a feature amount RF of a reference image from the reference image RI based on the second feature extractor FE2 (see FIG. 13). Specifically, the feature extraction unit 205 inputs the ground image GI to the first feature extractor FE1, and obtains the feature amount GF of the ground image output from the first feature extractor FE1. Similarly, the feature extraction unit 205 inputs the reference image RI to the second feature extractor FE2, and obtains the feature amount RF of the reference image output from the second feature extractor FE2.
  • the combined feature acquisition unit 206 acquires a combined feature CF based on the feature GF of the ground image and the feature RF of the reference image (see FIG. 13). Specifically, the combined feature acquisition unit 206 acquires a combined feature CF by combining the feature GF of the ground image and the feature RF of the reference image.
  • the estimation unit 207 executes estimation of the orientation direction AO of the antenna EA to be estimated based on a set of the estimation model M, the ground image GI, and the reference image RI (see FIG. 13). Specifically, in this embodiment, the estimation unit 207 acquires an estimation result based on the output of the estimation model M when the combined feature CF is input. The estimation result is an estimated value of the orientation direction AO of the antenna EA to be estimated in the reference image RI. Note that, in this embodiment, the estimation unit 207 acquires the output of the estimation model M as the estimation result as it is.
  • the output of the estimation model M indicates an estimated value of the orientation direction AO of the estimation target antenna EA in the reference image RI (see FIG. 6). Specifically, the output of the estimation model M indicates an estimated value of a direction that has a predetermined relationship with the orientation direction AO of the estimation target antenna EA in the reference image RI. Note that in this embodiment, the output of the estimation model M indicates an estimated value of the orientation direction AO itself of the estimation target antenna EA in the reference image RI. The output of the estimation model M may indicate an estimated value of a direction different from the orientation direction AO of the estimation target antenna EA in the reference image RI. For example, the output of the estimation model M may indicate the shooting direction CO. In that case, the estimation unit 207 may calculate an estimated value of the orientation direction AO of the estimation target antenna EA in the reference image RI from the output of the estimation model M based on the predetermined relationship.
  • the output of the estimation model M is represented by an estimated value of the azimuth angle Az of a direction that has a predetermined relationship with the orientation direction AO of the estimated target antenna EA in the reference image RI (see FIG. 3).
  • the azimuth angle Az is based on the direction MO (i.e., north) of the map image MI shown in the reference image RI.
  • the azimuth angle Az is the angle between the direction MO of the map image MI shown in the reference image RI and a direction that has a predetermined relationship with the orientation direction AO of the estimated target antenna EA in the reference image RI (the orientation direction AO of the estimated target antenna EA in the reference image RI itself in this embodiment).
  • the azimuth angle Az may be based on a direction other than the orientation direction MO of the map image MI shown in the reference image RI.
  • the orientation direction MO of the map image MI shown in the reference image RI is north
  • the azimuth angle Az may be based on the south.
  • the output of the estimation model M is represented by the estimated value of the azimuth angle Az itself, but it may also be represented by information indicating the estimated value of the azimuth angle Az. That is, the output of the estimation model M may be represented by a numerical value that can be converted into an estimated value of the azimuth angle Az. For example, the output of the estimation model M may be represented by a numerical value greater than or equal to 0 and less than 1. In that case, the estimation unit 207 may multiply the output of the estimation model M by 360 (2 ⁇ when radians are used as the unit of angle) to calculate the estimated value of the azimuth angle Az.
  • the pointing direction AO of the antenna EA to be estimated in the reference image RI can be estimated using the ground image GI and the reference image RI, making it possible to verify the pointing direction AO of the antenna EA to be estimated with little effort.
  • the estimation device 20 of this embodiment position information of the antenna EA to be estimated and a map image MI are acquired, and a reference image RI is acquired based on these.
  • the estimation device 20 of this embodiment can omit the process of estimating the position of the antenna EA to be estimated, and reduce the load of the process of estimating the pointing direction AO of the antenna EA to be estimated.
  • Processing Executed in the Direction Estimation System of the Present Embodiment The following describes the processes executed in the direction estimation system 1 of this embodiment. First, the processes executed in the learning device 10 will be described, and then the processes executed in the estimation device 20 will be described.
  • FIGS 16A and 16B are flow diagrams showing an example of processing executed in the learning device 10.
  • the processing shown in Figures 16A and 16B is executed by the control unit 11 operating in accordance with a program stored in the storage unit 12.
  • the processing described below is an example of processing executed by the functional blocks shown in Figure 7. It is assumed that the ground image database DB1, map image database DB2, teacher database DB3, and estimation model M for learning are stored in advance in the storage unit 12.
  • the control unit 11 acquires a learning ground image LGI (S100).
  • the control unit 11 acquires position information of the learning target antenna LA (S101).
  • the learning ground image LGI and the position information of the learning target antenna LA are acquired from the learning ground image database DB1 and the map image database DB2, respectively.
  • the control unit 11 acquires a map image MI (S102). In S102, the control unit 11 acquires the map image MI from the map image database DB2. The control unit 11 acquires a reference image LRI for learning (S103). In S103, the control unit 11 first identifies the position of the learning target antenna LA in the map image MI, and identifies a range R that has the position of the learning target antenna LA as its base point. The control unit 11 then acquires the portion of the map image MI that corresponds to the identified range R as the reference image LRI for learning.
  • the control unit 11 generates teacher data TD based on the set of learning ground images LGI and learning reference images LRI, and the correct answer data AD (S104). In S104, the control unit 11 stores the generated teacher data TD in the teacher database DB3. If the control unit 11 determines not to end the generation of the teacher data TD (S105; N), it repeats the processes from S100 to S104. If the control unit 11 determines to end the generation of the teacher data TD (S105; Y), it proceeds to the processes from S107 onwards shown in FIG. 16B.
  • the control unit 11 acquires teacher data TD including the learning ground image LGI, the learning reference image LRI, and the correct answer data AD (S107).
  • the control unit 11 acquires each of the multiple teacher data TD stored in the teacher database DB3.
  • the control unit 11 extracts the feature quantity LGF of the training ground image from the training ground image LGI, and extracts the feature quantity LRF of the training reference image from the training reference image LRI (S108).
  • the control unit 11 obtains the training combined feature quantity LCF based on the feature quantity LGF of the training ground image and the feature quantity LRF of the training reference image (S109). In S109, the control unit 11 combines the feature quantity LGF of the training ground image and the feature quantity LRF of the training reference image.
  • the control unit 11 executes a learning process for the estimation model M (S110).
  • the control unit 11 calculates a loss based on the output of the estimation model M based on the learning ground image LGI and the learning reference image LRI, and on the ground truth data AD, and executes a learning process for the estimation model M based on the calculated loss.
  • the control unit 11 determines whether or not to end the learning process of the estimation model M (S111).
  • the learning of the estimation model M can be ended at any timing, and may be ended when the loss becomes sufficiently small, or at another timing. If the control unit 11 determines not to end the learning process (S111; N), it repeats the processes from S107 to S110. If the control unit 11 determines to end the learning process (S111; Y), it transmits the learned estimation model M to the estimation device 20 (S112) and ends this process.
  • control unit 21 first acquires a learning ground image GI (S100) and then acquires a learning reference image RI (S101 to S103), but the control unit 21 may first acquire a learning reference image RI and then acquire a learning ground image GI. In addition, the control unit 21 may acquire the position information of the learning target antenna LA after acquiring the map image MI.
  • Fig. 17 is a flow diagram showing an example of processing executed in the estimation device 20.
  • the processing shown in Fig. 17 is executed by the control unit 21 operating in accordance with a program stored in the storage unit 22.
  • the processing described below is an example of processing executed by the functional blocks shown in Fig. 12. It is assumed that the ground image database DB4, the map image database DB5, and the estimation model M are stored in advance in the storage unit 22.
  • the control unit 21 acquires a ground image GI (S200).
  • the control unit 21 acquires position information of the estimated target antenna EA (S201).
  • the ground image GI and the position information of the estimated target antenna EA are acquired from the ground image database DB4 and the map image database DB5, respectively.
  • the control unit 21 acquires a map image MI (S202). In S202, the control unit 21 acquires the map image MI from the map image database DB5. The control unit 21 acquires a reference image RI (S203). In S203, the control unit 21 first identifies the position of the estimated target antenna EA in the map image MI, and identifies a range R that has the position of the estimated target antenna EA as its base point. The control unit 21 then acquires a portion of the map image MI that corresponds to the identified range R as the reference image RI.
  • the control unit 21 extracts ground image features GF from the ground image GI, and extracts reference image features RF from the reference image RI (S204).
  • the control unit 21 obtains combined features CF based on the ground image features GF and the reference image features RF (S205).
  • the control unit 11 obtains combined features CF by combining the learning ground image LGI and the learning reference image LRI.
  • the control unit 21 executes an estimation process for the orientation direction AO of the antenna EA to be estimated (S206).
  • the control unit 21 inputs the combined feature CF to the estimation model M and obtains the output of the estimation model M. Then, the control unit 21 obtains the estimation result based on the output of the estimation model M.
  • the control unit 21 causes the display unit 25 to display the estimation result obtained in S206 (S207), and ends this process.
  • control unit 21 first acquires the ground image GI (S200) and then acquires the reference image RI (S201 to S203), but the control unit 21 may first acquire the reference image RI and then acquire the ground image GI. In addition, the control unit 21 may acquire the position information of the estimation target antenna EA after acquiring the map image MI.
  • examples of losses used by the learning unit 109 of the learning device 10 include the root mean square error, the mean absolute error, and the root mean square logarithmic error, but losses other than these may also be used by the learning unit 109.
  • the loss indicates the difference between the direction indicated by the output of the estimation model M based on the training ground image LGI and the training reference image LRI, and the direction indicated by the ground truth data AD.
  • the difference between the direction indicated by the output of the estimation model M and the direction indicated by the ground truth data AD corresponds to the angle between the direction indicated by the output of the estimation model M and the direction indicated by the ground truth data AD.
  • Fig. 18 is a diagram for explaining the loss in learning in the first modified example.
  • the angle between the direction indicated by the output of the estimation model M and the direction indicated by the correct answer data AD includes a minor angle A sub and a dominant angle A sup .
  • the minor angle A sub is the smaller angle between the direction indicated by the output of the estimation model M and the direction indicated by the correct answer data AD.
  • the dominant angle A sup is the larger angle between the direction indicated by the output of the estimation model M and the direction indicated by the correct answer data AD.
  • the loss mentioned in the embodiment indicates the superior angle A sup between the direction indicated by the output of the estimation model M based on the training ground image LGI and the training reference image LRI and the direction indicated by the ground truth data AD.
  • the loss used in the learning unit 109 of the first modification indicates the minor angle A sub between the direction indicated by the output of the estimation model M based on the learning ground image LGI and the learning reference image LRI, and the direction indicated by the ground truth data AD.
  • the loss used in the learning unit 109 of the first modification is expressed by the following formula 1. Note that the expression format of the loss used in the learning unit 109 of the first modification is not limited to the formula 1.
  • L is the loss
  • n is the number of training data TD
  • yi is the angle of the direction indicated by the correct answer data AD
  • ypred is the angle of the direction indicated by the output of the estimation model M based on the training ground image LGI and the training reference image LRI.
  • the loss indicates the minor angle A sub between the direction indicated by the output of the estimation model M based on the learning ground image LGI and the learning reference image LRI, and the direction indicated by the ground answer data AD. This makes the loss value smaller, making it easier for the loss to converge and improving learning efficiency.
  • [5-2. Modification 2] 19 is a functional block diagram showing an example of functions realized by the learning device 10 of Modification 2.
  • the learning device 10 of Modification 2 differs from the learning device 10 of the embodiment in that it has an extended teacher data generating unit 106a. Note that, among the functions of the learning device 10 of Modification 2, functions other than the extended teacher data generating unit 106a are similar to those of the embodiment, and therefore description thereof will be omitted.
  • FIG. 20 is a histogram diagram showing an example of the distribution of teacher data TD with respect to the pointing direction AO.
  • the horizontal axis of FIG. 20 is the azimuth angle Az representing the pointing direction AO of the learning target antenna LA in the learning reference image LRI.
  • the vertical axis of FIG. 20 is the number of teacher data TD.
  • Each hatched bar graph in FIG. 20 indicates the number of teacher data TD only for each pointing direction AO.
  • Each black bar graph in FIG. 20 indicates the total number of teacher data TD and extended teacher data ATD (described later) for each pointing direction.
  • the target antenna LA is installed in accordance with the installation plan P (see Figure 2).
  • the pointing direction AO of the target antenna LA which is determined in the installation plan P, may be biased.
  • the pointing direction AO of the target antenna LA may be biased.
  • a bias occurs in the number of teacher data TD for each pointing direction AO.
  • the number of teacher data TD in which the pointing direction AO of the learning target antenna LA in the learning reference image LRI indicated by the correct answer data AD is a direction with an azimuth angle of 100° (first direction) is greater than the number of teacher data TD in which the pointing direction AO of the learning target antenna LA in the learning reference image LRI indicated by the correct answer data AD is a direction with an azimuth angle of 10° (second direction different from the first direction).
  • the multiple teacher data TD can be said to be unbalanced data. Note that the above azimuth angle values are just examples.
  • FIG. 21 is a diagram showing an example of original teacher data OTD.
  • FIG. 22 is a diagram showing an example of extended teacher data ATD.
  • the extended teacher data generation unit 106a rotates the learning reference image LRI of the original teacher data OTD (see FIG. 21), in which the direction at an azimuth angle of 100° is the correct answer, by -90° to generate extended teacher data ATD (see FIG. 22), in which the direction at an azimuth angle of 10° is the correct answer.
  • the extended teacher data generation unit 106a rotates the learning reference image LRI of the original teacher data OTD to generate extended teacher data ATD.
  • the extended teacher data generating unit 106a generates extended teacher data ATD based on the original teacher data OTD, using teacher data TD in which the orientation direction AO of the learning target antenna LA in the learning reference image LRI indicated by the correct answer data AD is a direction with an azimuth angle of 100°.
  • the extended teacher data ATD includes an extended ground image AGI, an extended reference image ARI, and extended correct answer data AAD.
  • the extended ground image AGI is a learning ground image LGI included in the original teacher data OTD.
  • the extended reference image ARI is an image obtained by rotating the learning reference image LRI included in the original teacher data OTD.
  • the extended correct answer data AAD indicates the direction of an azimuth angle of 10°, which is the pointing direction AO of the learning target antenna LA in the extended reference image ARI.
  • the learning unit 109 of the second modified example performs learning of the estimation model M further based on the extended teacher data ATD.
  • the learning process itself in the learning unit 109 of the second modified example is similar to the learning process in the learning unit 109 of the embodiment, so a description thereof will be omitted.
  • the extended teacher data ATD is generated and used for learning, which makes it possible to even out the bias in the number of teacher data TD for the directional direction AO (see FIG. 16), thereby making it possible to prevent bias in learning.
  • an image obtained by photographing the ground surface from the sky with a so-called passive sensor, such as a satellite image or an aerial photograph has been given as an example of the map image MI
  • the map image MI may be an image obtained by photographing the ground surface from the sky with a so-called active sensor, such as a SAR image (synthetic aperture radar image).
  • the map image MI may be an image obtained by combining a satellite image or an aerial photograph with a SAR image.
  • the map image MI may be an image in which the pixel value of each pixel of the SAR image is weighted by a predetermined weight with respect to the pixel value of each pixel of the satellite image or the aerial photograph.
  • the SAR image may be, for example, an InSAR image (interferometric synthetic aperture radar image), an ISAR image (inverse synthetic aperture radar image), or the like.
  • the direction estimation system 1 may also perform learning and estimation based on a second map image (such as a SAR image) which is an image obtained by photographing the ground surface from the sky using an active sensor, in addition to a first map image (such as a satellite image or aerial photograph) which is an image obtained by photographing the ground surface from the sky using a passive sensor.
  • a second map image such as a SAR image
  • a first map image such as a satellite image or aerial photograph
  • the learning device 10 may perform learning of the estimation model M based on a plurality of teacher data each including a set of a learning ground image LGI, a first learning reference image showing a range in the first map image with the position of the learning target antenna LA as a base point, and a second learning reference image in the second map image showing a range in the second map image with the position of the learning target antenna LA as a base point, and correct answer data.
  • a plurality of teacher data each including a set of a learning ground image LGI, a first learning reference image showing a range in the first map image with the position of the learning target antenna LA as a base point, and a second learning reference image in the second map image showing a range in the second map image with the position of the learning target antenna LA as a base point, and correct answer data.
  • the estimation device 20 may also estimate the pointing direction AO of the antenna EA to be estimated based on a ground image GI, a first reference image showing a range in the first map image with the position of the antenna EA to be estimated as a base point, a second reference image showing a range in the second map image with the position of the antenna EA to be estimated as a base point, and an estimation model M.
  • the direction estimation system 1 of variant 3 described above performs learning and estimation based on images obtained by photographing the ground surface from the sky using an active sensor, so it is possible to take into account the surface shapes of objects on the ground and perform direction estimation with higher accuracy.
  • the direction estimation system 1 of the present disclosure may be configured as follows.
  • a first image acquisition means for acquiring a first image which is an image obtained by photographing a feature present in a direction corresponding to a pointing direction of the object to be estimated as viewed from a position of the object to be estimated;
  • a position information acquisition means for acquiring position information of the estimation target object;
  • a map image acquisition means for acquiring a map image obtained by photographing the ground surface from the sky;
  • a second image acquisition means for acquiring a second image indicating a range having a base point at the position of the object to be estimated from the map image based on position information of the object to be estimated and the map image;
  • an estimation means for estimating the orientation direction of the estimation target object based on a trained estimation model that has learned the relationship between a first training image, which is an image obtained by photographing a feature existing in a direction corresponding to the orientation direction of the training target object as viewed from the position of the training target object, and a second training image, which is one of the map images and indicates a range starting from the position of
  • the first image shows at least a portion of the object to be estimated; the first training image shows at least a portion of the training object; the object to be estimated shown in the first image has a marker indicating a direction in which the object to be estimated is directed; the learning object shown in the first learning image has a marker indicating a direction of orientation of the learning object;
  • a direction estimation system according to claim 1 or 2.
  • the trained estimation model is Calculating a loss based on an output of the estimation model based on the set of the first training image and the second training image and the ground truth data, and performing training of the estimation model based on the loss; It is generated by The loss indicates an angle that is a minor angle between a direction indicated by an output of the estimation model based on the set of the first training image and the second training image and a direction indicated by the ground truth data.
  • a direction estimation system according to any one of claims 1 to 3.
  • the method further includes an extended teacher data generating means for generating extended teacher data based on the original teacher data, the original teacher data being the teacher data in which the orientation direction of the estimation target object in the second learning image indicated by the correct answer data is a first direction,
  • the extended teacher data includes a set of a first extended learning image, which is the first learning image included in the original teacher data, and a second extended learning image obtained by rotating the second learning image included in the original teacher data, and extended correct answer data indicating a second direction different from a first direction, which is a pointing direction of the estimation target object in the second extended learning image
  • the learning means executes learning of the estimation model further based on the extended teacher data.
  • the learning means calculates a loss based on an output of the estimation model based on a set of the first learning image and the second learning image and the ground truth data, and executes learning of the estimation model based on the loss;
  • the loss indicates an angle that is a minor angle between a direction indicated by an output of the estimation model based on the set of the first training image and the second training image and a direction indicated by the ground truth data.
  • a learning system according to any one of (5) to (7).
  • the first training image shows at least a portion of the training object;
  • the learning object shown in the first learning image has a marker indicating a direction of orientation of the learning object;
  • a learning system according to any one of (5) to (8).

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

第１の画像取得手段は、推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像を取得する。位置情報取得手段は、前記推定対象オブジェクトの位置情報を取得する。地図画像取得手段は、上空から地表面を撮影して得られる地図画像を取得する。第２の画像取得手段は、前記推定対象オブジェクトの位置情報及び前記地図画像に基づいて、前記地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像を取得する。推定手段は、学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、の関係が学習された学習済みの推定モデル、前記第１の画像及び前記第２の画像に基づいて、前記推定対象オブジェクトの指向方向の推定を実行する。

Description

方向推定システム、方向推定方法、学習システム、学習方法及びプログラム
　本開示は、方向推定システム、方向推定方法、学習システム、学習方法及びプログラムに関する。
　携帯電話等での通信に用いる移動体通信ネットワークには、複数の基地局が含まれる。各基地局は、電波を送信し又は受信するためのアンテナを有する。
特開２０２１－１８４５３９
　複数の基地局によりカバーされる通信エリアにできるだけ漏れが生じないようにするためには、各アンテナの設置位置と該アンテナの指向方向とを予め定めた設置計画を作成し、この設置計画に従って、各アンテナを設置することが望ましい。
　しかしながら、設置計画に定められた指向方向に各アンテナが実際に向いているかどうかを検証するには手間がかかる、という問題がある。例えば、アンテナの指向方向を測量することにより、設置計画に定められた指向方向に各アンテナが実際に向いているかどうかを検証することは可能であるが、指向方向の測量には手間がかかる。
　なお、特許文献１には、基地局のセルの一部又は全部を含む対象エリアを撮影した画像からセル内外の各種情報を抽出し、該情報に基づいて基地局の設定情報を調整する技術が記載されているが、この技術ではアンテナの指向方向を検証することはできない。
　そして、上記の問題は、移動体通信ネットワークに含まれる基地局のアンテナについてのみならず、テレビ若しくはラジオ等の放送用のアンテナ又はレーダアンテナ等、各種のアンテナに当てはまる。また、上記の問題は、アンテナについてのみならず、太陽光パネル、監視カメラ又はスピーカ等、指向方向を予め定めた設置計画に従って設置され得るオブジェクトにも当てはまる。更に、上記の問題は、設置計画に従って設置され得るオブジェクトの他、ドローン又は車等、移動可能なオブジェクトを含むオブジェクト一般にも当てはまる。
　本開示の目的の１つは、少ない手間でオブジェクトの指向方向を検証することを可能とすることにある。
　本開示に係る方向推定システムは、推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像を取得する第１の画像取得手段と、前記推定対象オブジェクトの位置情報を取得する位置情報取得手段と、上空から地表面を撮影して得られる地図画像を取得する地図画像取得手段と、前記推定対象オブジェクトの位置情報及び前記地図画像に基づいて、前記地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像を取得する第２の画像取得手段と、学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、の関係が学習された学習済みの推定モデル、前記第１の画像及び前記第２の画像に基づいて、前記推定対象オブジェクトの指向方向の推定を実行する推定手段と、を有する。
本実施形態の方向推定システムのハードウェア構成の一例を示す図である。 アンテナの設置計画書の一例を示す図である。 学習用の地上画像を説明する図である。 学習用の参照画像を説明する図である。 推定モデルの学習の概要を示す図である。 推定モデルを用いた指向方向の推定の概要を示す図である。 学習装置で実現される機能の一例を示す機能ブロック図である。 学習装置の学習処理の一例を示す図である。 学習用の地上画像データベースの一例を示す図である。 地図画像データベースの一例を示す図である。 教師データベースの一例を示す図である。 推定装置で実現される機能の一例を示す機能ブロック図である。 推定装置の推定処理の一例を示す図である。 地上画像データベースの一例を示す図である。 地図画像データベースの一例を示す図である。 学習装置において実行される処理の一例を示すフロー図である。 学習装置において実行される処理の一例を示すフロー図である。 推定装置において実行される処理の一例を示すフロー図である。 変形例１の学習における損失を説明する図である。 変形例２の学習装置で実現される機能の一例を示す機能ブロック図である。 指向方向に対する教師データの分布の一例を示すヒストグラム図である。 元教師データの一例を示す図である。 拡張教師データの一例を示す図である。
［１．本実施形態の方向推定システムのハードウェア構成］
　図１は、本実施形態の方向推定システム１のハードウェア構成の一例を示す図である。図１に示すように、方向推定システム１は、学習装置１０及び推定装置２０を含み、これらは、インターネット又はＬＡＮ等のネットワークＮに接続される。なお、図１では、学習装置１０及び推定装置２０を１台ずつ示しているが、これらは複数台あってもよい。また、図１では、学習装置１０及び推定装置２０がそれぞれ異なる場合を示しているが、これらは同一の装置であってもよい。更に、学習装置１０及び推定装置２０は、互いに異なるシステムに属していてもよい。
　学習装置１０は、ユーザが操作するコンピュータである。例えば、学習装置１０は、パーソナルコンピュータ、サーバコンピュータ、携帯情報端末（タブレット型コンピュータ及びウェアラブル端末を含む）、又は携帯電話機（スマートフォンを含む）等である。学習装置１０は、制御部１１、記憶部１２、通信部１３、操作部１４、及び表示部１５を備える。
　制御部１１は、少なくとも１つのプロセッサを有する。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はハードディスクなどの不揮発性メモリである。
　通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークＮを介してデータ通信を行う。操作部１４は、操作を行うための入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイス、キーボード、又はボタン等である。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１５は、制御部１１の指示に従って画像を表示する。
　推定装置２０は、ユーザが操作するコンピュータである。学習装置１０のユーザと推定装置２０のユーザは、同じであってもよいし異なっていてもよい。例えば、推定装置２０は、パーソナルコンピュータ、サーバコンピュータ、携帯情報端末（タブレット型コンピュータ及びウェアラブル端末を含む）、又は携帯電話機（スマートフォンを含む）等である。推定装置２０は、制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５を含む。制御部２１、記憶部２２、通信部２３、操作部２４、及び表示部２５の各々の物理的構成は、それぞれ制御部１１、記憶部１２、通信部１３、操作部１４、及び表示部１５と同様であってよい。
　なお、記憶部１２，２２に記憶されるものとして説明するプログラム及びデータは、ネットワークＮを介して供給されるようにしてもよい。また、学習装置１０及び推定装置２０の各々のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介して、各コンピュータに供給されるようにしてもよい。
［２．本実施形態の方向推定システムの概要］
　以下、本実施形態の方向推定システム１の概要を説明する。本実施形態では、移動体通信ネットワークに含まれる基地局のアンテナの指向方向を推定するのに方向推定システム１を用いる場合を例に挙げて、方向推定システム１を説明する。なお、前述の通り、方向推定システム１は、アンテナ以外にも、様々なオブジェクトの指向方向を推定するのに利用可能である。
　指向方向とは、アンテナの正面方向を示す方向である。具体的には、指向方向は、アンテナの正面方向と所定の関係にある方向である。本実施形態では、指向方向は、アンテナの正面方向そのもの、すなわち、アンテナが信号を送信し又は受信する方向であるが、指向方向はアンテナの正面方向に限られない。例えば、指向方向は、アンテナの背面方向であってもよい。なお、移動可能なオブジェクトの場合、指向方向は視界方向であってよい。具体的には、オブジェクトがドローンの場合、指向方向は、ドローンに設けられたカメラ等の撮影装置が向く方向であってよい。また、オブジェクトが自動車の場合、指向方向は、自動車のフロントガラスが向く方向であってよい。なお、移動可能な推定対象オブジェクトについて、指向方向は視界方向に限られない。
　より具体的には、指向方向は、アンテナの正面方向を示す方向の水平方向成分である。指向方向は、平面視においてアンテナの正面方向を示す方向であるということもできる。
　方向推定システム１は、学習装置１０と推定装置２０とを有する。以下では、まず学習装置１０の概要を説明し、次いで、推定装置２０の概要を説明する。
［２－１．学習装置１０の概要］
　学習装置１０では、アンテナの指向方向を推定するための推定モデルＭの学習が行われる。学習装置１０では、推定モデルＭを学習するための教師データＴＤが生成され、そして、生成された教師データＴＤに基づいて推定モデルＭの学習が行われる（図５参照）。
　図２は、アンテナの設置計画書Ｐの一例を示す図である。図２に示すように、設置計画書Ｐでは、各アンテナを設置すべき位置と、各アンテナがその位置において向くべき指向方向と、が予め定められている。例えば、移動体通信サービスを提供する事業者は、この設置計画書に従ってアンテナの設置作業を行う。以降、この設置計画書に従って設置された既設のアンテナを学習対象アンテナＬＡと呼ぶ。
　図３は、学習用の地上画像ＬＧＩを説明する図である。例えば、図３に示すように、作業者Ｏは、学習対象アンテナＬＡの設置作業後、撮影装置Ｃを用いて、学習対象アンテナＬＡの位置から、学習対象アンテナＬＡの指向方向ＡＯに沿って地物ＴＦを撮影し、学習用の地上画像ＬＧＩを取得する。学習用の地上画像ＬＧＩとは、学習対象アンテナＬＡの位置から見て学習対象アンテナＬＡの指向方向ＡＯに応じた方向に存在する地物ＴＦを撮影して得られる画像である。学習用の地上画像ＬＧＩの詳細については後述する。
　作業者Ｏは、学習用の地上画像ＬＧＩを取得する際、学習対象アンテナＬＡの位置情報及び学習対象アンテナＬＡの指向方向ＡＯを測量により取得する。学習装置１０では、学習用の地上画像ＬＧＩと、学習対象アンテナＬＡの位置情報と、学習対象アンテナＬＡの指向方向ＡＯと、を互いに関連付けて格納した学習用の地上画像データベースＤＢ１が記憶される（図９参照）。
　図４は、学習用の参照画像ＬＲＩを説明する図である。図４に示すように、学習装置１０では、学習対象アンテナＬＡの位置情報及び地図画像ＭＩに基づいて、学習用の参照画像ＬＲＩが取得される。学習用の参照画像ＬＲＩは、地図画像ＭＩのうち学習対象アンテナＬＡの位置を基点とする範囲Ｒを示す画像である。学習用の参照画像ＬＲＩの詳細については後述する。
　こうして取得された学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩの組は、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯを示す正解データＡＤと関連付けられ、教師データＴＤとして記憶される（図１１参照）。
　図５は、推定モデルＭの学習の概要を示す図である。学習装置１０では、教師データＴＤを用いることにより、推定モデルＭの学習が行われる。こうして学習された学習済みの推定モデルＭは、後述する推定装置２０に送信される。
［２－１．推定装置２０の概要］
　推定装置２０では、新たに設置されたアンテナ（以降、「推定対象アンテナＥＡ」という。）の指向方向ＡＯが推定される。推定対象アンテナＥＡは、既設である学習対象アンテナＬＡとは異なるアンテナである。
　例えば、図３を用いて説明したのと同様にして、作業者Ｏは、推定対象アンテナＥＡの設置作業後、撮影装置Ｃを用いて、推定対象アンテナＥＡの位置から、推定対象アンテナＥＡの指向方向ＡＯに沿って地物ＴＦを撮影し、地上画像ＧＩを取得する。
　作業者Ｏは、地上画像ＧＩを取得する際、推定対象アンテナＥＡの位置情報を測量により取得する。ここで、作業者Ｏは、推定対象アンテナＥＡの指向方向ＡＯを取得しない。推定装置２０では、学習用の地上画像ＬＧＩと、学習対象アンテナＬＡの位置情報と、を互いに関連付けて格納した地上画像データベースＤＢ４が記憶される（図１４参照）。
　そして、学習装置１０では、図４を用いて説明したのと同様にして、推定対象アンテナＥＡの位置情報及び地図画像ＭＩに基づいて、参照画像ＲＩが取得される。参照画像ＲＩは、地図画像ＭＩのうち推定対象アンテナＥＡの位置を基点とする範囲Ｒを示す画像である。
　図６は、推定モデルＭを用いた指向方向ＡＯの推定の概要を示す図である。図６に示すように、学習装置１０では、推定モデルＭ、地上画像ＧＩ及び参照画像ＲＩの組に基づいて、推定対象アンテナＥＡの指向方向ＡＯの推定が実行される。
　以上に説明した本実施形態の方向推定システム１によれば、地上画像ＧＩと参照画像ＲＩとに基づいて、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯを推定することができるので、推定対象アンテナＥＡの指向方向ＡＯを検証することが可能となる。以降、この方向推定システム１の詳細を説明する。
［３．本実施形態の方向推定システムで実現される機能］
　以下では、本実施形態の方向推定システム１で実現される機能を説明する。まず、学習装置１０で実現される機能を説明し、次に、推定装置２０で実現される機能を説明する。
［３－１．学習装置で実現される機能］
　図７は、学習装置１０で実現される機能の一例を示す機能ブロック図である。図７に示すように、学習装置１０は、データ記憶部１００、学習用の地上画像取得部１０１、位置情報取得部１０２、地図画像取得部１０３、学習用の参照画像取得部１０４、教師データ生成部１０５、教師データ取得部１０６、特徴抽出部１０７、結合特徴量取得部１０８及び学習部１０９を有する。データ記憶部１００は、記憶部１２により実現される。学習用の地上画像取得部１０１、位置情報取得部１０２、地図画像取得部１０３、学習用の参照画像取得部１０４、教師データ生成部１０５、教師データ取得部１０６、特徴抽出部１０７、結合特徴量取得部１０８及び学習部１０９は、制御部１１を主として実現される。これらの機能は、学習機能の一例である。なお、以下の説明では、図８に示す学習装置１０の学習処理の一例を参照することがある。
［データ記憶部］
　データ記憶部１００は、学習用の地上画像データベースＤＢ１、地図画像データベースＤＢ２、教師データベースＤＢ３、第１の特徴抽出器ＦＥ１、第２の特徴抽出器ＦＥ２及び推定モデルＭを記憶する。
［学習用の地上画像データベース］
　図９は、学習用の地上画像データベースＤＢ１の一例を示す図である。図９に示すように、学習用の地上画像データベースＤＢ１は、学習用の地上画像ＬＧＩと、学習対象アンテナＬＡの位置情報と、学習対象アンテナＬＡの指向方向ＡＯと、を互いに関連付けて格納する。
　前述したように、学習用の地上画像ＬＧＩは、学習対象アンテナＬＡの位置から見て学習対象アンテナＬＡの指向方向ＡＯに応じた方向に存在する地物ＴＦを撮影して得られる画像である。
　学習対象アンテナＬＡの位置とは、設置計画書Ｐに定められた学習対象アンテナＬＡの位置である。学習対象アンテナＬＡの位置は、設置計画書Ｐに定められた学習対象アンテナＬＡの位置と同じ位置であることが好ましいが、設置計画書Ｐに定められた学習対象アンテナＬＡの位置からずれた位置であってもよい。なお、移動可能なオブジェクトの場合、オブジェクトの位置は、例えばオブジェクトの測量手段により取得された位置であってよい。
　学習対象アンテナＬＡの指向方向ＡＯに応じた方向とは、学習対象アンテナＬＡの指向方向ＡＯと所定の関係にある方向である。本実施形態では、学習対象アンテナＬＡの指向方向ＡＯに応じた方向は、学習対象アンテナＬＡの指向方向ＡＯそのものとする。すなわち、本実施形態では、撮影装置Ｃの向く方向（撮影方向ＣＯ）は、学習対象アンテナＬＡの指向方向ＡＯと同じ方向である。なお、学習対象アンテナＬＡの指向方向ＡＯに応じた方向は、学習対象アンテナＬＡの指向方向ＡＯとは異なる方向であってもよい。すなわち、撮影方向ＣＯは、学習対象アンテナＬＡの指向方向ＡＯと異なる方向であってもよい。
　地物ＴＦとは、地上に存在する全ての物である。地物ＴＦは、人工物及び自然物の両方を含む。地物ＴＦは、例えば、建物、樹木、岩石、山、河川等であってよい。図７では、一例として、地物ＴＦが家屋及び樹木である場合を示す。
　ここで、図３に示すように、学習用の地上画像ＬＧＩは、学習対象アンテナＬＡの少なくとも一部を示す。別の言い方をすれば、学習用の地上画像ＬＧＩには、学習対象アンテナＬＡの少なくとも一部が写り込んでいる。本実施形態では、学習対象アンテナＬＡの真後ろ且つ学習対象アンテナＬＡの略直上から地物ＴＦを撮影することにより学習用の地上画像ＬＧＩを得ているので、学習用の地上画像ＬＧＩは、その下方において、学習対象アンテナＬＡの上面の一部を示す。なお、言うまでもなく、撮影位置が異なれば、学習用の地上画像ＬＧＩに学習対象アンテナＬＡが示される態様も異なる。
　そして、図３に示すように、学習用の地上画像ＬＧＩに示される学習対象アンテナＬＡは、学習対象アンテナＬＡの指向方向ＡＯを示す標識Ｓを有する。本実施形態では、一例として、図７に示すように、標識Ｓが矩形のステッカーである場合を説明する。標識Ｓは、その長手方向が学習対象アンテナＬＡの指向方向ＡＯと平行になるように、学習対象アンテナＬＡに貼り付けられている。なお、標識Ｓの形状は、必ずしも矩形である必要はなく、楕円形や矢形等であってもよい。また、標識Ｓは、ステッカーに限られず、例えば学習対象アンテナＬＡに直接描画されたものであってもよい。
　このような構成によれば、学習対象アンテナＬＡの指向方向ＡＯに関する情報として、地物ＴＦに由来する情報に加えて、標識Ｓに由来する情報が学習用の地上画像ＬＧＩから抽出され、これらの情報が後述する学習及び推定に用いられるので、学習の効率及び推定の精度が向上する。
　学習対象アンテナＬＡの位置情報とは、学習対象アンテナＬＡの位置を示す座標である。本実施形態では、学習対象アンテナＬＡの位置を示す座標は、緯度及び経度により表されるものとするが、緯度及び経度以外の形式で表されてもよい。
　学習用の地上画像データベースＤＢ１に格納された学習対象アンテナＬＡの指向方向ＡＯは、前述したように、作業者Ｏの測量により得られたものである（図３参照）。後述するが、学習用の地上画像データベースＤＢ１に格納された学習対象アンテナＬＡの指向方向ＡＯに基づいて、教師データＴＤの正解データＡＤが取得される。
［地図画像データベース］
　図１０は、地図画像データベースＤＢ２の一例を示す図である。図１０に示すように、地図画像データベースＤＢ２は、複数の地図画像ＭＩを格納する。
　地図画像ＭＩは、上空から地表面を撮影して得られる画像である。地図画像ＭＩは、地物を上空から示す画像であるとも言える。なお、地図画像ＭＩが示す地物は、学習用の地上画像ＬＧＩが示す地物ＴＦに限られない。本実施形態では、地図画像ＭＩは、上空から地表面を真下に撮影して得られる画像である。別の言い方をすれば、本実施形態では、地図画像ＭＩは、地表面を平面視で示す画像である。なお、地図画像ＭＩは、上空から斜め下に地表面を撮影したものであってもよい。別の言い方をすれば、地図画像ＭＩは、地表面を鳥瞰視で示す画像であってもよい。
　なお、本実施形態では、地図画像ＭＩが衛星画像であるものとするが、地図画像ＭＩは航空写真であってもよい。
　また、本実施形態では、ある地理的範囲（例えば日本全域）の地表面を示す１つの地図画像が複数の地図画像ＭＩ（例えば東京都の地表面を示す地図画像、神奈川県の地表面を示す地図画像等）に分割され、これらが地図画像データベースＤＢ２に格納されているものとする。なお、データ記憶部１００は、１つの地図画像ＭＩ（例えば日本全域の地表面を示す地図画像）を記憶してもよい。
［教師データベース］
　図１１は、教師データベースＤＢ３の一例を示す図である。図１１に示すように、教師データベースＤＢ３は、複数の教師データＴＤを格納する。教師データＴＤの詳細については後述する。
［第１の特徴抽出器］
　第１の特徴抽出器ＦＥ１は、学習用の地上画像ＬＧＩから、学習用の地上画像の特徴量ＬＧＦを抽出するために用いられる機械学習モデルである（図８参照）。本実施形態では、第１の特徴抽出器ＦＥ１として、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を用いるものとするが、第１の特徴抽出器ＦＥ１としては、画像から特徴量を抽出する任意の機械学習モデルが利用可能である。なお、第１の特徴抽出器ＦＥ１のパラメータは固定であり、学習装置１０での学習では更新されない。
［第２の特徴抽出器］
　第２の特徴抽出器ＦＥ２は、学習用の参照画像ＬＲＩから、学習用の参照画像の特徴量ＬＲＦを抽出するために用いられる機械学習モデルである（図８参照）。第２の特徴抽出器ＦＥ２としては、画像から特徴量を抽出する任意の機械学習モデルが利用可能である。本実施形態では、第２の特徴抽出器ＦＥ２として、第１の特徴抽出器と同様、畳み込みニューラルネットワークを用いるものとする。なお、第１の特徴抽出器ＦＥ１と第２の特徴抽出器ＦＥ２との間ではパラメータは共有されない。また、第２の特徴抽出器ＦＥ２のパラメータは固定であり、学習装置１０での学習では更新されない。
　なお、本実施形態では、学習用の地上画像の特徴量ＬＧＦ及び学習用の参照画像の特徴量ＬＲＦはそれぞれ、多次元のベクトルで表されるものとするが、行列、配列又は単一の数値等の他の形式で表されてもよい。
　また、本実施形態で第１の特徴抽出器ＦＥ１又は第２の特徴抽出器ＦＥ２と記載した箇所は、特徴量抽出のコンセプトを意味するのではなく、そのコンセプトにより生み出された電子的なデータを意味する。すなわち、第１の特徴抽出器ＦＥ１又は第２の特徴抽出器ＦＥ２は、プログラムとパラメータとを含む。なお、第１の特徴抽出器ＦＥ１又は第２の特徴抽出器ＦＥ２は、プログラム又はパラメータのいずれかだけを意味してもよい。第１の特徴抽出器ＦＥ１又は第２の特徴抽出器ＦＥ２に含まれるプログラムには、コンピュータが実行すべき処理内容（命令又は計算式）が定義されている。
［推定モデル］
　推定モデルＭは、地上画像ＧＩ及び参照画像ＲＩの組に基づいて、推定対象アンテナＥＡの指向方向ＡＯを推定するモデルである。推定モデルＭは、地上画像ＧＩ及び参照画像ＲＩの組に基づいて、推定対象アンテナＥＡの指向方向ＡＯを回帰する回帰モデルであるということもできる。データ記憶部１００に記憶された推定モデルＭは、学習前の推定モデルＭである。すなわち、データ記憶部１００に記憶された推定モデルＭのパラメータは初期値である。後述の学習部１０９が学習を開始した後は、データ記憶部１００は、学習途中の推定モデルＭを記憶する。学習部１０９が学習を終了した後は、データ記憶部１００は、学習済みの推定モデルＭを記憶する。推定モデルＭとしては、ニューラルネットワーク等、種々の機械学習モデルが利用可能である。
　具体的には、後述するが、本実施形態では、推定モデルＭは、地上画像の特徴量ＧＦ及び参照画像の特徴量ＲＦに基づいて得られる結合特徴量ＣＦを入力として、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯを出力とする（図１３参照）。なお、推定モデルＭは、地上画像の特徴量ＧＦ及び参照画像の特徴量ＲＦが直接入力されるモデルであってもよい。その場合、学習装置１０及び推定装置２０は、後述する結合特徴量取得部１０８，２０６を有しなくてよい。或いは、推定モデルＭは、地上画像ＧＩ及び参照画像ＲＩが直接入力されるモデルであってもよい。その場合、学習装置１０及び推定装置２０は、後述する特徴抽出部１０７,２０５及び結合特徴量取得部１０８，２０６を有しなくてよい。或いは、推定モデルＭは、地上画像ＧＩと参照画像ＲＩとを結合して得られるデータが入力されるモデルであってもよい。
　なお、本実施形態で推定モデルＭと記載した箇所は、特徴量抽出のコンセプトを意味するのではなく、そのコンセプトにより生み出された電子的なデータを意味する。すなわち、推定モデルＭは、プログラムとパラメータとを含む。なお、推定モデルＭは、プログラム又はパラメータのいずれかだけを意味してもよい。推定モデルＭに含まれるプログラムには、コンピュータが実行すべき処理内容（命令又は計算式）が定義されている。
［学習用の地上画像取得部］
　学習用の地上画像取得部１０１は、学習用の地上画像ＬＧＩを取得する（図８参照）。本実施形態では、地上画像取得部１０１は、データ記憶部１００に記憶された学習用の地上画像データベースＤＢ１から、学習用の地上画像ＬＧＩを取得する。なお、地上画像取得部１０１は、学習装置１０以外の他のコンピュータ又は外部の情報記憶媒体から学習用の地上画像ＬＧＩを取得してもよい。
［位置情報取得部］
　位置情報取得部１０２は、学習対象アンテナＬＡの位置情報を取得する（図８参照）。本実施形態では、位置情報取得部１０２は、データ記憶部１００に記憶された学習用の地上画像データベースＤＢ１から、学習対象アンテナＬＡの位置情報を取得する。なお、位置情報取得部１０２は、学習装置１０以外の他のコンピュータ又は外部の情報記憶媒体から学習対象アンテナＬＡの位置情報を取得してもよい。
［地図画像取得部］
　地図画像取得部１０３は、地図画像ＭＩを取得する（図８参照）。本実施形態では、地図画像取得部１０３は、データ記憶部１００の地図画像データベースＤＢ２から、地図画像ＭＩを取得する。地図画像取得部２０３は、外部の情報記憶媒体又はコンピュータから地図画像ＭＩを取得してもよい。
［学習用の参照画像取得部］
　学習用の参照画像取得部１０４は、学習対象アンテナＬＡの位置情報及び地図画像ＭＩに基づいて、学習用の参照画像ＬＲＩを取得する（図８参照）。
　前述したように、学習用の参照画像ＬＲＩは、地図画像ＭＩのうち学習対象アンテナＬＡの位置を基点とする範囲Ｒを示す画像である。
　学習対象アンテナＬＡの位置を基点とする範囲Ｒとは、学習対象アンテナＬＡの位置を含む所定の範囲である。具体的に、本実施形態では、範囲Ｒは、学習対象アンテナＬＡの位置を中心とする所定の範囲である。なお、範囲Ｒの中心は、学習対象アンテナＬＡの位置に限られず、例えば学習対象アンテナＬＡの位置から所定の方向に所定の距離だけ離れた位置であってもよい。
　具体的には、図４に示すように、学習用の参照画像取得部１０４は、地図画像ＭＩにおける学習対象アンテナＬＡの位置を特定する。次いで、学習用の参照画像取得部１０４は、学習対象アンテナＬＡの位置を基点とする範囲Ｒを特定する。別の言い方をすれば、学習用の参照画像取得部１０４は、学習用の参照画像ＬＲＩが示す地図画像ＭＩの縮尺を特定する。そして、学習用の参照画像取得部１０４は、地図画像ＭＩのうち、特定した範囲Ｒに該当する部分を、学習用の参照画像ＬＲＩとして取得する。
　なお、本実施形態では、図４に示すように、学習用の参照画像ＬＲＩが示す地図画像ＭＩは北を向いているものとする。すなわち、本実施形態では、学習用の参照画像ＬＲＩが示す地図画像ＭＩの向く方向ＭＯは北である。なお、学習用の参照画像ＬＲＩが示す地図画像ＭＩは任意の方向を向いてよい。
［教師データベース生成部］
　教師データ生成部１０５は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩの組と、正解データＡＤと、に基づいて、教師データＴＤを生成する（図８参照）。教師データ生成部１０５は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩの組と、正解データＡＤと、を互いに関連付けることにより、教師データＴＤを生成する。教師データ生成部１０５は、生成した教師データＴＤをデータ記憶部１００の教師データベースＤＢ３に記憶する。
　正解データＡＤは、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯを示す（図５参照）。正解データＡＤは、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに対するラベルデータであるともいうことができる。或いは、正解データＡＤは、真値を示すデータということもできる。本実施形態では、教師データ生成部１０５は、学習用の地上画像データベースＤＢ１から取得した学習対象アンテナＬＡの指向方向に基づいて、正解データＡＤを生成する（図８参照）。後述するように、本実施形態では、正解データＡＤは、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯそのものを示すので、教師データ生成部１０５は、学習用の地上画像データベースＤＢ１から取得した学習用の地上画像データベースＤＢ１から取得した学習対象アンテナＬＡの指向方向をそのまま正解データＡＤとして用いてよい。
　具体的には、正解データＡＤは、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯと所定の関係にある方向を示す。本実施形態では、正解データＡＤは、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯそのものを示すが、正解データＡＤは、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯと異なる方向を示してもよい。例えば、正解データＡＤは、撮影方向ＣＯを示してもよい。
　正解データＡＤは、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯと所定の関係にある方向の方位角Ａｚで表される（図５参照）。本実施形態では、方位角Ａｚは、学習用の参照画像ＬＲＩが示す地図画像ＭＩの向く方向ＭＯ（すなわち北）を基準とする。すなわち、方位角Ａｚは、学習用の参照画像ＬＲＩが示す地図画像ＭＩの向く方向ＭＯと、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯと所定の関係にある方向（本実施形態では学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯそのもの）と、の間の角度である。なお、方位角Ａｚは、学習用の参照画像ＬＲＩが示す地図画像ＭＩの向く方向ＭＯ以外の方向を基準としてもよい。例えば、本実施形態では、学習用の参照画像ＬＲＩが示す地図画像ＭＩの向く方向ＭＯは北であるところ、方位角Ａｚは南を基準としてもよい。
　なお、本実施形態では、正解データＡＤは、方位角Ａｚそのもので表されるが、方位角Ａｚを示す情報で表されてもよい。例えば、正解データＡＤは、方位角Ａｚに変換可能な数値で表されてもよい。例えば、正解データＡＤは、０以上１未満の数値で表されてよい。この場合、正解データＡＤに３６０（角度の単位としてラジアンを用いるときは２π）を乗ずることにより、方位角Ａｚを算出することができる。
　なお、地上画像取得部１０１、位置情報取得部１０２、地図画像取得部１０３、及び学習用の参照画像取得部１０４が学習装置１０で実現される場合を説明したが、これらの機能は学習装置１０以外の装置で実現されてもよい。すなわち、教師データＴＤの生成、ひいては教師データベースＤＢ３の生成は、学習装置１０以外の装置で行われてもよい。
［教師データ取得部］
　教師データ取得部１０６は、複数の教師データＴＤを取得する（図８参照）。本実施形態では、教師データ取得部１０６は、データ記憶部１００の教師データベースＤＢ３から、複数の教師データＴＤを取得する。教師データ取得部１０６は、外部の情報記憶媒体又はコンピュータから複数の教師データＴＤを取得してもよい。
［特徴抽出部］
　特徴抽出部１０７は、第１の特徴抽出器ＦＥ１に基づいて、学習用の地上画像ＬＧＩから学習用の地上画像の特徴量ＬＧＦを抽出するとともに、第２の特徴抽出器ＦＥ２に基づいて、学習用の参照画像ＬＲＩから学習用の参照画像の特徴量ＬＲＦを抽出する（図８参照）。具体的には、特徴抽出部１０７は、第１の特徴抽出器ＦＥ１に学習用の地上画像ＬＧＩを入力し、第１の特徴抽出器ＦＥ１から出力される学習用の地上画像の特徴量ＬＧＦを取得する。同様に、特徴抽出部１０７は、第２の特徴抽出器ＦＥ２に学習用の参照画像ＬＲＩを入力し、第２の特徴抽出器ＦＥ２から出力される学習用の参照画像の特徴量ＬＲＦを取得する。
［結合特徴量取得部］
　結合特徴量取得部１０８は、学習用の地上画像の特徴量ＬＧＦ及び学習用の参照画像の特徴量ＬＲＦに基づいて、学習用の結合特徴量ＬＣＦを取得する（図８参照）。具体的には、結合特徴量取得部１０８は、学習用の地上画像の特徴量ＬＧＦと学習用の参照画像の特徴量ＬＲＦとを結合して、学習用の結合特徴量ＬＣＦを取得する。結合は、コンカチネーションと言い換えることもできる。本実施形態では、学習用の結合特徴量ＬＣＦは、学習用の地上画像の特徴量ＬＧＦの次元数と学習用の参照画像の特徴量ＬＲＦの次元数との和を、その次元数とするベクトルである。
［学習部］
　学習部１０９は、複数の教師データＴＤのそれぞれに基づいて、推定モデルＭの学習を実行する（図８参照）。
　具体的には、学習部１０９は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力と、正解データＡＤと、に基づく損失を計算する。本実施形態では、学習部１０９は、学習用の結合特徴量ＬＣＦを入力した際の推定モデルＭの出力と、正解データＡＤと、に基づく損失を計算する。
　損失は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の差を示すものである。損失は、損失の数値を計算する関数それ自体を指して損失関数と呼ばれることもある。損失としては、二乗平均誤差（ＭＳＥ：Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ）、平均絶対誤差（ＭＡＥ：Ｍｅａｎ　Ａｂｓｏｌｕｔｅ　Ｅｒｒｏｒ）又は二乗平均対数誤差（ＭＳＬＥ：Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｌｏｇａｒｉｔｈｍｉｃ　Ｅｒｒｏｒ）等、種々の損失が利用可能である。
　そして、学習部１０９は、計算した損失に基づいて、推定モデルＭの学習を実行する。推定モデルＭの学習とは、推定モデルＭのパラメータを調整することである。具体的には、学習部１０９は、損失が小さくなるように、推定モデルＭの学習を実行する。学習自体には、例えば、誤差逆伝播法、勾配降下法又はＡｄａｍ等の種々のアルゴリズムを利用してよい。
　学習部１０９は、損失が十分小さくなるまで（例えば、損失が閾値未満になる）まで、推定モデルＭの学習を繰り返す。学習部１０９は、損失が十分小さくなるまで同じ教師データベースＤＢ３を用いて学習を繰り返してもよいし、新たな教師データベースＤＢ３を用いて学習をしてもよい。学習途中で損失が十分小さくなった場合には、その時点で学習が終了してもよい。学習部１０９は、損失が十分小さくならなくても、所定回数の学習を繰り返した場合には学習が終了してもよい。
［３－２．推定装置で実現される機能］
　図１２は、推定装置２０で実現される機能の一例を示す機能ブロック図である。図１２に示すように、推定装置２０は、データ記憶部２００、地上画像取得部２０１、位置情報取得部２０２、地図画像取得部２０３、参照画像取得部２０４、特徴抽出部２０５、結合特徴量取得部２０６、及び推定部２０７を有する。データ記憶部２００は、記憶部２２により実現される。地上画像取得部２０１、位置情報取得部２０２、地図画像取得部２０３、参照画像取得部２０４、特徴抽出部２０５、結合特徴量取得部２０６、及び推定部２０７は、制御部２１を主として実現される。これらの機能は、推定機能の一例である。なお、以下の説明では、図１３に示す推定装置２０の推定処理の一例を参照することがある。
［データ記憶部］
　データ記憶部２００は、地上画像データベースＤＢ４、地図画像データベースＤＢ５、第１の特徴抽出器ＦＥ１、第２の特徴抽出器ＦＥ２及び推定モデルＭを記憶する。
［地上画像データベース］
　図１４は、地上画像データベースＤＢ４の一例を示す図である。地上画像データベースＤＢ４は、地上画像ＧＩと、推定対象アンテナＥＡの位置情報と、を互いに関連付けて格納する。なお、推定装置２０では、推定対象アンテナＥＡの指向方向ＡＯが推定されるため、地上画像データベースＤＢ４は、学習用の地上画像データベースＤＢ１と異なり、推定対象アンテナＥＡの指向方向ＡＯを格納しない。
　地上画像ＧＩは、推定対象アンテナＥＡの位置から見て推定対象アンテナＥＡの指向方向ＡＯに応じた方向に存在する地物ＴＦを撮影して得られる画像である。地上画像ＧＩの詳細については、学習用の地上画像ＬＧＩと同様であるため説明を省略する（図３参照）。
［地図画像データベース］
　図１５は、地図画像データベースＤＢ５の一例を示す図である。本実施形態では、地図画像データベースＤＢ５としては、地図画像データベースＤＢ２（図１０参照）と同じものを用いるものとする。そのため、地図画像データベースＤＢ５の説明は省略する。なお、地図画像データベースＤＢ５は、地図画像データベースＤＢ２と異なるものであってもよい。
［第１の特徴抽出器及び第２の特徴抽出器］
　第１の特徴抽出器ＦＥ１及び第２の特徴抽出器ＦＥ２は、学習装置１０のデータ記憶部１００に記憶されたものと同じであるため、説明を省略する。なお、推定装置２０のデータ記憶部２００は、学習装置１０のデータ記憶部１００に記憶されたものとは異なる第１の特徴抽出器ＦＥ１及び第２の特徴抽出器ＦＥ２を記憶してもよい。
［推定モデル］
　データ記憶部２００には、学習装置１０で学習済みの推定モデルＭが記憶されている。すなわち、データ記憶部２００に記憶された推定モデルＭは、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩの組と、正解データＡＤと、の関係が学習された学習済みのモデルである。
［地上画像取得部］
　地上画像取得部２０１は、地上画像ＧＩを取得する（図１３参照）。本実施形態では、地上画像取得部２０１は、データ記憶部２００に記憶された地上画像データベースＤＢ４から、地上画像ＧＩを取得する。なお、地上画像取得部２０１は、推定装置２０以外の他のコンピュータ又は外部の情報記憶媒体から地上画像ＧＩを取得してもよい。
［位置情報取得部］
　位置情報取得部２０２は、推定対象アンテナＥＡの位置情報を取得する（図１３参照）。本実施形態では、位置情報取得部２０２は、データ記憶部１００に記憶された地上画像データベースＤＢ４から、推定対象アンテナＥＡの位置情報を取得する。なお、位置情報取得部２０２は、推定装置２０以外の他のコンピュータ又は外部の情報記憶媒体から推定対象アンテナＥＡの位置情報を取得してもよい。
［地図画像取得部］
　地図画像取得部２０３は、地図画像ＭＩを取得する（図１３参照）。本実施形態では、地図画像取得部２０３は、データ記憶部２００の地図画像データベースＤＢ５から、地図画像ＭＩを取得する。地図画像取得部２０３は、外部の情報記憶媒体又はコンピュータから地図画像ＭＩを取得してもよい。
［参照画像取得部］
　参照画像取得部２０４は、推定対象アンテナＥＡの位置情報及び地図画像ＭＩに基づいて、参照画像ＲＩを取得する（図１３参照）。参照画像ＲＩは、地図画像ＭＩのうち推定対象アンテナＥＡの位置を基点とする範囲Ｒを示す画像である。参照画像ＲＩの詳細については、学習用の参照画像ＬＲＩと同様であるため説明を省略する（図４参照）。また、参照画像取得部２０４の詳細については、学習用の参照画像取得部１０４と同様であるため説明を省略する。
［特徴抽出部］
　特徴抽出部２０５は、第１の特徴抽出器ＦＥ１に基づいて、地上画像ＧＩから地上画像の特徴量ＧＦを抽出するとともに、第２の特徴抽出器ＦＥ２に基づいて、参照画像ＲＩから参照画像の特徴量ＲＦを抽出する（図１３参照）。具体的には、特徴抽出部２０５は、第１の特徴抽出器ＦＥ１に地上画像ＧＩを入力し、第１の特徴抽出器ＦＥ１から出力される地上画像の特徴量ＧＦを取得する。同様に、特徴抽出部２０５は、第２の特徴抽出器ＦＥ２に参照画像ＲＩを入力し、第２の特徴抽出器ＦＥ２から出力される参照画像の特徴量ＲＦを取得する。
［結合特徴量取得部］
　結合特徴量取得部２０６は、地上画像の特徴量ＧＦ及び参照画像の特徴量ＲＦに基づいて、結合特徴量ＣＦを取得する（図１３参照）。具体的には、結合特徴量取得部２０６は、地上画像の特徴量ＧＦと参照画像の特徴量ＲＦとを結合して、結合特徴量ＣＦを取得する。
［推定部］
　推定部２０７は、推定モデルＭ、地上画像ＧＩ及び参照画像ＲＩの組に基づいて、推定対象アンテナＥＡの指向方向ＡＯの推定を実行する（図１３参照）。具体的に、本実施形態では、推定部２０７は、結合特徴量ＣＦを入力した際の推定モデルＭの出力に基づいて、推定結果を取得する。推定結果とは、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯの推定値である。なお、本実施形態では、推定部２０７は、推定モデルＭの出力をそのまま推定結果として取得する。
　推定モデルＭの出力は、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯの推定値を示す（図６参照）。具体的には、推定モデルＭの出力は、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯと所定の関係にある方向の推定値を示す。なお、本実施形態では、推定モデルＭの出力は、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯそのものの推定値を示す。推定モデルＭの出力は、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯと異なる方向の推定値を示してもよい。例えば、推定モデルＭの出力は、撮影方向ＣＯを示してもよい。その場合、推定部２０７は、推定モデルＭの出力から、前記所定の関係に基づいて、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯの推定値を算出してよい。
　推定モデルＭの出力は、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯと所定の関係にある方向の方位角Ａｚの推定値で表される（図３参照）。本実施形態では、方位角Ａｚは、参照画像ＲＩが示す地図画像ＭＩの向く方向ＭＯ（すなわち北）を基準とする。すなわち、方位角Ａｚは、参照画像ＲＩが示す地図画像ＭＩの向く方向ＭＯと、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯと所定の関係にある方向（本実施形態では参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯそのもの）と、の間の角度である。なお、方位角Ａｚは、参照画像ＲＩが示す地図画像ＭＩの向く方向ＭＯ以外の方向を基準としてもよい。例えば、本実施形態では、参照画像ＲＩが示す地図画像ＭＩの向く方向ＭＯは北であるところ、方位角Ａｚは南を基準としてもよい。
　なお、本実施形態では、推定モデルＭの出力は、方位角Ａｚの推定値そのもので表されるが、方位角Ａｚの推定値を示す情報で表されてもよい。すなわち、推定モデルＭの出力は、方位角Ａｚの推定値に変換可能な数値で表されてもよい。例えば、推定モデルＭの出力は、０以上１未満の数値で表されてよい。その場合、推定部２０７は、推定モデルＭの出力に３６０（角度の単位としてラジアンを用いるときは２π）を乗じて、方位角Ａｚの推定値を算出してよい。
　以上に説明した本実施形態の推定装置２０によれば、地上画像ＧＩと参照画像ＲＩとを用いて、参照画像ＲＩにおける推定対象アンテナＥＡの指向方向ＡＯを推定することができるので、少ない手間で推定対象アンテナＥＡの指向方向ＡＯを検証することが可能となる。
　また、本実施形態の推定装置２０では、推定対象アンテナＥＡの位置情報及び地図画像ＭＩが取得され、これらに基づいて参照画像ＲＩが取得される。これにより、本実施形態の推定装置２０は、推定対象アンテナＥＡの位置を推定する処理を省き、推定対象アンテナＥＡの指向方向ＡＯの推定処理の負荷を軽減することができる。
［４．本実施形態の方向推定システムにおいて実行される処理］
　以下では、本実施形態の方向推定システム１において実行される処理について説明する。まず、学習装置１０において実行される処理を説明し、次に、推定装置２０において実行される処理を説明する。
［４－１．学習装置において実行される処理］
　図１６Ａ及び図１６Ｂは、学習装置１０において実行される処理の一例を示すフロー図である。図１６Ａ及び図１６Ｂに示す処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することによって実行される。以下に説明する処理は、図７に示す機能ブロックにより実行される処理の一例である。なお、学習用の地上画像データベースＤＢ１、地図画像データベースＤＢ２、教師データベースＤＢ３及び推定モデルＭは、予め記憶部１２に記憶されているものとする。
　図１６Ａに示すように、制御部１１は、学習用の地上画像ＬＧＩを取得する（Ｓ１００）。制御部１１は、学習対象アンテナＬＡの位置情報を取得する（Ｓ１０１）。本実施形態では、学習用の地上画像ＬＧＩ及び学習対象アンテナＬＡの位置情報はそれぞれ、学習用の地上画像データベースＤＢ１及び地図画像データベースＤＢ２のそれぞれから取得されるものとする。
　制御部１１は、地図画像ＭＩを取得する（Ｓ１０２）。Ｓ１０２においては、制御部１１は、地図画像データベースＤＢ２から地図画像ＭＩを取得する。制御部１１は、学習用の参照画像ＬＲＩを取得する（Ｓ１０３）。Ｓ１０３においては、制御部１１は、まず地図画像ＭＩにおける学習対象アンテナＬＡの位置を特定し、学習対象アンテナＬＡの位置を基点とする範囲Ｒを特定する。そして、制御部１１は、地図画像ＭＩのうち、特定した範囲Ｒに該当する部分を、学習用の参照画像ＬＲＩとして取得する。
　制御部１１は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩの組と、正解データＡＤと、に基づいて、教師データＴＤを生成する（Ｓ１０４）。Ｓ１０４においては、制御部１１は、生成した教師データＴＤを教師データベースＤＢ３に格納する。制御部１１は、教師データＴＤの生成を終了しないと判断した場合には（Ｓ１０５；Ｎ）、Ｓ１００からＳ１０４までの処理を繰り返す。制御部１１は、教師データＴＤの生成を終了すると判断した場合には（Ｓ１０５；Ｙ）、図１６Ｂに示すＳ１０７以降の処理に移る。
　図１６Ｂに移り、制御部１１は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩと、正解データＡＤと、を含む教師データＴＤを取得する（Ｓ１０７）。Ｓ１０７においては、制御部１１は、教師データベースＤＢ３に格納された複数の教師データＴＤの各々を取得する。
　制御部１１は、学習用の地上画像ＬＧＩから学習用の地上画像の特徴量ＬＧＦを抽出するとともに、学習用の参照画像ＬＲＩから学習用の参照画像の特徴量ＬＲＦを抽出する（Ｓ１０８）。制御部１１は、学習用の地上画像の特徴量ＬＧＦ及び学習用の参照画像の特徴量ＬＲＦに基づいて、学習用の結合特徴量ＬＣＦを取得する（Ｓ１０９）。Ｓ１０９においては、制御部１１は、学習用の地上画像の特徴量ＬＧＦと学習用の参照画像の特徴量ＬＲＦとを結合する。
　制御部１１は、推定モデルＭの学習処理を実行する（Ｓ１１０）。Ｓ１１０においては、制御部１１は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力と、正解データＡＤと、に基づく損失を計算し、計算した損失に基づいて、推定モデルＭの学習処理を実行する。
　制御部１１は、推定モデルＭの学習処理を終了するか否かを判断する（Ｓ１１１）。推定モデルＭの学習は、任意のタイミングで終了可能であり、損失が十分に小さくなった場合に終了してもよいし、他のタイミングで終了してもよい。制御部１１は、学習処理を終了しないと判断した場合（Ｓ１１１；Ｎ）、Ｓ１０７からＳ１１０までの処理を繰り返す。制御部１１は、学習処理を終了すると判断した場合（Ｓ１１１；Ｙ）、学習済みの推定モデルＭを推定装置２０に送信し（Ｓ１１２）、本処理を終了する。
　なお、図１６Ａでは、制御部２１が、学習用の地上画像ＧＩを先に取得し（Ｓ１００）、次いで学習用の参照画像ＲＩを取得する（Ｓ１０１～Ｓ１０３）場合を説明したが、制御部２１は、先に学習用の参照画像ＲＩを取得し、次いで学習用の地上画像ＧＩを取得してもよい。また、制御部２１は、地図画像ＭＩを取得した後に、学習対象アンテナＬＡの位置情報を取得してもよい。
［４－２．推定装置において実行される処理］
　図１７は、推定装置２０において実行される処理の一例を示すフロー図である。図１７に示す処理は、制御部２１が記憶部２２に記憶されたプログラムに従って動作することによって実行される。以下に説明する処理は、図１２に示す機能ブロックにより実行される処理の一例である。なお、地上画像データベースＤＢ４、地図画像データベースＤＢ５及び推定モデルＭは、記憶部２２に予め記憶されているものとする。
　図１７に示すように、制御部２１は、地上画像ＧＩを取得する（Ｓ２００）。制御部２１は、推定対象アンテナＥＡの位置情報を取得する（Ｓ２０１）。本実施形態では、地上画像ＧＩ及び推定対象アンテナＥＡの位置情報はそれぞれ、地上画像データベースＤＢ４及び地図画像データベースＤＢ５のそれぞれから取得されるものとする。
　制御部２１は、地図画像ＭＩを取得する（Ｓ２０２）。Ｓ２０２においては、制御部２１は、地図画像データベースＤＢ５から地図画像ＭＩを取得する。制御部２１は、参照画像ＲＩを取得する（Ｓ２０３）。Ｓ２０３においては、制御部２１は、まず地図画像ＭＩにおける推定対象アンテナＥＡの位置を特定し、該推定対象アンテナＥＡの位置を基点とする範囲Ｒを特定する。そして、制御部２１は、地図画像ＭＩのうち、特定した範囲Ｒに該当する部分を、参照画像ＲＩとして取得する。
　制御部２１は、地上画像ＧＩから地上画像の特徴量ＧＦを抽出するとともに、参照画像ＲＩから参照画像の特徴量ＲＦを抽出する（Ｓ２０４）。制御部２１は、地上画像の特徴量ＧＦ及び参照画像の特徴量ＲＦに基づいて、結合特徴量ＣＦを取得する（Ｓ２０５）。Ｓ２０５においては、制御部１１は、学習用の地上画像ＬＧＩと学習用の参照画像ＬＲＩとを結合して、結合特徴量ＣＦを取得する。
　制御部２１は、推定対象アンテナＥＡの指向方向ＡＯの推定処理を実行する（Ｓ２０６）。Ｓ２０６においては、制御部２１は、結合特徴量ＣＦを推定モデルＭに入力し、推定モデルＭの出力を取得する。そして、制御部２１は、推定モデルＭの出力に基づいて、推定結果を取得する。制御部２１は、Ｓ２０６で取得した推定結果を表示部２５に表示させ（Ｓ２０７）、本処理を終了する。
　なお、図１７では、制御部２１が、地上画像ＧＩを先に取得し（Ｓ２００）、次いで参照画像ＲＩを取得する（Ｓ２０１～Ｓ２０３）場合を説明したが、制御部２１は、先に参照画像ＲＩを取得し、次いで地上画像ＧＩを取得してもよい。また、制御部２１は、地図画像ＭＩを取得した後に、推定対象アンテナＥＡの位置情報を取得してもよい。
［５．変形例］
　本開示は、以上に説明した実施形態に限定されるものではない。本開示の趣旨を逸脱しない範囲で、適宜変更可能である。
［５－１．変形例１］
　実施形態では、学習装置１０の学習部１０９で用いられる損失の例として、二乗平均誤差、平均絶対誤差又は二乗平均対数誤差等を挙げたが、学習部１０９ではこれら以外の損失が用いられてもよい。
　実施形態で説明したように、損失は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の差を示すものである。そして、推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の差は、推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の間の角度に相当する。
　図１８は、変形例１の学習における損失を説明する図である。図１８に示すように、推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の間の角度は、劣角Ａｓｕｂ及び優角Ａｓｕｐを含む。劣角Ａｓｕｂとは、推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の間の角度のうち小さい方の角度である。優角Ａｓｕｐとは、推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の間の角度のうち大きい方の角度である。
　ここで、実施形態で挙げた損失は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の間の優角Ａｓｕｐを示すものである。
　一方、変形例１の学習部１０９で用いられる損失は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の間の劣角Ａｓｕｂを示す。変形例１の学習部１０９で用いられる損失は、具体的には、以下の数１に示す数式で表される。なお、変形例１の学習部１０９で用いられる損失の表現形式は、数１に示す数式に限られない。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ｌは損失、ｎは教師データＴＤの数、ｙｉは正解データＡＤが示す方向の角度、ｙｐｒｅｄは学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力が示す方向の角度である。
　以上に説明したように、変形例１の学習装置１０では、損失は、学習用の地上画像ＬＧＩ及び学習用の参照画像ＬＲＩに基づく推定モデルＭの出力が示す方向と、正解データＡＤが示す方向と、の間の劣角Ａｓｕｂを示す。これにより、損失の値がより小さくなるので、損失が収束しやすくなり、学習効率が向上する。
［５－２．変形例２］
　図１９は、変形例２の学習装置１０で実現される機能の一例を示す機能ブロック図である。変形例２の学習装置１０は、拡張教師データ生成部１０６ａを有する点で、実施形態の学習装置１０と異なる。なお、変形例２の学習装置１０の機能のうち、拡張教師データ生成部１０６ａ以外の機能については、実施形態と同様であるため説明を省略する。
　図２０は、指向方向ＡＯに対する教師データＴＤの分布の一例を示すヒストグラム図である。図２０の横軸は、学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯを表す方位角Ａｚである。図２０の縦軸は、教師データＴＤの数である。図２０の各ハッチング付きの棒グラフは、各指向方向ＡＯに対する教師データＴＤのみの数を示す。図２０の各黒塗りの棒グラフは、各指向方向に対する教師データＴＤ及び後述する拡張教師データＡＴＤの合計数を示す。
　前述したように、学習対象アンテナＬＡは、設置計画書Ｐ（図２参照）に従って設置される。設置計画書Ｐで定められる学習対象アンテナＬＡの指向方向ＡＯには、偏りが生じることがある。例えば、計画初期など、少ない数の学習対象アンテナＬＡにより対象とするエリアをカバーする必要があるため、学習対象アンテナＬＡの指向方向ＡＯに偏りが生じる場合がある。
　その結果、図２０のハッチング付きの棒グラフに示すように、指向方向ＡＯごとの教師データＴＤの数に偏りが生じる。例えば、正解データＡＤが示す学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯが方位角１００°の方向（第１の方向）である教師データＴＤの数は、正解データＡＤが示す学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯが方位角１０°の方向（第１の方向と異なる第２の方向）である教師データＴＤの数より多い。すなわち、複数の教師データＴＤは不均衡データであるということもできる。なお、上記の方位角の値は一例である。
　図２１は、元教師データＯＴＤの一例を示す図である。図２２は、拡張教師データＡＴＤの一例を示す図である。拡張教師データ生成部１０６ａは、方位角１００°の方向が正解である元教師データＯＴＤ（図２１参照）の学習用の参照画像ＬＲＩを－９０°回転させて、方位角１０°の方向が正解である拡張教師データＡＴＤ（図２２参照）を生成する。すなわち、拡張教師データ生成部１０６ａは、元教師データＯＴＤの学習用の参照画像ＬＲＩを回転させて、拡張教師データＡＴＤを生成する。
　詳細には、拡張教師データ生成部１０６ａは、正解データＡＤが示す学習用の参照画像ＬＲＩにおける学習対象アンテナＬＡの指向方向ＡＯが方位角１００°の方向である教師データＴＤを元教師データＯＴＤとして、元教師データＯＴＤに基づいて拡張教師データＡＴＤを生成する。
　拡張教師データＡＴＤは、拡張地上画像ＡＧＩ及び拡張参照画像ＡＲＩと、拡張正解データＡＡＤと、を有する。拡張地上画像ＡＧＩは、元教師データＯＴＤに含まれる学習用の地上画像ＬＧＩである。拡張参照画像ＡＲＩは、元教師データＯＴＤに含まれる学習用の参照画像ＬＲＩを回転させて得られる画像である。拡張正解データＡＡＤは、拡張参照画像ＡＲＩにおける学習対象アンテナＬＡの指向方向ＡＯである方位角１０°の方向を示す。
　そして、変形例２の学習部１０９は、拡張教師データＡＴＤに更に基づいて、推定モデルＭの学習を実行する。変形例２の学習部１０９での学習処理自体は、実施形態の学習部１０９での学習処理と同様であるため、説明を省略する。
　以上に説明した変形例２の学習装置１０によれば、拡張教師データＡＴＤを生成し、これを学習に用いることで、指向方向ＡＯに対する教師データＴＤの数の偏りを均すことができるので（図１６参照）、学習に偏りが生じることを抑制することができる。
［５－３．変形例３］
　実施形態では、地図画像ＭＩの例として、衛星画像又は航空写真等、いわゆる受動型センサにより上空から地表面を撮影して得られる画像を挙げたが、地図画像ＭＩは、ＳＡＲ画像（合成開口レーダー画像）等、いわゆる能動型センサにより上空から地表面を撮影して得られる画像であってもよい。或いは、地図画像ＭＩは、衛星画像又は航空写真とＳＡＲ画像とを合成した画像であってもよい。例えば、地図画像ＭＩは、衛星画像又は航空写真の各画素の画素値に対して、ＳＡＲ画像の各画素の画素値を所定の重みで重み付けした画像であってよい。ＳＡＲ画像は、例えば、ＩｎＳＡＲ画像（干渉合成開口レーダー画像）、ＩＳＡＲ画像（逆合成開口レーダー画像）等であってよい。
　また、方向推定システム１は、受動型センサにより上空から地表面を撮影して得られる画像である第１の地図画像（衛星画像又は航空写真等）に加えて、能動型センサにより上空から地表面を撮影して得られる画像である第２の地図画像（ＳＡＲ画像等）に更に基づいて、学習及び推定を実行するものであってもよい。
　すなわち、学習装置１０は、学習用の地上画像ＬＧＩと、前記第１の地図画像のうち学習対象アンテナＬＡの位置を基点とする範囲を示す第１の学習用の参照画像と、前記第２の地図画像のうち学習対象アンテナＬＡの位置を基点とする範囲を示す第２の学習用の参照画像と、の組と、正解データと、をそれぞれが含む複数の教師データのそれぞれに基づいて、推定モデルＭの学習を実行してもよい。
　また、推定装置２０は、地上画像ＧＩと、前記第１の地図画像のうち推定対象アンテナＥＡの位置を基点とする範囲を示す第１の参照画像と、前記第２の地図画像のうち推定対象アンテナＥＡの位置を基点とする範囲を示す第２の参照画像と、推定モデルＭと、に基づいて、推定対象アンテナＥＡの指向方向ＡＯの推定を実行してよい。
　以上に説明した変形例３の方向推定システム１によれば、能動型センサにより上空から地表面を撮影して得られる画像に基づいて学習及び推定を行うので、地上の事物の表面形状を考慮することができ、より高い精度で方向推定を行うことができる。
［６．付記］
　例えば、本開示の方向推定システム１は、下記のような構成も可能である。
（１）
　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像を取得する第１の画像取得手段と、
　前記推定対象オブジェクトの位置情報を取得する位置情報取得手段と、
　上空から地表面を撮影して得られる地図画像を取得する地図画像取得手段と、
　前記推定対象オブジェクトの位置情報及び前記地図画像に基づいて、前記地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像を取得する第２の画像取得手段と、
　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、の関係が学習された学習済みの推定モデル、前記第１の画像及び前記第２の画像に基づいて、前記推定対象オブジェクトの指向方向の推定を実行する推定手段と、
　を有する、方向推定システム。
（２）
　前記学習済みの推定モデルは、
　前記第１の学習画像及び前記第２の学習画像の組と、前記正解データと、をそれぞれが含む複数の教師データを取得すること、
　前記複数の教師データのそれぞれに基づいて、前記推定モデルの学習を実行すること、
　により生成されたものである、
　（１）に記載の方向推定システム。
（３）
　前記第１の画像は、前記推定対象オブジェクトの少なくとも一部を示し、
　前記第１の学習画像は、前記学習対象オブジェクトの少なくとも一部を示し、
　前記第１の画像に示される前記推定対象オブジェクトは、該推定対象オブジェクトの指向方向を示す標識を有し、
　前記第１の学習画像に示される前記学習対象オブジェクトは、該学習対象オブジェクトの指向方向を示す標識を有する、
　請求項（１）又は（２）に記載の方向推定システム。
（４）
　前記学習済みの推定モデルは、
　前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力と、前記正解データと、に基づく損失を計算し、前記損失に基づいて前記推定モデルの学習を実行すること、
　により生成されたものであり、
　前記損失は、前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力が示す方向と、前記正解データが示す方向と、の間の劣角である角度を示す、
　請求項（１）から（３）のいずれかに記載の方向推定システム。
（５）
　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像及び上空から地表面を撮影して得られる地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像に基づいて、前記推定対象オブジェクトの指向方向を推定する推定モデルを学習するための学習システムであって、
　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、をそれぞれが含む複数の教師データを取得する教師データ取得手段と、
　前記複数の教師データのそれぞれに基づいて、前記推定モデルの学習を実行する学習手段と、
　を有する、学習システム。
（６）
　前記正解データが示す前記第２の学習画像における前記推定対象オブジェクトの指向方向が第１の方向である前記教師データを元教師データとして、該元教師データに基づいて拡張教師データを生成する拡張教師データ生成手段を更に有し、
　前記拡張教師データは、前記元教師データに含まれる前記第１の学習画像である第１の拡張学習画像及び前記元教師データに含まれる前記第２の学習画像を回転させて得られる第２の拡張学習画像の組と、前記第２の拡張学習画像における前記推定対象オブジェクトの指向方向である第１の方向と異なる第２の方向を示す拡張正解データと、を有し、
　前記学習手段は、前記拡張教師データに更に基づいて、前記推定モデルの学習を実行する、
　（５）に記載の学習システム。
（７）
　前記正解データが示す前記第２の学習画像における前記推定対象オブジェクトの指向方向が第１の方向である前記教師データの数は、前記正解データが示す前記第２の学習画像における前記推定対象オブジェクトの指向方向が第２の方向である前記教師データの数より多い、
　（６）に記載の学習システム。
（８）
　前記学習手段は、前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力と、前記正解データと、に基づく損失を計算し、前記損失に基づいて前記推定モデルの学習を実行し、
　前記損失は、前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力が示す方向と、前記正解データが示す方向と、の間の劣角である角度を示す、
　（５）から（７）のいずれかに記載の学習システム。
（９）
　前記第１の学習画像は、前記学習対象オブジェクトの少なくとも一部を示し、
　前記第１の学習画像に示される前記学習対象オブジェクトは、該学習対象オブジェクトの指向方向を示す標識を有する、
　（５）から（８）のいずれかに記載の学習システム。
　１　方向推定システム、Ｎ　ネットワーク、１０　学習装置、２０　推定装置、１１，１２　制御部、１２，２２　記憶部、１３、２３　通信部、１４，２４　操作部、１５，２５　表示部、Ｐ　設置計画書、ＬＧＩ　学習用の地上画像、ＬＲＩ　学習用の参照画像、ＡＤ　正解データ、ＴＤ　教師データ、ＬＡ　学習対象アンテナ、ＡＯ　指向方向、Ｏ　作業者、Ｃ　撮影装置、ＣＯ　撮影方向、ＴＦ　地物、Ｓ　標識、ＭＩ　地図画像、Ｒ　範囲、ＭＯ　地図画像の向く方向、Ｍ　推定モデル、Ａｚ　方位角、ＧＩ　地上画像、ＲＩ　参照画像、ＥＡ　推定対象アンテナ、１００　データ記憶部、１０１　地上画像取得部、１０２　位置情報取得部、１０３　地図画像取得部、１０４　参照画像取得部、１０５　教師データ生成部、１０６　教師データ取得部、１０７　特徴抽出部、１０８　結合特徴量取得部、１０９　学習部、ＤＢ１　地上画像データベース、ＤＢ２　地図画像データベース、ＤＢ３　教師データベース、ＦＥ１　第１の特徴抽出器、ＦＥ２　第２の特徴抽出器、ＬＧＦ　学習用の地上画像の特徴量、ＬＲＦ　学習用の参照画像の特徴量、ＬＣＦ　学習用の結合特徴量、２００　データ記憶部、２０１　地上画像取得部、２０２　位置情報取得部、２０３　地図画像取得部、２０４　参照画像取得部、２０５　特徴抽出部、２０６　結合特徴量取得部、２０７　推定部、ＤＢ４　地上画像データベース、ＤＢ５　地図画像データベース、ＧＦ　地上画像の特徴量、ＲＦ　参照画像の特徴量、ＣＦ　結合特徴量、Ａｓｕｐ　優角、Ａｓｕｂ　劣角、１０６ａ　拡張教師データ生成部、ＯＴＤ　元教師データ、ＡＴＤ　拡張教師データ、ＡＧＩ　拡張地上画像、ＡＲＩ　拡張参照画像、ＡＡＤ　拡張正解データ。

 

Claims (13)

  1. 　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像を取得する第１の画像取得手段と、
    　前記推定対象オブジェクトの位置情報を取得する位置情報取得手段と、
    　上空から地表面を撮影して得られる地図画像を取得する地図画像取得手段と、
    　前記推定対象オブジェクトの位置情報及び前記地図画像に基づいて、前記地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像を取得する第２の画像取得手段と、
    　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、の関係が学習された学習済みの推定モデル、前記第１の画像及び前記第２の画像に基づいて、前記推定対象オブジェクトの指向方向の推定を実行する推定手段と、
    　を有する、方向推定システム。
  2. 　前記学習済みの推定モデルは、
    　前記第１の学習画像及び前記第２の学習画像の組と、前記正解データと、をそれぞれが含む複数の教師データを取得すること、
    　前記複数の教師データのそれぞれに基づいて、前記推定モデルの学習を実行すること、
    　により生成されたものである、
    　請求項１に記載の方向推定システム。
  3. 　前記第１の画像は、前記推定対象オブジェクトの少なくとも一部を示し、
    　前記第１の学習画像は、前記学習対象オブジェクトの少なくとも一部を示し、
    　前記第１の画像に示される前記推定対象オブジェクトは、該推定対象オブジェクトの指向方向を示す標識を有し、
    　前記第１の学習画像に示される前記学習対象オブジェクトは、該学習対象オブジェクトの指向方向を示す標識を有する、
    　請求項１又は２に記載の方向推定システム。
  4. 　前記学習済みの推定モデルは、
    　前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力と、前記正解データと、に基づく損失を計算し、前記損失に基づいて前記推定モデルの学習を実行すること、
    　により生成されたものであり、
    　前記損失は、前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力が示す方向と、前記正解データが示す方向と、の間の劣角である角度を示す、
    　請求項１又は２に記載の方向推定システム。
  5. 　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像及び上空から地表面を撮影して得られる地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像に基づいて、前記推定対象オブジェクトの指向方向を推定する推定モデルを学習するための学習システムであって、
    　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、をそれぞれが含む複数の教師データを取得する教師データ取得手段と、
    　前記複数の教師データのそれぞれに基づいて、前記推定モデルの学習を実行する学習手段と、
    　を有する、学習システム。
  6. 　前記正解データが示す前記第２の学習画像における前記推定対象オブジェクトの指向方向が第１の方向である前記教師データを元教師データとして、該元教師データに基づいて拡張教師データを生成する拡張教師データ生成手段を更に有し、
    　前記拡張教師データは、前記元教師データに含まれる前記第１の学習画像である第１の拡張学習画像及び前記元教師データに含まれる前記第２の学習画像を回転させて得られる第２の拡張学習画像の組と、前記第２の拡張学習画像における前記推定対象オブジェクトの指向方向である第１の方向と異なる第２の方向を示す拡張正解データと、を有し、
    　前記学習手段は、前記拡張教師データに更に基づいて、前記推定モデルの学習を実行する、
    　請求項５に記載の学習システム。
  7. 　前記正解データが示す前記第２の学習画像における前記推定対象オブジェクトの指向方向が第１の方向である前記教師データの数は、前記正解データが示す前記第２の学習画像における前記推定対象オブジェクトの指向方向が第２の方向である前記教師データの数より多い、
    　請求項６に記載の学習システム。
  8. 　前記学習手段は、前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力と、前記正解データと、に基づく損失を計算し、前記損失に基づいて前記推定モデルの学習を実行し、
    　前記損失は、前記第１の学習画像及び前記第２の学習画像の組に基づく前記推定モデルの出力が示す方向と、前記正解データが示す方向と、の間の劣角である角度を示す、
    　請求項５又は６に記載の学習システム。
  9. 　前記第１の学習画像は、前記学習対象オブジェクトの少なくとも一部を示し、
    　前記第１の学習画像に示される前記学習対象オブジェクトは、該学習対象オブジェクトの指向方向を示す標識を有する、
    　請求項５又は６に記載の学習システム。
  10. 　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像を取得する第１の画像取得ステップと、
    　前記推定対象オブジェクトの位置情報を取得する位置情報取得ステップと、
    　上空から地表面を撮影して得られる地図画像を取得する地図画像取得ステップと、
    　前記推定対象オブジェクトの位置情報及び前記地図画像に基づいて、前記地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像を取得する第２の画像取得ステップと、
    　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、の関係が学習された学習済みの推定モデル、前記第１の画像及び前記第２の画像に基づいて、前記推定対象オブジェクトの指向方向の推定を実行する推定ステップと、
    　を有する、方向推定方法。
  11. 　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像及び上空から地表面を撮影して得られる地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像に基づいて、前記推定対象オブジェクトの指向方向を推定する推定モデルを学習するための学習システムであって、
    　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、をそれぞれが含む複数の教師データを取得する教師データ取得ステップと、
    　前記複数の教師データのそれぞれに基づいて、前記推定モデルの学習を実行する学習ステップと、
    　を有する、学習方法。
  12. 　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像を取得する第１の画像取得手段、
    　前記推定対象オブジェクトの位置情報を取得する位置情報取得手段、
    　上空から地表面を撮影して得られる地図画像を取得する地図画像取得手段、
    　前記推定対象オブジェクトの位置情報及び前記地図画像に基づいて、前記地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像を取得する第２の画像取得手段、
    　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、の関係が学習された学習済みの推定モデル、前記第１の画像及び前記第２の画像に基づいて、前記推定対象オブジェクトの指向方向の推定を実行する推定手段、
    　としてコンピュータを機能させるためのプログラム。
  13. 　推定対象オブジェクトの位置から見て前記推定対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の画像及び上空から地表面を撮影して得られる地図画像のうち前記推定対象オブジェクトの位置を基点とする範囲を示す第２の画像に基づいて、前記推定対象オブジェクトの指向方向を推定する推定モデルを学習するためのプログラムであって、
    　学習対象オブジェクトの位置から見て前記学習対象オブジェクトの指向方向に応じた方向に存在する地物を撮影して得られる画像である第１の学習画像及び前記地図画像のうち前記学習対象オブジェクトの位置を基点とする範囲を示す第２の学習画像の組と、前記第２の学習画像における前記学習対象オブジェクトの指向方向を示す正解データと、をそれぞれが含む複数の教師データを取得する教師データ取得手段、
    　前記複数の教師データのそれぞれに基づいて、前記推定モデルの学習を実行する学習手段、
    　としてコンピュータを機能させるためのプログラム。

     
PCT/JP2023/028979 2023-03-29 2023-08-08 方向推定システム、方向推定方法、学習システム、学習方法及びプログラム Ceased WO2024202096A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025509664A JPWO2024202096A1 (ja) 2023-03-29 2023-08-08

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202363455266P 2023-03-29 2023-03-29
US63/455,266 2023-03-29

Publications (1)

Publication Number Publication Date
WO2024202096A1 true WO2024202096A1 (ja) 2024-10-03

Family

ID=92904641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028979 Ceased WO2024202096A1 (ja) 2023-03-29 2023-08-08 方向推定システム、方向推定方法、学習システム、学習方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2024202096A1 (ja)
WO (1) WO2024202096A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077921A (ja) * 2019-10-31 2021-05-20 Ｎｅｃネッツエスアイ株式会社 アンテナ施工補助方法
JP2021170158A (ja) * 2020-04-14 2021-10-28 清水建設株式会社 情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021077921A (ja) * 2019-10-31 2021-05-20 Ｎｅｃネッツエスアイ株式会社 アンテナ施工補助方法
JP2021170158A (ja) * 2020-04-14 2021-10-28 清水建設株式会社 情報処理システム

Also Published As

Publication number Publication date
JPWO2024202096A1 (ja) 2024-10-03

Similar Documents

Publication Publication Date Title
TWI483215B (zh) 根據相關３ｄ點雲端資料強化影像資料
EP2844009B1 (en) Method and system for determining location and position of image matching-based smartphone
CN115164900B (zh) 一种基于全向相机的城市环境下视觉辅助导航方法及系统
CN109520500B (zh) 一种基于终端拍摄图像匹配的精确定位及街景库采集方法
US20240133704A1 (en) Methods and Systems for Determining Geographic Orientation Based on Imagery
WO2019093993A1 (en) Semantic state based sensor tracking and updating
US8994821B2 (en) Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
CN106780321B (zh) 一种cbers-02卫星hr传感器影像整体严密定向与纠正拼接方法
CN111624634A (zh) 基于深度卷积神经网络的卫星定位误差评估方法和系统
US20230230318A1 (en) Method for updating 3-dimensional map using image, and electronic device for supporting same
US11959749B2 (en) Mobile mapping system
WO2023045224A1 (zh) 地图生成
US20150009326A1 (en) Photographing plan creation device and program and method for the same
CN107132526A (zh) 一种室内定位方法及定位系统
US20130279755A1 (en) Information processing system, information processing method, and information processing program
US12499650B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
WO2024202096A1 (ja) 方向推定システム、方向推定方法、学習システム、学習方法及びプログラム
Lee et al. Assessment of smartphone-based technology for remote environmental monitoring and its development
CN116863085B (zh) 一种三维重建系统、三维重建方法、电子设备及存储介质
CN118411632A (zh) 目标对象的变化识别方法
CN115112100B (zh) 遥感控制系统及方法
CN115272129A (zh) 遥感图像处理方法、装置、设备及存储介质
CN113650783A (zh) 固定翼倾斜摄影地籍测图方法、系统及设备
US20260099945A1 (en) Information processing apparatus, program, and information processing method
CN112559786B (zh) 一种光学遥感影像成像时间的确定方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930728

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025509664

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025509664

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23930728

Country of ref document: EP

Kind code of ref document: A1