WO2015145764A1 - 画像生成システム及び画像生成方法 - Google Patents
画像生成システム及び画像生成方法 Download PDFInfo
- Publication number
- WO2015145764A1 WO2015145764A1 PCT/JP2014/059283 JP2014059283W WO2015145764A1 WO 2015145764 A1 WO2015145764 A1 WO 2015145764A1 JP 2014059283 W JP2014059283 W JP 2014059283W WO 2015145764 A1 WO2015145764 A1 WO 2015145764A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- resolution image
- image
- low
- time
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 31
- 230000006870 function Effects 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000002123 temporal effect Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract 1
- 238000001228 spectrum Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007773 growth pattern Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Definitions
- the present invention relates to an image generation system that generates a high-resolution image.
- high-resolution images have good image quality and include detailed spatial information.
- the same area is observed only with low frequency, and is affected by the weather (for example, clouds). This observation time interval is called an observation time window (acquisition window period).
- Patent Document 1 discloses an image analysis server that estimates a feature amount obtained from an image of a target crop using a planting interval and a growth pattern of the target crop as parameter sets.
- the pseudo image generation unit generates a plurality of pseudo images using the planting interval of the target crop and the growth pattern of the crop as a parameter set
- the optimum template selection unit generates a plurality of pseudo images. Select a pseudo image with the highest fitness from a plurality of pseudo images, and the feature extraction unit uses the information of the pseudo image with the highest fitness to extract the feature value of the target crop from each region.
- a method is disclosed.
- low-resolution images can be freely used at low cost in many cases, but high-resolution images include high-cost and detailed spatial information.
- the temporal change of the desired point can be monitored by analyzing the low resolution image in time order.
- the low-resolution image includes only approximate spatial information, it is required to frequently acquire a high-resolution image including detailed spatial information.
- the difference in resolution between the high resolution image and the low resolution image is large (for example, 5 times or more), it is difficult to simulate the high resolution image from the low resolution image.
- a typical example of the invention disclosed in the present application is as follows. That is, from the first and second low resolution images acquired at different times and the first high resolution image acquired at the same time as the first low resolution image, at the same time as the second low resolution image.
- An image generation system for generating a second high-resolution image to be acquired comprising: a processor that executes a program; and a memory that stores a program executed by the processor; Obtaining a conversion function between the first high resolution image and the first low resolution image, extracting a difference between the first low resolution image and the second low resolution image, and extracting the difference And a second high-resolution image is generated using the conversion function.
- a high resolution image can be generated using a low resolution image.
- a spatial projection model between a high resolution image and a low resolution image is created by using LDA (Latent Dirichlet Allocation).
- LDA Latent Dirichlet Allocation
- the temporal change of the pixels of the low resolution image is a mixture of the temporal changes of the pixels of the high resolution image (including a plurality of basic types of objects). That is, the time change of the low resolution image can be decomposed into the time change of the high resolution image.
- this characteristic is used to assign a temporal change of the low resolution image to a temporal change of the pixel of the high resolution image, and construct a spatial fusion model.
- FIG. 1 is a diagram illustrating an overview of an image generation method according to an embodiment of the present invention.
- the low resolution images L1, L2,... are taken over a wide range and are observed frequently because the observation cost is low.
- the high-resolution image H1,... Is an image of a narrow range, and the observation cost is high.
- a low resolution image is an image observed by a high altitude satellite several times a day
- a high resolution image is an image observed by a low altitude satellite or an aircraft about once a month.
- ground objects can be observed not only from the air but also from the ground.
- things on the ground for example, grassland vegetation
- forest vegetation can be observed with a fixed camera or a portable camera or spectrum sensor.
- the function f for converting the high-resolution image and the low-resolution image observed by these methods can be obtained.
- a function h that converts a high-resolution image and the ground observation result can be obtained.
- ⁇ S Diff (L2 ⁇ L1).
- the present embodiment uses the three images of the low-resolution image L1 at time T1, the low-resolution image L2 at time T2, and the high-resolution image H1 at time T1, so that the high-resolution at time T2 A method for obtaining the image H2, that is, a function g is provided. Furthermore, according to the present invention, the ground observation result V2 at time T2 can be obtained from the high resolution image H2 at time T2 using the function h.
- the ground observation result V2 can also be obtained.
- FIG. 2 is a diagram for explaining conversion between the low resolution image L1 and the high resolution image H1.
- ground control points such as cross points and edge points (specifically, intersections, river boundaries, etc.) are extracted from both images. Then, the two images are overlaid so that the corresponding ground reference points coincide.
- the sub-pixel level accuracy is required in the low resolution image, and there is a possibility that a positional shift occurs.
- the ground reference point can be automatically detected from the feature amount extracted by SIFT (Scale-Invariant Feature Transform) by detecting the edge in the image. Even in this case, in the low resolution image, there is a case where the intersection is not shown or the river width cannot be recognized, and it is difficult to extract the edge of the image.
- SIFT Scale-Invariant Feature Transform
- the mixed spectrum separation method requires a pure pixel in which one pixel is composed of only one type of object in both images.
- one pixel includes a spectrum of light emitted from a plurality of objects.
- the high-resolution image includes pixels in a range narrow enough to identify the texture of the ground object (for example, a field fence pattern, a roof pattern, etc.).
- FIG. 3 is a diagram for explaining the estimation of the high resolution image H2 from the existing high resolution image H1.
- a function g for converting the high resolution image H1 into the high resolution image H2 is obtained by using the function f for converting the low resolution image L1 and the high resolution image H1 using the time change ⁇ s of the low resolution image as a parameter. Can do.
- FIG. 4 is a flowchart of processing for estimating a high-resolution image according to this embodiment.
- the high resolution image H1 and the low resolution image L1 at time T1 are acquired from the data recording unit 130 (S1).
- the initial value of the parameter n for controlling the loop is set to 2 (S3), and the loop of steps S4 to S10 is entered.
- the time Tn is set to a value obtained by adding ⁇ T to Tn-1 (S4).
- ⁇ T is a time interval at which the low resolution image Ln is provided, that is, a time interval at which the high resolution image Hn is acquired.
- step S7 the low-resolution image Ln at time Tn is obtained from the data recording unit 130 (S5), information on time change ⁇ S in the low-resolution image is extracted (S6), and a high-resolution estimated image H2 at time T2 is generated (S7). ).
- ⁇ (t) in the equation of step S7 is an element for calibration.
- ⁇ Tmax is a time range in which the high-resolution image Hn can be generated within a predetermined error range.
- ⁇ T is greater than or equal to ⁇ Tmax, calibration is necessary, so it is determined whether there is an actual high-resolution image at time Tn, and a high-resolution image H′n at time Tn is obtained from the data recording unit 130 (S9) and estimated.
- a calibration element ⁇ (t) is obtained from the difference between the obtained high resolution image Hn and the actual high resolution image H′n.
- ⁇ (t) can be expressed as a function of the elapsed time t from the reference high-resolution image H1.
- the accuracy of the estimated high resolution image Hn can be evaluated using ⁇ (t).
- step S8 if it is determined in step S8 that ⁇ T is smaller than ⁇ Tmax, a high-resolution and high-frequency observation image is estimated at a level that does not require calibration, and thus this processing is terminated.
- FIG. 5 is a flowchart of the process (S2) of superimposing the high resolution image and the low resolution image of this embodiment.
- feature quantities for example, spectrum classification, shape, texture
- S21 high-resolution image
- S22 a feature map in which the extracted feature quantities are arranged on a mesh
- S23 feature quantities
- the learning data set is data in which the feature amount of the high resolution image and the feature amount of the low resolution image at the same position are associated with each other. Note that the feature quantity of the high resolution image may be classified, the feature quantity of the low resolution image may be classified, and the feature quantity class of the high resolution image and the feature quantity class of the low resolution image may be associated with each other.
- the spectrum of the high resolution image and the spectrum of the low resolution image have different characteristics acquired by different sensors.
- the object and the object of the low resolution image are not associated with each other.
- the distribution model of the high resolution image and the distribution model of the low resolution image are generated.
- LDA can be used to generate this model (S25).
- FIG. 6 is a diagram for explaining an LDA model for superimposing the high resolution image and the low resolution image of this embodiment.
- the pixel spectrum of the low resolution image is classified into a plurality of types L1 to Lm.
- the spectrum of the pixel of the high resolution image is classified into a plurality of features H1 to Hk.
- the spectrum is classified into several types in the low resolution image, and the spectrum is classified into several tens of features in the high resolution image. This is because a high-resolution image has a narrow range in one pixel and the types of objects included in one pixel are reduced.
- the shape and texture of the object can be used for the features of the high resolution image and the type of the low resolution image. By using such characteristics and types, it is possible to associate the characteristics of the objects included in the two images.
- FIG. 7 is a flowchart of the high-resolution image generation process (S6) of the present embodiment.
- the time change ⁇ Fi, j of the feature j in the high-resolution image is calculated using the time change model ⁇ Fi, j (S61).
- the time change ⁇ Ci of the object i in the high resolution image is calculated using the time change ⁇ S of the low resolution image (S62).
- i 1 to K is a subscript indicating the type of the object
- Ni, j is the number of pixels of the high resolution image included in one pixel of the low resolution image. That is, ⁇ C i represents the change of the object i from time T1 to time T2.
- the high-resolution image generation method described above can be applied to other features such as shape and texture in addition to the spectrum as a feature.
- FIG. 8 is a diagram for explaining conversion from the low resolution image L1 to the high resolution image H1 using the ground observation data V1 of the present embodiment.
- the high resolution image H2 is generated from the high resolution image H1 and the difference ⁇ S between the low resolution images L1 and L2.
- the high resolution image and the ground observation data can be associated with each other.
- the high resolution image H2 can also be generated from the difference between the high resolution image H1 and the ground observation data V1 and V2 by using the same method as described above.
- FIG. 9 is a diagram for explaining calculation of pixels of the high resolution image of the present embodiment.
- the difference between the low resolution image L1 acquired at time T1 and the low resolution image L2 acquired at time T2 can be represented by a time series change ⁇ S.
- the low resolution image L1 acquired at time T1 and the high resolution image H1 acquired at time T1 have a spatial correspondence by the conversion function f.
- objects such as forests, rivers, farmland, roads, buildings, and wasteland on the ground. These objects have different reflected light spectra depending on their types.
- a high-resolution image includes pixels that are only reflected light from one type of object, whereas a low-resolution image usually includes reflected light from multiple types of objects in one pixel. For this reason, the low resolution image and the high resolution image are related by the spatial correspondence for each pixel.
- the high-resolution image L2 at time T2 is estimated by superimposing the time series change ⁇ S on the high-resolution image H1 using the spatial correspondence.
- FIG. 10 is a block diagram showing a logical configuration of the image generation system of the present embodiment.
- the image generation system of this embodiment is a computer having an input unit 110, a display unit 120, a data recording unit 130, a calculation unit 140, a data output unit 150, and a storage unit 160.
- the input unit 110, the display unit 120, the data recording unit 130, the data output unit 150, and the storage unit 160 are connected via the arithmetic unit 140 (or by a bus).
- the input unit 110 includes an image input unit 111 and a position information input unit 112.
- the image input unit 111 is a device to which a high resolution image and a low resolution image are input
- the position information input unit 112 is a device to input position information in the input image.
- the image input unit 111 and the position information input unit 112 include, for example, devices that accept data input such as an optical disk drive and a USB interface, and human interfaces such as a keyboard, a touch panel, and a mouse.
- the image input unit 111 and the position information input unit 112 may be configured with the same input device or different input devices.
- the display unit 120 includes an image display unit 121 and a position information display unit 122.
- the image display unit 121 is a display device that displays an image to be processed.
- the position information display unit 122 is a display device that displays ground reference points (GCP) such as cross points and edge points in an image to be processed.
- GCP ground reference points
- the image display unit 121 and the position information display unit 122 may be configured by the same display device or different display devices.
- the data recording unit 130 is a non-volatile storage device that stores image data processed by the image generation system, and includes, for example, a hard disk device or a non-volatile memory.
- the calculation unit 140 includes a processor and executes processing performed in the image generation system by executing a program.
- the data output unit 150 is a device that outputs a result processed by the image generation system, and is configured by, for example, a printer, a plotter, or the like.
- the storage unit 160 is a storage device that stores a program to be executed by the arithmetic unit 140, and includes, for example, a hard disk device, a nonvolatile memory, or the like.
- FIG. 11 is a block diagram showing a physical configuration of the image generation system of the present embodiment.
- the image generation system includes a calculation unit 10, a storage device 20, a communication interface 30, and a medium driver 40.
- the calculation unit 10 includes a processor (CPU) 101 that executes a program, a ROM 102 that is a nonvolatile storage element, and a RAM 103 that is a volatile storage element.
- the ROM 102 stores an invariant program (for example, BIOS).
- BIOS basic input system
- the RAM 103 temporarily stores a program stored in the storage device 20 and data used when the program is executed.
- the program executed by the arithmetic unit 100 is provided to the computer via a removable medium (CD-ROM, flash memory, etc.) or a network, and is stored in a storage device that is a non-temporary storage medium. For this reason, the computer which comprises an image generation system is good to have an interface which reads data from a removable medium.
- the storage device 20 is a large-capacity nonvolatile storage device such as a magnetic storage device or a flash memory, and stores a program executed by the processor 101 and data used when the program is executed. That is, the program executed by the processor 101 is read from the storage device 20, loaded into the RAM 103, and executed by the processor 101.
- the communication interface 30 is a network interface device that controls communication with other devices according to a predetermined protocol.
- the medium driver 40 is an interface (for example, an optical disk drive, a USB port) for reading a recording medium 50 in which a program and data introduced into the image generation system are stored.
- the image generation system is a computer system configured on a single computer or a plurality of computers configured logically or physically, and separate threads on the same computer. It may operate on a virtual machine constructed on a plurality of physical computer resources. For example, a sensing operator that provides an aerial photograph may provide this image generation system in a cloud environment.
- the image generation system of the present embodiment may be implemented on a stand-alone computer or a client / server computer system.
- the server executes arithmetic processing, the client accepts input data, and outputs the arithmetic result.
- the temporal change of the low resolution image is analyzed so as to be applied to the change of the element of the high resolution image, and the time at which the low resolution image was captured is analyzed.
- a high resolution image can be obtained. Only one high-resolution image is required to create a spatial projection model from a low-resolution image to a high-resolution image at the beginning of the process, which is efficient.
- the accuracy of the generated high resolution image can be improved by using the result of the ground survey.
- the present invention is not limited to the above-described embodiments, and includes various modifications and equivalent configurations within the scope of the appended claims.
- the above-described embodiments have been described in detail for easy understanding of the present invention, and the present invention is not necessarily limited to those having all the configurations described.
- a part of the configuration of one embodiment may be replaced with the configuration of another embodiment.
- another configuration may be added, deleted, or replaced.
- each of the above-described configurations, functions, processing units, processing means, etc. may be realized in hardware by designing a part or all of them, for example, with an integrated circuit, and the processor realizes each function. It may be realized by software by interpreting and executing the program to be executed.
- Information such as programs, tables, and files that realize each function can be stored in a storage device such as a memory, a hard disk, and an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.
- a storage device such as a memory, a hard disk, and an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.
- control lines and information lines indicate what is considered necessary for the explanation, and do not necessarily indicate all control lines and information lines necessary for mounting. In practice, it can be considered that almost all the components are connected to each other.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を生成する画像生成システムであって、前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、前記プロセッサは、前記第1の高分解能画像と前記第1の低分解能画像との変換関数を求め、前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出し、前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成する。
Description
本発明は、高分解能の画像を生成する画像生成システムに関する。
高い頻度で同じ地域を観測した多くの低分解能画像が提供されている。さらに、低分解能画像は低コストで、自由に利用できる場合が多い。
一方、高分解能画像は、画質が良く、詳細な空間情報を含む。しかし、高分解能画像は、低い頻度でしか同じ地域が観測されず、天候(例えば、雲)の影響を受ける。この観測時間間隔を観測時間窓(acquisition window period)と称する。
環境モニタリング用途の多くのアプリケーションとって、適切なタイミングで詳細に観測するという、二つの条件を満たした画像データを低コストで提供することは大きな利点となる。
この状況下で、高分解能画像及び低分解能画像の両方の長所を利用することが求められてきた。画像の分解能がの1~5倍の範囲内である場合、現在の技術では、この問題を画像の重ね合わせの問題として扱うことができる。また、人手による地上制御点(GCP)の選択などの方法又は特徴点/端点の自動抽出などを適用できる。しかし、分解能の差が大きい場合(例えば、5倍以上)、十分なサブピクセルレベルの位置情報が提供されない。他の一つの方法は、低分解能画像の画素中の基本的な要素の最適なスペクトルの構成によって解決するスペクトルアンミキシングと称する方法である。しかし、一つの地物からの反射光で構成される純粋な要素を低分解能画像中で見つけることは困難である。
また、低分解能画像への地上制御点の正確な投影は容易ではない。このため、空間的な十分に詳細な時間的な変化を低コストで監視することが求められている。
この技術分野の背景技術として特開2013-145507号公報(特許文献1)がある。特許文献1には、対象とする作物の植付け間隔と成長パターンをパラメータセットとして、対象とする作物の画像から得られる特徴量を推定する画像解析サーバが開示されている。また、擬似画像生成部で、対象とする作物の植付け間隔と、作物の成長パターンをパラメータセットとして、複数の擬似画像を生成し、最適テンプレート選択部で、解析対象の画像の各領域に対して複数の擬似画像から最も適合度の高い擬似画像を選択し、特徴量抽出部で、最も適合度の高い擬似画像の情報を用いて、各領域から対象とする作物の特徴量を抽出する推定の方法が開示されている。
前述したように、低分解能画像は低コストで自由に利用できる場合が多いが、高分解能画像は高コストで詳細な空間情報を含む。所望の地点の時間的な変化は、低分解能画像を時間順に解析することによって監視することができる。しかし、低分解能画像は概略の空間情報しか含まないことから、詳細な空間情報を含む高分解能画像を高頻度で取得することが求められている。特に、高分解能画像と低分解能画像との分解能の差が大きい(例えば、5倍以上)場合に、低分解能画像から高分解能画像をシミュレートすることは困難である。
このため、高分解能画像のコストを低減し、経済的な監視システムを構築することが求められている。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を生成する画像生成システムであって、前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、前記プロセッサは、前記第1の高分解能画像と前記第1の低分解能画像との変換関数を求め、前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出し、前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成する。
本発明の代表的な実施の形態によれば、低分解能画像を用いて高分解能画像を生成することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
まず、本発明の実施例の概要を説明する。
本発明の実施例では、LDA(Latent Dirichlet Allocation)を用いることによって、高分解能画像と低分解能画像との間の空間投影モデルを作成する。これによって、低分解能画像の特徴に含まれる混合スペクトルを容易に発見し、高分解能画像と低分解能画像とを対応付けることができる。一方、低分解能画像の画素の時間変化は、高分解能画像の画素(基本的な複数種類のオブジェクトが含まれる)の時間変化が混合したものになる。すなわち、低分解能画像の時間変化は、高分解能画像の時間変化に分解することができる。本発明の実施例では、この特性を利用して、低分解能画像の時間変化を高分解能画像の画素の時間変化に割り当て、空間融合モデルを構築する。
図1は、本発明の実施例の画像生成方法の概要を説明する図である。
地上の事物を空中から観測する場合、様々な分解能の画像が取得される。一般に、低分解能画像L1、L2、…は、広い範囲を撮影したものであり、観測コストが低いので、高頻度に観測されている。一方、高分解能画像H1、…は、狭い範囲を撮影したものであり、観測コストが高いので、低頻度にしか観測されない。例えば、低分解能画像は、高高度衛星が1日に数回観測する画像であり、高分解能画像は、低高度衛星や航空機が1月に1回程度観測する画像である。
また、地上の物(オブジェクト)は、空中からの観測だけでなく、地上からも観測することができる。例えば、カメラ、スペクトルセンサを搭載した自動車を走行することによって、地上の事物(例えば、草原の植生)を観測することができる。また、固定的に設置された又は可搬型のカメラやスペクトルセンサによって、森林の植生を観測することができる。
これらの方法によって観測された高分解能画像と低分解能画像とを変換する関数fを求めることができる。例えば、時刻T1における低分解能画像L1は、H1=f(L1)によって、時刻T1における高分解能画像H1に変換することができる(図2参照)。
また、高分解能画像と地上の観測結果とを変換する関数hを求めることができる。例えば、時刻T1における高分解能画像H1は、V1=h(H1)によって、時刻T1における地上観測データV1に変換することができる。
さらに、時刻T1における低分解能画像L1と、時刻T2における低分解能画像L2との差は、ΔS=Diff(L2-L1)で表す。
このような状態において、本実施例は、時刻T1における低分解能画像L1と、時刻T2における低分解能画像L2と、時刻T1における高分解能画像H1との三つの画像を用いて、時刻T2における高分解能画像H2を求める方法、すなわち関数gを提供する。さらに、本願発明によると、時刻T2における高分解能画像H2から、関数hを用いて、時刻T2における地上観測結果V2求めることができる。
なお、説明は省略するが、本願発明によると、低分解能画像L1と地上観測データV1とを変換する関数を求めた場合、低分解能画像L1、L2及び地上観測データV1を用いて、時刻T2における地上観測結果V2を求めることもできる。
図2は、低分解能画像L1と高分解能画像H1との変換を説明する図である。
低分解能画像L1と高分解能画像H1とを重ね合わせ、低分解能画像L1と高分解能画像H1とを変換する関数fを求めることは難しい。これは、低分解能画像L1と高分解能画像H1とは、各画像を取得するためのセンサが異なるので、両画像の画素に含まれるスペクトルに直接的な対応関係が生じないためである。
また、低分解能画像と高分解能画像との分解能の違いが大きくなる程、従来のマッチング方法による困難度は高くなる。
例えば、従来用いられる画像マッチングで地上基準点(Ground Control Point)を用いた方法では、クロスポイント、エッジポイントなど(具体的には、交差点、川の境界など)の地上基準点を両画像から抽出し、対応する地上基準点同士が一致するように二つの画像を重ね合わせる。この、地上基準点を用いた画像マッチングでは、地上基準点を的確に決定するためには、低分解画像ではサブピクセルレベルの精度が必要となり、位置ずれが生じる可能性がある。
なお、画像中のエッジを検出することによって、SIFT(Scale-Invariant Feature Transform)によって抽出された特徴量から地上基準点を自動的に検出することもできる。この場合でも、低分解画像では、交差点が写っていなかったり、川幅が認識できない場合があり、画像のエッジの抽出が困難である。
また、混合スペクトル分離法(Spectral Unmixing)では、両画像において、一つの画素が1種類のオブジェクトのみによって構成されるピュアピクセルが必要となる。通常、低分解能画像では、一つの画素に複数のオブジェクトから放射された光のスペクトルを含む。一方、高分解能画像は、地上物のテクスチャ(例えば、畑の畝のパターン、屋根の模様など)が識別できる程度に狭い範囲の画素を含む。そして、低分解能画像と高分解能画像とのマッチングでは、低分解能画像の1ピクセルと高分解能画像の複数ピクセルとを対応させる必要がある。
図3は、既存の高分解能画像H1から高分解能画像H2の推定を説明する図である。
画像の中には、その形状や色が時間の経過と共に変化するオブジェクトと、変化しないオブジェクトがある。例えば、夏と冬とでは広葉樹林のスペクトルが異なる。また、乾季と雨季では湖の大きさや川幅が異なる。一方、恒久的な建築物の形及び色は、通常は変化しない。
このように、時間の経過によって変化をするオブジェクトと、変化しないオブジェクトとを分ける。さらに、低分解能画像の時間変化Δsをパラメータとして、低分解能画像L1と高分解能画像H1とを変換する関数fを用いることによって、高分解能画像H1を高分解能画像H2に変換する関数gを求めることができる。
なお、高分解能画像H1から高分解能画像H2を推定する処理の詳細は、図7を用いて後述する。
図4は、本実施例の高分解能画像を推定する処理のフローチャートである。
まず、時刻T1における高分解能画像H1及び低分解能画像L1をデータ記録部130から取得する(S1)。
次に、高分解能画像H1と低分解能画像L1とを重ね合わせて、変換関数fを求める(S2)。二つの画像を重ね合わせる処理は、図5を用いて説明する。この変換関数fは、図2を用いて説明した方法によって求めることができる。
次に、ループを制御するパラメータnの初期値を2に設定し(S3)、ステップS4からS10のループに入る。
ループ内では、まず、時刻TnをTn-1にΔTを加えた値に設定する(S4)。ΔTは、低分解能画像Lnが提供される時間間隔、すなわち、高分解能画像Hnを取得する時間間隔である。
そして、時刻Tnの低分解能画像Lnをデータ記録部130から取得し(S5)、低分解能画像における時間変化の情報ΔSを抽出し(S6)、時刻T2の高分解能推定画像H2を生成する(S7)。なお、ステップS7の式におけるα(t)は、校正のための要素である。
その後、ΔTが所定の閾値ΔTmax以上であるかを判定する(S8)。既存の高分解能画像H1からの経過時間ΔTが大きくなると、推定された高分解能画像Hnの誤差が大きくなる。このため、ΔTmaxは、所定の誤差の範囲内で高分解能画像Hnを生成できる時間範囲である。
ΔTがΔTmax以上であれば、校正が必要なので、時刻Tnの実際の高分解能画像があるかを判定し、時刻Tnの高分解能画像H’nをデータ記録部130から取得し(S9)、推定された高分解能画像Hnと実際の高分解能画像H’nとの差分から校正要素α(t)を求める。なお、α(t)は基準となる高分解能画像H1からの経過時間tの関数として表すことができる。また、推定された高分解能画像Hnの精度を、α(t)を用いて評価することができる。
その後、ループを制御するパラメータnに1を加えて(S11)、ステップS4に戻る。
一方、ステップS8でΔTがΔTmaxより小さいと判定されれば、校正が不要なレベルで、高分解能かつ高頻度観測の画像が推定されたので、この処理を終了する。
図5は、本実施例の高分解能画像と低分解能画像とを重ね合わせる処理(S2)のフローチャートである。
まず、高分解能画像から特徴量(例えば、スペクトル分類、形状、テクスチャー)を抽出し(S21)、抽出した特徴量をメッシュ上に配置した特徴地図を作成する(S22)。また、低分解能画像から特徴量(例えば、スペクトル分類)を抽出する(S23)。
その後、高分解能画像の特徴地図(特徴量)と低分解能画像の特徴量とを対応付け、学習データセットを生成する(S24)。学習データセットは、同じ位置の高分解能画像の特徴量と低分解能画像の特徴量とが対応付けられたデータである。なお、高分解能画像の特徴量をクラス分けし、低分解能画像の特徴量をクラス分けして、高分解能画像の特徴量のクラスと低分解能画像の特徴量のクラスとを対応付けてもよい。
特徴量としてスペクトルを選択した場合でも、前述したように、高分解能画像のスペクトルと低分解能画像のスペクトルとは、異なるセンサによって取得された異なる特性を有するものなので、この時点では、高分解能画像のオブジェクトと低分解能画像のオブジェクトとは対応付けられていない。
その後、高分解能画像の分布モデルと低分解能画像の分布モデルとを生成する。このモデルの生成には、例えば、LDAを用いることができる(S25)。
その後、高分解能画像の混合組成と低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築する(S26)。
最後に、構築された特徴関連モデルを用いて、高分解能画像と低分解能画像とを重ね合わせる(S27)。
図6は、本実施例の高分解能画像と低分解能画像とを重ね合わせるためのLDAモデルを説明する図である。
低分解画像のピクセルのスペクトルは複数の種類L1からLmに分類される。一方、高分解画像のピクセルのスペクトルは複数の特徴H1からHkに分類される。通常、低分解画像においてスペクトルは数種類に分類され、高分解画像においてスペクトルは数十の特徴に分類される。これは、高分解能画像は1ピクセル中の範囲が狭く、1ピクセルに含まれるオブジェクトの種類が少なくなる。
高分解能画像の特徴や低分解能画像の種類には、前述したスペクトルの他に、オブジェクトの形状やテクスチャを使用することができる。このような特徴及び種類を使用することによって、二つの画像中に含まれているオブジェクトの特徴を対応付けることができる。
図7は、本実施例の高分解能画像生成処理(S6)のフローチャートである。
まず、時間変化モデルΔFi,jを用いて、高分解能画像中の特徴jの時間変化ΔFi,jを算出する(S61)。ここで、i=1~Kはオブジェクトの種類を示す添字であり、j=1~Mは高分解能画像から抽出される特徴の種類を示す添字である。すなわち、ΔFi,jは、特徴jで表されるオブジェクトiの時間T1から時間T2までの変化を表す。
次に、低分解能画像の時間変化ΔSを用いて、高分解能画像中のオブジェクトiの時間変化ΔCiを算出する(S62)。ここで、i=1~Kはオブジェクトの種類を示す添字であり、Ni,jは低分解能画像の1画素中に含まれる高分解能画像の画素数である。すなわち、ΔCiは、オブジェクトiの時間T1から時間T2までの変化を表す。
その後、模擬高分解能画像(H2)の画素P2iを算出する(S63)。
以上に説明した高分解能画像生成方法は、特徴としてのスペクトルの他、形状やテクスチャなどの他の特徴にも適用することができる。
図8は、本実施例の地上観測データV1を利用した低分解能画像L1から高分解能画像H1への変換を説明する図である。
図1で説明したように、本実施例では、高分解能画像H1及び低分解能画像L1とL2との差分ΔSから高分解能画像H2が生成される。しかし、本実施例では、高分解能画像と地上観測データとを対応付けることができる。このため、前述したものと同様の方法を用いて、高分解能画像H1及び地上観測データV1とV2との差分から高分解能画像H2を生成することもできる。
図9は、本実施例の高分解能画像の画素の算出を説明する図である。
時刻T1に取得された低分解能画像L1と、時刻T2に取得された低分解能画像L2との差分は、時系列変化ΔSで表すことができる。また、時刻T1に取得された低分解能画像L1と、時刻T1に取得された高分解能画像H1とは、変換関数fによる空間対応関係を有する。地上には、森林、河川、農地、道路、建物、荒地などの様々な地物(オブジェクト)がある。これらのオブジェクトは、その種類によって反射光のスペクトルが異なる。高分解能画像には、1種類のオブジェクトからの反射光のみによる画素が含まれるが、低分解能画像では、通常、複数種類のオブジェクトからの反射光が1画素に含まれる。このため、低分解能画像と高分解能画像とは、画素毎の空間対応関係で関係づけられることになる。
このため、本実施例では、空間対応関係を用いて時系列変化ΔSを高分解能画像H1に重ね合わせることによって、時刻T2の高分解能画像L2を推定する。
図10は、本実施例の画像生成システムの論理的な構成を示すブロック図である。
本実施例の画像生成システムは、入力部110、表示部120、データ記録部130、演算部140、データ出力部150及び記憶部160を有する計算機である。入力部110、表示部120、データ記録部130、データ出力部150及び記憶部160は、演算部140を介して(又は、相互にバスによって)接続される。
入力部110は、画像入力部111及び位置情報入力部112を有する。画像入力部111は、高分解能画像及び低分解能画像が入力される装置であり、位置情報入力部112は、入力された画像中の位置情報が入力される装置である。画像入力部111及び位置情報入力部112は、例えば、光ディスクドライブ、USBインターフェース等のデータの入力を受け付けるデバイスや、キーボード、タッチパネル、マウスなどのヒューマンインターフェースによって構成される。なお、画像入力部111と位置情報入力部112とは、同じ入力装置によって構成しても、異なる入力装置によって構成してもよい。
表示部120は、画像表示部121及び位置情報表示部122を有する。画像表示部121は、処理される画像を表示する表示装置である。位置情報表示部122は、処理される画像中のクロスポイント、エッジポイントなどの地上基準点(GCP)を表示する表示装置である。なお、画像表示部121と位置情報表示部122とは、同じ表示装置によって構成しても、異なる表示装置によって構成してもよい。
データ記録部130は、この画像生成システムによって処理される画像データを格納する不揮発性記憶装置であり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。演算部140は、プロセッサを含み、プログラムを実行することによって本画像生成システムで行われる処理を実行する。
データ出力部150は、この画像生成システムによって処理された結果を出力する装置で、例えば、プリンタ、プロッタ等によって構成される。記憶部160は、演算部140によって実行されるプログラムを格納する記憶装置であり、例えば、ハードディスク装置、不揮発性メモリ等によって構成される。
図11は、本実施例の画像生成システムの物理的な構成を示すブロック図である。
本実施例の画像生成システムは、演算部10、記憶装置20、通信インターフェース30及び媒体ドライバ40を有する。
演算部10は、プログラムを実行するプロセッサ(CPU)101、不揮発性の記憶素子であるROM102及び揮発性の記憶素子であるRAM103を有する。ROM102は、不変のプログラム(例えば、BIOS)などを格納する。RAM103は、記憶装置20に格納されたプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
演算部100が実行するプログラムは、リムーバブルメディア(CD-ROM、フラッシュメモリなど)又はネットワークを介して計算機に提供され、非一時的記憶媒体である記憶装置に格納される。このため、画像生成システムを構成する計算機は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
記憶装置20は、例えば、磁気記憶装置、フラッシュメモリ等の大容量かつ不揮発性の記憶装置であり、プロセッサ101によって実行されるプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プロセッサ101によって実行されるプログラムは、記憶装置20から読み出されて、RAM103にロードされて、プロセッサ101によって実行される。
通信インターフェース30は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。媒体ドライバ40は、画像生成システムに導入されるプログラムやデータが格納された記録媒体50を読むためのインターフェース(例えば、光ディスクドライブ、USBポート)である。
本実施例の画像生成システムは、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。例えば、空中写真を提供するセンシング事業者が、この画像生成システムをクラウド環境で提供してもよい。
本実施例の画像生成システムは、スタンドアロン形式のコンピュータに実装しても、クライアント・サーバ型の計算機システムに実装してもよい。クライアント・サーバ型の計算機システムに実装する場合、サーバが演算処理を実行し、クライアントが入力データを受け付け、演算結果を出力する。
以上に説明したように、本発明の実施例によると、低分解能画像の時間的な変化は、高分解能画像の要素の変化に適用するように解析され、当該低分解能画像が撮影された時刻の高分解能画像を得ることができる。高分解能画像は、処理の最初に低分解能画像から高分解能画像への空間投影モデルを作成するために、一つだけあればよく、効率的である。
また、高分解能画像と低分解能画像とを重ね合わせる際、地上調査の結果を用いることによって、生成される高分解能画像の精度を向上することができる。
このようにして、高効率かつ低コストで高分解能画像を生成する画像生成システムを構築することができる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
Claims (10)
- 異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を生成する画像生成システムであって、
前記画像生成システムは、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを備え、
前記プロセッサは、
前記第1の高分解能画像と前記第1の低分解能画像との変換関数を求め、
前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出し、
前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成することを特徴とする画像生成システム。 - 請求項1に記載の画像生成システムであって、
前記プロセッサは、
前記第1の高分解能画像から特徴量を抽出し、
前記第1の低分解能画像から特徴量を抽出し、
前記抽出された第1の高分解能画像の特徴量と、前記抽出された第1の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成し、
前記生成された分布モデルから、前記第1の高分解能画像の混合組成と前記第1の低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築し、
構築された特徴関連モデルを用いて、前記変換関数を求めることを特徴とする画像生成システム。 - 請求項1に記載の画像生成システムであって、
前記プロセッサは、
時間変化モデルを用いて、前記高分解能画像の特徴量の時間変化を計算し、
前記低分解能画像の時間変化を用いて、前記高分解能画像のオブジェクトの時間変化を計算し、
前記計算された特徴量の時間変化を用いて第2の高分解能画像の画素を計算することによって第2の高分解能画像を生成することを特徴とする画像生成システム。 - 請求項3に記載の画像生成システムであって、
前記プロセッサは、
前記高分解能画像から抽出される特徴量の種類毎、及び、前記高分解能画像に含まれるオブジェクトの種類毎に、前記高分解能画像のオブジェクトの時間変化を計算することを特徴とする画像生成システム。 - 請求項1に記載の画像生成システムであって、
前記プロセッサは、前記第1の高分解能画像の時刻と前記生成されるべき第2の高分解能画像の時刻との差が所定の閾値以上であれば、前記第2の高分解能画像の時刻における現実の高分解能画像を取得することを特徴とする画像生成システム。 - 異なる時刻に取得した第1及び第2の低分解能画像と、前記第1の低分解能画像と同一時刻に取得した第1の高分解能画像から、前記第2の低分解能画像と同一時刻で取得されるべき第2の高分解能画像を、計算機を用いて生成する画像生成方法であって、
前記計算機は、プログラムを実行するプロセッサと、前記プロセッサが実行するプログラムを格納するメモリとを有し、
前記方法は、
前記プロセッサが、第1の高分解能画像と第1の低分解能画像との変換関数を求めるステップと、
前記プロセッサが、前記第1の低分解能画像と前記第2の低分解能画像との差分を抽出するステップと、
前記プロセッサが、前記抽出された差分及び前記変換関数を用いて第2の高分解能画像を生成するステップと、を含むことを特徴とする画像生成方法。 - 請求項6に記載の画像生成方法であって、
前記変換関数を求めるステップでは、
前記第1の高分解能画像から特徴量を抽出し、
前記第1の低分解能画像から特徴量を抽出し、
前記抽出された第1の高分解能画像の特徴量と、前記抽出された第1の低分解能画像の特徴量とを用いて、前記特徴量の対応関係を含む分布モデルを生成し、
前記生成された分布モデルから、前記第1の高分解能画像の混合組成と前記第1の低分解能画像の混合組成との関係を推定し、特徴関連モデルを構築し、
構築された特徴関連モデルを用いて、前記変換関数を求めることを特徴とする画像生成方法。 - 請求項6に記載の画像生成方法であって、
前記第2の高分解能画像を生成するステップでは、
時間変化モデルを用いて、前記高分解能画像の特徴量の時間変化を計算し、
前記低分解能画像の時間変化を用いて、前記高分解能画像のオブジェクトの時間変化を計算し、
前記計算された特徴量の時間変化を用いて第2の高分解能画像の画素を計算することを特徴とする画像生成方法。 - 請求項8に記載の画像生成方法であって、
前記時間変化を計算するステップでは、前記高分解能画像から抽出される特徴量の種類毎、及び、前記高分解能画像に含まれるオブジェクトの種類毎に、前記高分解能画像のオブジェクトの時間変化を計算することを特徴とする画像生成方法。 - 請求項6に記載の画像生成方法であって、
前記プロセッサが、前記第1の高分解能画像の時刻と前記生成されるべき第2の高分解能画像の時刻との差が所定の閾値以上であれば、前記第2の高分解能画像の時刻における現実の高分解能画像を取得するステップを含むことを特徴とする画像生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016509856A JP6082162B2 (ja) | 2014-03-28 | 2014-03-28 | 画像生成システム及び画像生成方法 |
PCT/JP2014/059283 WO2015145764A1 (ja) | 2014-03-28 | 2014-03-28 | 画像生成システム及び画像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/059283 WO2015145764A1 (ja) | 2014-03-28 | 2014-03-28 | 画像生成システム及び画像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015145764A1 true WO2015145764A1 (ja) | 2015-10-01 |
Family
ID=54194350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/059283 WO2015145764A1 (ja) | 2014-03-28 | 2014-03-28 | 画像生成システム及び画像生成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6082162B2 (ja) |
WO (1) | WO2015145764A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021012433A (ja) * | 2019-07-03 | 2021-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
JP2021012432A (ja) * | 2019-07-03 | 2021-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
JP7316004B1 (ja) | 2022-10-24 | 2023-07-27 | 国立研究開発法人農業・食品産業技術総合研究機構 | 情報処理装置、情報処理方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284064A (ja) * | 1999-03-31 | 2000-10-13 | Mitsubishi Electric Corp | 多衛星補完観測システム |
JP2013101428A (ja) * | 2011-11-07 | 2013-05-23 | Pasuko:Kk | 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム |
JP2013145507A (ja) * | 2012-01-16 | 2013-07-25 | Hitachi Ltd | 画像解析システム、及び方法 |
-
2014
- 2014-03-28 WO PCT/JP2014/059283 patent/WO2015145764A1/ja active Application Filing
- 2014-03-28 JP JP2016509856A patent/JP6082162B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284064A (ja) * | 1999-03-31 | 2000-10-13 | Mitsubishi Electric Corp | 多衛星補完観測システム |
JP2013101428A (ja) * | 2011-11-07 | 2013-05-23 | Pasuko:Kk | 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム |
JP2013145507A (ja) * | 2012-01-16 | 2013-07-25 | Hitachi Ltd | 画像解析システム、及び方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021012433A (ja) * | 2019-07-03 | 2021-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
JP2021012432A (ja) * | 2019-07-03 | 2021-02-04 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
JP7415347B2 (ja) | 2019-07-03 | 2024-01-17 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
JP7415348B2 (ja) | 2019-07-03 | 2024-01-17 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、センシングシステム |
JP7316004B1 (ja) | 2022-10-24 | 2023-07-27 | 国立研究開発法人農業・食品産業技術総合研究機構 | 情報処理装置、情報処理方法、およびプログラム |
JP2024062080A (ja) * | 2022-10-24 | 2024-05-09 | 国立研究開発法人農業・食品産業技術総合研究機構 | 情報処理装置、情報処理方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2015145764A1 (ja) | 2017-04-13 |
JP6082162B2 (ja) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10839211B2 (en) | Systems, methods and computer program products for multi-resolution multi-spectral deep learning based change detection for satellite images | |
Xu et al. | Sub-pixel mapping based on a MAP model with multiple shifted hyperspectral imagery | |
McCarty et al. | Extracting smallholder cropped area in Tigray, Ethiopia with wall-to-wall sub-meter WorldView and moderate resolution Landsat 8 imagery | |
US9299157B2 (en) | Scale-invariant superpixel region edges | |
Lu et al. | Optimal spatial resolution of Unmanned Aerial Vehicle (UAV)-acquired imagery for species classification in a heterogeneous grassland ecosystem | |
Bayr et al. | Automatic detection of woody vegetation in repeat landscape photographs using a convolutional neural network | |
GB2500760A (en) | Traffic camera diagnostics using moving test targets | |
US11461884B2 (en) | Field management apparatus, field management method, and computer readable recording medium | |
Xiao et al. | Treetop detection using convolutional neural networks trained through automatically generated pseudo labels | |
AU2015258202B2 (en) | Image generation system and image generation method | |
JP6082162B2 (ja) | 画像生成システム及び画像生成方法 | |
US20200380085A1 (en) | Simulations with Realistic Sensor-Fusion Detection Estimates of Objects | |
La Salandra et al. | Generating UAV high-resolution topographic data within a FOSS photogrammetric workflow using high-performance computing clusters | |
WO2019087673A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム | |
Song et al. | Object-based feature selection for crop classification using multi-temporal high-resolution imagery | |
KR20180092591A (ko) | Uav 영상매칭 기술을 이용한 구조물 형상변화 탐지 알고리즘 | |
Guan et al. | Partially supervised hierarchical classification for urban features from lidar data with aerial imagery | |
JP5352435B2 (ja) | 分類画像作成装置 | |
Anil et al. | Road extraction using topological derivative and mathematical morphology | |
Costa et al. | Segmentation of optical remote sensing images for detecting homogeneous regions in space and time. | |
DadrasJavan et al. | An object-level strategy for pan-sharpening quality assessment of high-resolution satellite imagery | |
JP2015084192A (ja) | 林相解析装置、林相解析方法及びプログラム | |
Fonseca-Luengo et al. | Optimal scale in a hierarchical segmentation method for satellite images | |
Miraki et al. | Using canopy height model derived from UAV imagery as an auxiliary for spectral data to estimate the canopy cover of mixed broadleaf forests | |
Jurado-Rodríguez et al. | 3D Modeling of Rural Environments from Multiscale Aerial Imagery |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14887659 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016509856 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase | ||
122 | Ep: pct application non-entry in european phase |
Ref document number: 14887659 Country of ref document: EP Kind code of ref document: A1 |