WO2020189242A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020189242A1
WO2020189242A1 PCT/JP2020/008733 JP2020008733W WO2020189242A1 WO 2020189242 A1 WO2020189242 A1 WO 2020189242A1 JP 2020008733 W JP2020008733 W JP 2020008733W WO 2020189242 A1 WO2020189242 A1 WO 2020189242A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
observation information
classification result
observation
satellite
Prior art date
Application number
PCT/JP2020/008733
Other languages
English (en)
French (fr)
Inventor
直己 宮下
祥宏 太田
大輝 小山
Original Assignee
株式会社アクセルスペース
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アクセルスペース filed Critical 株式会社アクセルスペース
Priority to EP20774207.3A priority Critical patent/EP3944218A4/en
Publication of WO2020189242A1 publication Critical patent/WO2020189242A1/ja
Priority to US17/198,618 priority patent/US11450100B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Abstract

情報処理装置(1)は、宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得する取得部と、前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、前記取得部が取得した前記観測情報を入力して前記対象物を分類する分類部と、前記対象物を指定する指定入力を受け付ける受付部と、指定された前記対象物の分類結果を含む前記観測情報を出力する出力部とを備えることを特徴とする。

Description

情報処理装置、情報処理方法及びプログラム
 本発明は、情報処理装置、情報処理方法及びプログラムに関する。
 人工衛星から撮像された衛星画像を活用して、衛星画像内のオブジェクトを検出する種々の手法が提案されている。例えば特許文献1では、衛星画像の特徴量と、衛星画像に含まれる車両等の目的物の有無を示す正解値とを学習した分類モデルを用いて、衛星画像に含まれる目的物の個数を推定する目的物個数推定装置等が開示されている。
特開2009-146262号公報
 しかしながら、特許文献1に係る発明は単一種類の目的物についてその個数を推定するのみで、宇宙空間から観測される地表面の多種多様な対象物の中から、所望の対象物を抽出するに至っていない。
 一つの側面では、観測データから所望の対象物を分類可能な情報処理装置等を提供することを目的とする。
 一つの側面では、情報処理装置は、宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得する取得部と、前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、前記取得部が取得した前記観測情報を入力して前記対象物を分類する分類部と、前記対象物を指定する指定入力を受け付ける受付部と、指定された前記対象物の分類結果を含む前記観測情報を出力する出力部とを備えることを特徴とする。
 一つの側面では、観測データから所望の対象物を分類することができる。
衛星画像提供システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 ユーザDB及び画像DBのレコードレイアウトの一例を示す説明図である。 被覆分類処理に関する説明図である。 物体分類処理に関する説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 端末における表示画面の一例を示す説明図である。 分類器生成処理の処理手順の一例を示すフローチャートである。 対象物分類処理の処理手順の一例を示すフローチャートである。 画像購入処理の処理手順の一例を示すフローチャートである。 画像閲覧処理の処理手順の一例を示すフローチャートである。 実施の形態2に係る表示画面の一例を示す説明図である。 実施の形態2に係る表示画面の一例を示す説明図である。 実施の形態2に係る画像購入処理の処理手順の一例を示すフローチャートである。 実施の形態2に係る画像閲覧処理の処理手順の一例を示すフローチャートである。 実施の形態3の概要を示す説明図である。 実施の形態3に係るサーバが実行する処理手順の一例を示すフローチャートである。 実施の形態4の概要を示す説明図である。 実施の形態4に係るサーバが実行する処理手順の一例を示すフローチャートである。
 以下、本発明をその実施の形態を示す図面に基づいて詳述する。
(実施の形態1)
 図1は、衛星画像提供システムの構成例を示す模式図である。本実施の形態では、ユーザが所望する衛星画像を購入(利用)可能な衛星画像提供システムについて説明する。衛星画像提供システムは、情報処理装置1、端末2、衛星3を含む。情報処理装置1及び端末2は、インターネット等のネットワークNを介して通信接続されている。
 情報処理装置1は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置1がサーバ装置であるものとし、簡潔のためサーバ1と読み替える。サーバ1は、人工衛星である衛星3から地表面を撮像した衛星画像を継続的に取得してデータベース上に管理する管理装置であり、衛星画像をユーザが購入するためのプラットフォームを提供する。なお、衛星画像は、画像内の各画素値に対して、地表面の対応する地点の位置情報(緯度及び経度の情報)が関連付けられた画像データである。本実施の形態では、重量が数十kgの小型の衛星3が数十機体制で地球上の所定の軌道に存在しており、サーバ1は、各衛星3から衛星画像を取得してデータベース上で管理している。サーバ1は、Webブラウザ上でユーザが購入を希望する衛星画像の地理的範囲(領域)及び撮像日時(撮像時点)の指定入力を受け付け、指定された範囲及び日時に対応する画像をデータベース上の衛星画像から抽出し、ユーザに提供する。
 なお、以下の説明では、可視光線や近赤外線などを衛星3が検知することで撮像した衛星画像(写真)をユーザに提供するものとして説明するが、本実施の形態はこれに限定されるものではない。例えば衛星3は、熱赤外線を検知する光学センサを備え、地表面から輻射(放射)により放出される赤外線を検知して得たデータを提供するようにしてもよい。また、衛星3は、光学センサではなく、地表面にマイクロ波(電波)を照射し、地表面から反射したマイクロ波を検知するマイクロ波センサ(例えば合成開口レーダ)を備え、マイクロ波センサで観測したデータを提供するようにしてもよい。このように、サーバ1は衛星3から地表面を観測した観測情報をユーザに提供可能であればよく、提供する観測情報は可視光に基づく画像に限定されない。
 また、以下の説明では人工衛星(衛星3)によって地表面を観測するものとするが、サーバ1は宇宙空間を移動する何らかの飛翔体で観測したデータをユーザに提供可能であればよく、当該飛翔体は人工衛星に限定されない。
 本実施の形態においてサーバ1は、衛星画像をユーザに提供する際に、機械学習によって生成された分類器を用いて衛星画像内の対象物(オブジェクト)を分類した分類結果を含む衛星画像のデータをユーザに提供する。具体的には後述するように、サーバ1は、地表面を被覆する被覆物(例えば地表を覆う雲、水、樹木、裸地等の別)を分類する被覆分類器、及び地表面に存在する特定の物体(例えば車両、船舶等の移動体)を分類する物体分類器を用いて、衛星画像内の被覆物と、衛星画像内の各領域に存在する移動体の数量とを示すメタデータを付加した衛星画像を提供する。
 端末2は、ユーザが操作する端末装置であり、例えばパーソナルコンピュータである。なお、端末2はスマートフォン、タブレット端末、その他の装置であってもよい。端末2は、ユーザからの操作入力に従ってサーバ1にアクセスし、衛星画像(後述する分割画像)の購入要求を行ってサーバ1からダウンロードし、ダウンロードした画像を表示する。
 なお、本実施の形態ではユーザに衛星画像を販売して衛星画像を端末2にダウンロードさせるものとして説明するが、例えばサブスクリプション形式で、ユーザとの間の契約に従って衛星画像を一定期間利用可能とするようにしてもよい。すなわち、サーバ1は、端末2からの利用要求に従って衛星画像をユーザが利用可能なように出力することができればよく、一つひとつの衛星画像をユーザに販売し、端末2にダウンロードさせる構成は必須ではない。
 図2は、サーバ1の構成例を示すブロック図である。サーバ1は、制御部11、主記憶部12、通信部13、及び補助記憶部14を備える。
 制御部11は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の演算処理装置を有し、補助記憶部14に記憶されたプログラムPを読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の一時記憶領域であり、制御部11が演算処理を実行するために必要なデータを一時的に記憶する。通信部13は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
 補助記憶部14は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部11が処理を実行するために必要なプログラムP、その他のデータを記憶している。また、補助記憶部14は、ユーザDB141、画像DB142、被覆分類器143、及び物体分類器144を記憶している。ユーザDB141は、各ユーザの情報を格納したデータベースである。画像DB142は、衛星3から取得した衛星画像を格納したデータベースである。被覆分類器143は、機械学習によって生成された学習済みモデルであって、地表面を被覆する被覆物を分類する分類器である。物体分類器144は、同様に機械学習によって生成された学習済みモデルであって、地表面に存在する物体(移動体)を分類する分類器である。
 なお、補助記憶部14はサーバ1に接続された外部記憶装置であってもよい。また、サーバ1は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
 また、本実施の形態においてサーバ1は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ1は、CD(Compact Disk)-ROM、DVD(Digital Versatile Disc)-ROM等の可搬型記憶媒体P1を読み取る読取部を備え、可搬型記憶媒体P1からプログラムPを読み取って実行するようにしても良い。あるいはサーバ1は、半導体メモリP2からプログラムPを読み込んでも良い。
 図3は、ユーザDB141及び画像DB142のレコードレイアウトの一例を示す説明図である。
 ユーザDB141は、ユーザID列、氏名列、ユーザ情報列、購入画像列を含む。ユーザID列は、各ユーザを識別するためのユーザIDを記憶している。氏名列、ユーザ情報列、購入画像列はそれぞれ、ユーザIDと対応付けて、ユーザの氏名、ユーザに関するその他の情報、及びユーザが購入した画像の情報を記憶している。ユーザ情報列には、例えばユーザの本プラットフォーム上でのアカウント情報、画像購入時の決済に必要な情報、その他の情報が記憶されている。購入画像列には、例えば後述する分割画像を識別するためのIDを記憶されている。
 画像DB142は、画像ID列、日時列、衛星ID列、画像列、セルID列、セル領域列、オブジェクト列を含む。画像ID列は、衛星3から取得した衛星画像を識別するための画像IDを記憶している。日時列、衛星ID列、画像列、セルID列、セル領域列、オブジェクト列はそれぞれ、画像IDと対応付けて、衛星画像が撮像された日時、撮像した衛星3のID、及び撮像された衛星画像、後述する衛星画像を所定単位で分割したセル画像(分割画像)を識別するためのセルID、セル画像に相当する衛星画像内の領域の座標情報、及びセル画像に含まれる各オブジェクト(対象物)の分類結果を記憶している。
 図4は、被覆分類処理に関する説明図である。上述の如く、本実施の形態においてサーバ1は、機械学習によって生成した分類器を用いて、衛星画像内の対象物、具体的には被覆物及び移動体を分類する処理を行う。図4では、被覆物及び移動体のうち、被覆物に係る処理内容を概念的に図示している。図4に基づき、被覆分類処理の処理内容について説明する。
 例えばサーバ1は、深層学習により被覆物の特徴を学習する機械学習を行い、被覆分類器143を生成する。被覆分類器143は、例えばCNN(Convolution Neural Network)に係るニューラルネットワークであり、衛星画像(観測情報)の入力を受け付ける入力層と、衛星画像に含まれる被覆物の分類結果を出力する出力層と、衛星画像の特徴量を抽出する中間層とを有する。
 入力層は、衛星画像に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、衛星画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。被覆分類器143がCNNである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、衛星画像の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。出力層は、被覆物の分類結果を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、地表面を被覆する被覆物を分類する。
 なお、本実施の形態では被覆分類器143がCNNであるものとして説明するが、被覆分類器143はCNNに限定されず、CNN以外のニューラルネットワーク、SVM(Support Vector Machine)、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルであってもよい。
 サーバ1は、衛星3から地表面を撮像した複数の衛星画像と、各衛星画像から被覆物を分類した場合の分類結果の正解値とが対応付けられた教師データを用いて学習を行う。サーバ1は、教師データに含まれる衛星画像を入力層に入力し、中間層での演算処理を経て、出力層から被覆物の分類結果を示す出力値を取得する。なお、出力値は離散的な値(例えば「0」又は「1」の値)であってもよく、連続的な確率値(例えば「0」から「1」までの範囲の値)であってもよい。
 なお、衛星3が撮像する衛星画像はデータサイズが非常に大きいため、サーバ1は被覆分類器143に入力する画像データとして、衛星画像そのもの(生データ)ではなく、衛星画像を所定単位で分割した画像(例えば後述するセル画像)単位で入力し、分類を行う。これにより、一つひとつの画像の処理に要する演算負荷を低減し、好適に分類処理を行う。
 サーバ1は、出力層からの出力値を、教師データにおいて衛星画像に対しラベリングされた情報、すなわち正解値と比較し、出力値が正解値に近似するように中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み(結合係数)、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばサーバ1は誤差逆伝播法を用いて各種パラメータの最適化を行う。サーバ1は、教師データに含まれる各衛星画像について上記の処理を行い、被覆分類器143を生成する。
 例えばサーバ1は、CNNの一種であるセマンティックセグメンテーションに係る被覆分類器143を生成する。セマンティックセグメンテーションは、画像内の各画素がいずれのオブジェクト(対象物)を表す画素であるか、画素単位のクラス判定を行う手法である。この場合、例えば教師データとして、衛星画像内の各種被覆物に対応する画像領域に対し、被覆物の種類を示す情報(正解値)がラベリングされたデータが用いられる。サーバ1は、教師データに含まれる衛星画像を被覆分類器143に入力して画素単位で被覆物の分類結果を示す出力値を取得し、正解値と比較してパラメータの最適化を行うことで、各画素がいずれの被覆物を表すか、画素単位で分類可能な被覆分類器143を生成する。
 衛星3から衛星画像を取得した場合、サーバ1は被覆分類器143を用いて被覆物の分類を行う。被覆物は、地表面を被覆する所定のオブジェクトであって、例えば雲、森林、裸地、畑地、水域、氷雪、人工物などに分類される。なお、これらの分類は例示であって、被覆物は上記に限定されない。サーバ1は、衛星画像を所定単位の画像に分割して被覆分類器143の入力層に入力し、中間層において画像特徴量を抽出する演算を行い、抽出した特徴量を出力層に入力する。サーバ1は出力層から、各画素がいずれの被覆物を表すか、画素単位での分類結果を出力値として取得する。
 なお、本実施の形態ではサーバ1が教師あり学習によって被覆分類器143を生成するものとして説明するが、半教師あり学習、あるいは教師なし学習によって被覆分類器143を生成するようにしてもよい。後述の物体分類器144についても同様である。
 図5は、物体分類処理に関する説明図である。図5では、物体分類器144を用いて、衛星画像に含まれる特定の物体、具体的には移動体(例えば車両、船舶等)の数量を計測する様子を概念的に図示している。図5に基づき、物体分類処理の処理内容について説明する。
 物体分類器144は、上記の被覆分類器143と同じく深層学習によって生成されるニューラルネットワークであって、CNNに係るニューラルネットワークである。被覆分類器143と同様に、物体分類器144は入力層、中間層、及び出力層を有し、衛星画像の入力を受け付けて、衛星画像内の移動体を分類した分類結果を出力する。
 サーバ1は、教師用の複数の衛星画像それぞれに対し、各衛星画像から移動体を分類した際の分類結果の正解値が対応付けられた教師データを用いて学習を行う。被覆分類器143の学習時と同様に、サーバ1は、教師データに含まれる各衛星画像を所定単位で分割して物体分類器144に入力し、移動体の分類結果を出力値として取得する。サーバ1は、出力値を正解値と比較して重み等のパラメータを最適化し、物体分類器144を生成する。
 例えばサーバ1は、教師データとして、衛星画像内に存在する各移動体に対応する座標点(プロット)に対し、移動体の種類を示す正解値がラベリングされたデータを用いて学習を行う。衛星画像は解像度が低く、個々の移動体の形状や色といった特徴量を抽出して物体検出を行うことが難しい場合が多い。そこでサーバ1は、教師データにおいてプロットされた移動体の座標点を元に、画像内の所定の各単位領域(図5右下の矩形枠参照)の特徴量と、各領域に存在する移動体の数量(プロット数)とを学習することで、個々の移動体を検出(認識)することなく、移動体の数量を直接的に推定する物体分類器144を生成する。これにより、解像度が低い場合であっても移動体の数量を精度良く推定可能となる。
 なお、衛星画像の解像度によっては、物体分類器144において個々の移動体の検出を行い、移動体の数量を計測するようにしてもよい。すなわち、物体分類器144は移動体の数量を推定可能であればよく、そのアルゴリズムは特に限定されない。
 サーバ1は、衛星3が撮像した衛星画像を物体分類器144に入力し、衛星画像に含まれる移動体を分類した分類結果であって、移動体の数量を示す分類結果を出力値として取得する。例えば図5右下に示すように、サーバ1は、画像内の領域毎に、移動体の数量を推定した推定結果を取得する。
 ここでサーバ1は、物体分類器144に衛星画像を入力する場合に、被覆分類器143による被覆物の分類結果に応じて、衛星画像内の画像領域を絞り込んで入力する。これによってサーバ1は、物体分類器144を用いた演算処理の負荷を低減する。
 例えば分類対象とする移動体が船舶である場合、分析対象として考慮すべき画像領域は、海、河川などの水域であると考えられる。そこでサーバ1は、船舶について分類を行う場合、被覆物の分類結果を参照して水域に対応する画像領域を特定し、特定した画像領域を物体分類器144に入力する。これによってサーバ1は、図5右下に示すように、水域に存在する船舶の数量を示す分類結果を出力値として取得する。
 なお、船舶、車両等の移動体は物体分類器144を用いて分類する物体の例示であって、当該物体は一定の位置に存在する固定物であってもよい。
 上述の如く、サーバ1は被覆分類器143及び物体分類器144を用いて、衛星画像から被覆物及び移動体を分類する処理を行う。サーバ1は、複数の衛星3、3、3…から、各撮像時点(観測時点)において各対象地域を撮像した衛星画像を順次取得し、分類を行う。サーバ1は、各衛星画像と、衛星画像の分類結果とを撮像時点及び対象地域と対応付けて画像DB142に記憶する。
 図6~図12は、端末2における表示画面の一例を示す説明図である。図6~図12に基づき、本実施の形態の概要について説明する。
 本実施の形態においてサーバ1は、各衛星3から取得した衛星画像をユーザに販売するプラットフォームを提供する。図6には、本プラットフォームに係るWebブラウザ画面の画面例であって、端末2が表示する表示画面の一例を図示してある。サーバ1は、当該画面上での操作入力に基づいて、被覆分類器143及び物体分類器144を用いた分類結果付きの衛星画像をユーザに提供する。
 例えば端末2は、不図示の画面における操作入力に基づいて、購入対象とする対象地域の検索を行い、図6に示す画面を表示する。具体的には図6に示すように、端末2は、対象地域を示す地図画像を表示する。
 端末2は地図画像上に、所定の行幅及び列幅で対象地域を複数の領域に区分するグリッド線41(分割線)を重畳して表示する。グリッド線41で区分される幅(距離)は特に限定されないが、本実施の形態では5km四方の幅に設定されている。
 なお、本実施の形態ではグリッド線41が緯度及び経度に準じて南北方向及び東西方向に沿って設定され、地図画像が矩形状に区分されているが、グリッド線41の引き方(方向)は特に限定されない。また、ユーザが任意に分割線を設定し、任意の領域を購入対象地域として設定可能としてもよい。
 また、グリッド線41は対象地域を複数の領域に分割する際の目安であり、後述するセル画像は、グリッド線41で区切られた地図画像上の領域と完全に一致せずともよい。例えば隣り合うセル画像は、相互に一部重複していてもよい。
 端末2は、グリッド線41で分割された各領域から、購入対象(利用対象)とする複数の領域を指定する指定入力を受け付ける。例えば端末2は、画面上でのドラッグ操作、クリック操作等によって複数の領域の指定入力を受け付ける。購入対象とする領域の指定入力を受け付けた場合、端末2はサーバ1との間で通信を行い、図7に示す画面に遷移する。
 端末2において購入対象とする領域の指定入力を受け付けた場合、サーバ1は、指定された領域を含む衛星画像を画像DB142から検索する。そしてサーバ1は、検索した衛星画像から、地図画像上で指定された領域に対応する画像領域を切り出したセル画像(領域観測情報)を抽出する。サーバ1は、抽出したセル画像を端末2に出力し、表示させる。
 具体的には図7に示すように、サーバ1は、地図画像上の対応する各領域に、対象地域の衛星画像(観測情報)から抽出した各セル画像51を重畳したプレビュー画像を表示させる。なお、本明細書の図面では作図の便宜上、衛星画像(写真)が表示される領域にハッチングを付して図示する。図7のプレビュー画像の表示時点では、サーバ1はまず、対象地域を過去の各時点で撮像した複数の衛星画像のうち、最新の撮像時点(観測時点)での衛星画像から抽出したセル画像51を表示させる。地図画像上に購入対象のセル画像51を重畳して表示することで、ユーザはどの地点の画像であるか、プレビューを確認する際に容易に把握することができる。
 ここで端末2は、プレビュー画像上の所定箇所に、雲量及びオフナディア角(撮像角度)について絞り込みを行うための雲量設定欄52及び角度設定欄53を表示する。端末2は、各設定欄において雲量及び/又はオフナディア角に関する設定値の入力を受け付け、設定値を満たすか否かに応じてセル画像51の表示態様を切り換える。
 雲量は、衛星画像の撮像範囲(観測範囲)に占める雲の面積割合である。ユーザが衛星画像(セル画像51)を購入した場合に、当該画像内の雲量が多く、地表面がほとんど確認できない場合、ユーザにとって有用なものとは言い難い。そこで本実施の形態では、プレビュー時に雲量に応じた絞り込みを可能とする。例えば端末2は雲量設定欄52を介して、撮像時点(観測時点)における各セル画像51の領域での雲量の上限値を設定する設定入力を受け付ける。これにより端末2は、セル画像51の絞り込みを行う。
 オフナディア角は、衛星3が対象地域(各セル画像51の領域)を撮像した際の撮像角度であって、撮像時点(観測時点)において衛星3及び地表面を結ぶ法線と、衛星3及び対象地域(領域)を結ぶ直線とが成す角度である。なお、「オフナディア角」は本来、合成開口レーダにおけるマイクロ波の照射角度を指すが、本実施の形態では便宜上、衛星3から対象地域を撮像した際の撮像角度を意味するものとして用いる。
 オフナディア角が大きい場合、衛星画像(セル画像51)は、対象地域を真上からではなく斜めから撮像した画像となる。従って、例えばユーザが建築物を真上から撮像した画像を所望しているにも関わらず、建築物を斜めから撮像した画像を購入することになる。そこで本実施の形態では、プレビュー時にオフナディア角に応じた絞り込みを可能とする。
 例えばサーバ1は、衛星3及び地表面を結ぶ法線と、衛星3、及び各セル画像51の領域の中心点を結ぶ直線とがなす角度を、各セル画像51に係るオフナディア角として計算する。端末2は角度設定欄53を介して、撮像時点におけるオフナディア角の上限値を設定する設定入力を受け付ける。端末2は、上記で設定された雲量及び/又はオフナディア角の上限値に応じて、上限値以下のセル画像51と、上限値を超過するセル画像51とを異なる態様で表示する。例えば端末2は、上限値を超過するセル画像51を、上限値以下のセル画像51よりも暗くなるように暗色表示させる。なお、図7では便宜上、暗色表示を行っている様子をハッチングの濃淡で図示してある。上記の表示切換により、ユーザは雲量及び/又はオフナディア角が所望の条件を満たす衛星画像(セル画像51)を購入可能となる。
 また、端末2は図7の画面上で、購入対象とするセル画像51を、最新時点の画像から過去の別時点の画像に変更する指定入力を受け付ける。例えば端末2は、画像DB142に格納されている各衛星画像の撮像時点であって、対象地域を撮像した各衛星画像の撮像時点を画面右の操作メニューに一覧表示する。端末2は操作メニューを介して、過去の任意の撮像時点を指定する指定入力を受け付ける。
 別時点が指定された場合、端末2はサーバ1にアクセスし、指定された撮像時点の衛星画像から、ユーザが指定した各領域を抽出したセル画像51を取得する。端末2は、地図画像上に重畳表示しているセル画像51を、新たに取得したセル画像51に切り換えて表示する。さらに別時点への変更が指定された場合、端末2は指定された時点に切り換えて表示する。上記の処理を繰り返すことにより、ユーザは過去の各時点で撮像された画像を簡単に切り換えながら確認し、購入する画像を選択することができる。
 セル画像51を購入する場合、端末2はユーザからの操作入力に従い、セル画像51をカートに登録する。カートは、購入するセル画像51を仮登録しておくリストである。例えば端末2は、表示中のセル画像51に対するクリック操作を受け付け、操作されたセル画像51をカートに登録する。
 図8に、カート登録後の表示画面の一例を図示する。セル画像51がカートに登録された場合、端末2は、登録されたセル画像51にアイコン54を付して表示する。アイコン54を表示することで、ユーザは表示中のセル画像51がカートに登録済みであることを容易に把握することができる。また、端末2は操作メニューにおいて、表示中のセル画像51の撮像時点(日時)と対応付けてドットマーク55を表示すると共に、セル画像51がカートに登録された場合、カートに登録されたセル画像51の数量(枚数)に応じた長さのバー56を表示する。これによりユーザは、どの時点、どの程度の数量のセル画像51をカートに登録したか、容易に把握することができる。
 セル画像51の購入申込に進む場合、端末2は購入申込画面に遷移する。図9に、購入申込時の表示画面の一例を図示する。図9に示すように、端末2はカートに登録されているセル画像51をサムネイルで一覧表示すると共に、購入量等(不図示)を表示する。
 この場合に端末2は、購入対象のセル画像51について、ユーザが分類対象として所望する対象物の指定入力を受け付ける。例えば端末2は、図9右下に示すように、対象とする被覆物及び移動体の種類について、指定入力を受け付ける。
 端末2は、ユーザからの操作入力に応じて、対象物の指定内容を含むセル画像51の購入要求(利用要求)をサーバ1に送信する。端末2から購入要求を受け付けた場合、サーバ1は、購入されるセル画像51の数量等に応じた購入額を決済する処理を行う。なお、例えばサーバ1は、上記で指定された対象物の種類数などに応じて、購入額を変動させてもよい。
 購入処理が完了後、サーバ1は、購入されたセル画像51を端末2に出力し、ダウンロードさせる。この場合にサーバ1は、ユーザが指定した対象物の分類結果を含むセル画像51のデータを端末2に出力する。例えばサーバ1は、対象物の分類結果を示すメタデータをセル画像51に付加した画像データを端末2に出力する。これによりユーザは、単に衛星画像の提供を受けるだけでなく、衛星画像を分析したデータも含めて提供を受けることができる。
 なお、本実施の形態では衛星画像に対象物の分類結果(メタデータ)を付加して提供するものとするが、本実施の形態はこれに限定されるものではなく、画像内の対象物の位置や範囲が分かるように、画像自体を加工したデータを提供してもよい。例えばサーバ1は、後述する色分け表示のように、対象とする被覆物の領域を色分けした衛星画像(セル画像51)を生成して端末2に出力してもよい。このように、サーバ1は対象物の分類結果を含む衛星画像を出力可能であればよく、出力する画像データの態様は特に限定されない。
 図10に、購入済みのセル画像51を閲覧する際の表示画面の一例を図示する。本実施の形態では、サーバ1は、購入時と同一のプラットフォーム(Webブラウザ画面)上で、購入済みのセル画像51、すなわちユーザが利用可能なセル画像51を閲覧可能とする。
 端末2は不図示の画面で、サーバ1からダウンロードしてあるセル画像51のうち、閲覧対象とするセル画像51の選択入力を受け付ける。端末2は、選択されたセル画像51を表示する。この場合に端末2は、選択されたセル画像51を、地図画像上の対応する領域に重畳して表示する。
 具体的には、端末2は、地図画像上にセル画像51を重畳表示すると共に、操作メニューにおいて、表示中のセル画像51に対応する撮像時点にドットマーク55を付して表示する。上記の表示により、ユーザはどの地点、どの時点の画像であるか、購入時と同様に容易に把握することができる。
 次に、購入済みのセル画像51に含まれる対象物の分類結果を閲覧する際の処理内容について説明する。図11A及びBに、分類結果の表示画面の一例を図示する。例えば端末2は、図11A及びBの地図画像に重畳されたセル画像51からいずれかを指定する指定入力を受け付けた場合、指定されたセル画像51に関する対象物の分類結果を表示する。
 図11Aでは被覆物に関する表示画面例を、図11Bでは移動体に関する表示画面例を図示してある。例えば図11Aに示すように、被覆物に関する分類結果を表示する場合、端末2は、ユーザが指定した被覆物に対応する画像領域を、その他の画像領域と表示態様を異ならせて表示する。例えば端末2は、ユーザが指定した被覆物に対応する画素を色分け等の手段で強調表示する。
 また、例えば図11Bに示すように、移動体に関する分類結果を表示する場合、端末2は、セル画像51の中で、対象とする移動体が一以上存在する領域を矩形枠で表示すると共に、当該領域に存在する移動体の数量をグラフ表示する。
 次に、セル画像51の追加購入を受け付ける際の処理内容について説明する。端末2は、図10で図示した表示画面から、別時点のセル画像51の追加購入を受け付ける。例えば端末2は、操作メニューから別時点を指定する指定入力を受け付ける。別時点が指定された場合、端末2はサーバ1にアクセスし、指定された時点の衛星画像に係るセル画像51であって、表示中のセル画像51と同一領域のセル画像51を出力するよう要求する。サーバ1からセル画像51を取得した場合、端末2は、取得したセル画像51のプレビューに切り換えて表示する。
 図12に、切換後の画面例を図示する。端末2は、実施の形態1と同様に、地図画像上にセル画像51を重畳表示する。端末2は、雲量設定欄52及び角度設定欄53を介して雲量及びオフナディア角の設定入力を受け付けると共に、当該画面上でカートへの登録操作を受け付け、購入申込へと進む。カートへの登録処理、セル画像51の購入処理等は上記と同様であるため、詳細な説明は省略する。
 上述の如く、ユーザは地図画像上で購入対象とするセル画像51の地理的範囲(領域)、撮像時点等の指定を簡単な操作で行うことができる。また、衛星3から取得した生の画像データ、すなわち非常にデータサイズが大きい衛星画像(観測情報)から任意の領域のセル画像51(領域観測情報)が切り出して提供され、ユーザとしてはデータサイズが小さく取扱いが容易な画像を入手することができる。以上より、本実施の形態によれば、取扱いが容易な衛星画像を簡便に入手することができる。
 また、本実施の形態によれば、ユーザは所望の対象物の分類結果を含むセル画像51を取得することができる。これにより、例えば土地の状況や交通量の把握など、種々の用途に衛星画像を活用することができる。
 図13は、分類器生成処理の処理手順の一例を示すフローチャートである。図13に基づき、機械学習を行って被覆分類器143及び物体分類器144を生成する処理の内容について説明する。
 サーバ1の制御部11は、衛星画像に対して、衛星画像内に含まれる各対象物を分類した際の分類結果の正解値を対応付けた教師データを取得する(ステップS11)。上述の如く、分類対象とする対象物は、地表面を被覆する被覆物、地表面に存在する物体(例えば移動体)などある。制御部11は、衛星画像に対して各種オブジェクトの情報(正解値)がラベリングされた教師データを取得する。
 制御部11は教師データを用いて、衛星画像を入力した場合に、衛星画像内の被覆物を分類した分類結果を出力する被覆分類器143を生成する(ステップS12)。すなわち制御部11は、教師データに含まれる衛星画像を被覆分類器143に入力し、被覆物を分類した分類結果を出力として取得する。制御部11は、取得した分類結果を正解値と比較し、出力される分類結果が正解値に近似するように、ニューロン間の重み等のパラメータを最適化する。
 さらに制御部11は、教師データを用いて、衛星画像を入力した場合に衛星画像内の物体を分類した分類結果を出力する物体分類器144を生成する(ステップS13)。具体的には、制御部11は、教師データに含まれる衛星画像を物体分類器144に入力し、衛星画像内の各領域に存在する物体数を推定した推定結果(分類結果)を取得する。制御部11は、取得した推定結果を正解値と比較し、出力される推定結果が正解値に近似するように、ニューロン間の重み等のパラメータを最適化する。制御部11は、一連の処理を終了する。
 図14は、対象物分類処理の処理手順の一例を示すフローチャートである。図14に基づき、被覆分類器143及び物体分類器144を用いて、衛星画像に含まれる各種対象物を分類する処理の内容について説明する。
 サーバ1の制御部11は、衛星3が対象地域を撮像した衛星画像を取得する(ステップS31)。制御部11は、取得した衛星画像を、対象地域を区分した複数の領域それぞれに対応するセル画像51、51、51…に分割する(ステップS32)。
 制御部11は、セル画像51を被覆分類器143に入力して、セル画像51内の被覆物を分類する(ステップS33)。例えば制御部11は、セル画像51内の各画素値に対応する被覆物の種類を示す分類結果を被覆分類器143から取得する。
 制御部11は、ステップS33で取得した分類結果に応じて、各種被覆物に対応する画像領域をセル画像51から抽出する(ステップS34)。制御部11は、抽出した画像領域を物体分類器144に入力し、当該画像領域に含まれる特定の物体の数量を示す分類結果を物体分類器144から取得する(ステップS35)。
 制御部11は、ステップS31で取得した衛星画像と、ステップS33、S35で取得した各セル画像51に係る対象物の分類結果とを対応付けて画像DB142に記憶する(ステップS36)。制御部11は、一連の処理を終了する。
 図15は、画像購入処理の処理手順の一例を示すフローチャートである。図15に基づき、サーバ1が実行する処理内容について説明する。
 サーバ1の制御部11は、端末2から、地図画像を表示する対象地域の指定入力を受け付ける(ステップS51)。制御部11は、指定された地域の地図画像を端末2に出力し、表示させる(ステップS52)。具体的には上述の如く、制御部11は、対象地域を複数の領域に区分するためのグリッド線41(分割線)を重畳した地図画像を表示させる。
 制御部11は端末2から、グリッド線41で区分される地図画像上の各領域のうち、複数の領域を指定する指定入力を受け付ける(ステップS53)。制御部11は、指定された領域に対応するセル画像51(領域観測情報)を対象地域の衛星画像(観測情報)から抽出し、抽出したセル画像51を地図画像の対応する各領域に重畳したプレビュー画像を端末2に出力して表示させる(ステップS54)。ステップS54においては、制御部11は対象地域の衛星画像のうち、最新の撮像時点の衛星画像からセル画像51を抽出して地図画像に重畳する。
 制御部11は端末2から、撮像時点を別の時点に変更する指定入力を受け付けたか否かを判定する(ステップS55)。撮像時点の指定入力を受け付けたと判定した場合(S55:YES)、制御部11は、指定された撮像時点の衛星画像からセル画像51を抽出して端末2に出力し、地図画像上のセル画像51を切り換えて表示させる(ステップS56)。
 ステップS56の処理を実行後、又はステップS55でNOの場合、制御部11は端末2から、各セル画像51における雲量及び/又はオフナディア角に関する設定値の入力を受け付けたか否かを判定する(ステップS57)。例えば制御部11は、雲量及び/又はオフナディア角の上限値の設定入力を受け付ける。雲量及び/又はオフナディア角に関する設定値の入力を受け付けたと判定した場合(S57:YES)、制御部11は、設定値を満たすセル画像51と、設定値を満たさないセル画像51とを異なる態様で表示するように、各セル画像51の表示を切り換えさせる(ステップS58)。
 ステップS58の処理を実行後、又はステップS57でNOの場合、制御部11は端末2から、セル画像51をカート(購入候補リスト)に登録する登録操作を受け付ける(ステップS59)。そして制御部11は、カートに登録されたセル画像51の購入要求(利用要求)を受け付けたか否かを判定する(ステップS60)。購入要求を受け付けていないと判定した場合(S60:NO)、制御部11は処理をステップS55に戻す。
 購入要求を受け付けたと判定した場合(S60:YES)、制御部11は、ユーザが分類対象として所望する対象物の指定入力を受け付ける(ステップS61)。ステップS61で指定される対象物は、上述の如く、被覆物の種類、あるいは物体(移動体)の種類などである。制御部11は画像DB142を参照して、購入要求を受け付けた各セル画像51について、対象物の分類結果を示すデータを付加したセル画像51を端末2に出力し、ダウンロードさせる(ステップS62)。制御部11は、一連の処理を終了する。
 図16は、画像閲覧処理の処理手順の一例を示すフローチャートである。図16に基づき、購入済みの衛星画像を閲覧する際の処理内容について説明する。
 サーバ1の制御部11は、端末2から、購入済みのセル画像51、すなわちユーザが利用可能なセル画像51を指定する指定入力を受け付ける(ステップS71)。制御部11は、指定されたセル画像51を、地図上の対応する領域に重畳した地図画像を生成して端末2に表示させる(ステップS72)。
 制御部11は端末2から、対象物に関する分類結果を表示するセル画像51の指定入力を受け付けたか否かを判定する(ステップS73)。指定入力を受け付けたと判定した場合(S73:YES)、制御部11は、指定されたセル画像51に含まれる対象物の分類結果であって、購入時にユーザが指定した対象物の分類結果を示すセル画像51を端末2に表示させる(ステップS74)。例えば被覆物を対象とする場合、制御部11は、各被覆物に対応する画像領域(画素)を色分け等の手段で表示態様を異ならせたセル画像51を表示させる。また、例えば物体の数量を対象とする場合、制御部11は、各画像領域に存在する物体の数量をグラフ等の手段で示すセル画像51を表示させる。
 ステップS74の処理を実行後、又はステップS73でNOの場合、制御部11は端末2から、セル画像51の撮像時点を別時点に切り換える指定入力を受け付けたか否かを判定する(ステップS75)。撮像時点の指定入力を受け付けたと判定した場合(S75:YES)、制御部11は、指定された時点のセル画像51に切り換えて表示させる(ステップS76)。ステップS76の処理を実行後、又はステップS75でNOの場合、制御部11は、雲量及び/又はオフナディア角に関する設定値の入力を受け付けたか否かを判定する(ステップS77)。雲量及び/又はオフナディア角に関する設定値の入力を受け付けたと判定した場合(S77:YES)、制御部11は、設定値を満たすセル画像51と、設定値を満たさないセル画像51とを異なる態様で表示するように、各セル画像51の表示を切り換えさせる(ステップS78)。
 ステップS78の処理を実行後、又はステップS77でNOの場合、制御部11は、セル画像51の購入要求を端末2から受け付けたか否かを判定する(ステップS79)。購入要求を受け付けていないと判定した場合(S79:NO)、制御部11は処理をステップS73に戻す。購入要求を受け付けたと判定した場合(S79:YES)、制御部11は、ユーザが分類対象として所望する対象物の指定入力を受け付ける(ステップS80)。制御部11は、指定された対象物の分類結果を含むセル画像51を端末2に出力してダウンロードさせ(ステップS81)、一連の処理を終了する。
 以上より、本実施の形態1によれば、取扱いが容易な衛星画像(観測情報)を簡便に入手することができる。
 また、本実施の形態1によれば、ユーザが指定した領域のセル画像51を地図画像上でプレビュー表示することで、購入(利用)対象とするセル画像51がどの地点の画像であるか、容易に把握することができる。
 また、本実施の形態1によれば、画像DB142に保存されている過去の各時点の衛星画像のうち、任意の時点の衛星画像を購入(利用)することができる。
 また、本実施の形態1によれば、購入済みのセル画像51を簡単に閲覧することができると共に、セル画像51の追加購入も簡単に行うことができる。
 また、本実施の形態1によれば、雲量及び/又はオフナディア角に応じたセル画像51の絞り込みを行い、所望のセル画像51を簡単に入手することができる。
 また、本実施の形態1によれば、機械学習によって構築された分類器を用いて、衛星画像から所望の対象物を抽出して提供(提示)することができる。
 また、本実施の形態1によれば、被覆分類器143を用いた被覆分類を行うことで、対象地域を被覆する被覆物の情報をユーザに提供することができる。
 また、本実施の形態1によれば、物体分類器144を用いて、衛星画像に含まれる特定の物体(例えば移動体)の数量に関する情報をユーザに提供することができる。特に本実施の形態では、被覆分類器143による被覆物の分類結果を用いて入力対象とする画像領域を絞ることで、処理負荷を低減することができる。
(実施の形態2)
 本実施の形態では、ユーザが指定した期間の衛星画像を一括購入する形態について説明する。
 図17及び図18は、実施の形態2に係る表示画面の一例を示す説明図である。図17及び図18に基づき、本実施の形態の概要について説明する。
 図17では、ユーザが地図画像から購入対象とする複数の領域を指定する際の表示画面例を図示している。購入対象とする複数の領域が指定された場合、例えば端末2は画面右側に操作メニューを表示し、撮像期間を指定してセル画像51を一括購入するか否か、操作入力を受け付ける。操作メニュー上で撮像期間の指定入力を受け付けた場合、端末2は、指定された期間に含まれる複数の撮像時点それぞれで撮像された各衛星画像から、指定された複数の領域それぞれに対応する画像領域を抽出した各セル画像51をカートに登録する。なお、カート登録前にプレビュー表示を行ってもよいことは勿論である。
 各撮像時点に係るセル画像51がカートに登録された場合、端末2はユーザによる操作入力に従って購入申込に移り、サーバ1にアクセスして購入処理を行う。この場合、端末2は実施の形態1と同じく、分類対象とする対象物の指定入力を受け付け、指定内容を含むセル画像51の購入要求をサーバ1に送信する。端末2から購入要求を受け付けた場合、サーバ1は、各撮像時点のセル画像51、51、51…から成る画像群(観測情報群)であって、各セル画像51に対し、指定された対象物の分類結果が付加された画像群を端末2に出力してダウンロードさせる。上記の処理によってユーザは任意の期間のセル画像51を一括購入することができ、利便性を向上することができる。
 図18では、購入済みのセル画像51に係る対象物の分類結果を表示する際の表示画面例を図示している。例えば端末2は、実施の形態1と同じく図10の表示画面でセル画像51の指定入力を受け付けた場合、指定されたセル画像51に係る対象物の分類結果を表示する。この場合に端末2は、指定されたセル画像51を含む画像群であって、指定されたセル画像51と同一の領域で撮像時点が異なる複数のセル画像51から成る画像群を時系列で表示する。例えば端末2は、複数の撮像時点それぞれのセル画像51を時系列通りにコマ送りで動画再生する。
 この場合に端末2は、各撮像時点のセル画像51それぞれにおいて被覆物の色分け表示、移動体の数量のグラフ表示等を行う。これにより端末2は、被覆物や移動体など、対象物の時系列変化が表示される。以上より、ユーザはセル画像51の一括購入を可能になるだけでなく、指定した対象物の状態、状況がどのように変化しているかを把握可能となる。
 図19は、実施の形態2に係る画像購入処理の処理手順の一例を示すフローチャートである。
 地図画像上の複数の領域を指定する指定入力を受け付けた後(ステップS53)、サーバ1の制御部11は以下の処理を実行する。制御部11は端末2から、指定された領域に対応するセル画像51について、購入対象とする撮像期間の指定入力を受け付けたか否かを判定する(ステップS201)。期間の指定入力を受け付けていないと判定した場合、(S201:NO)、制御部11は処理をステップS54に移行する。
 期間の指定入力を受け付けたと判定した場合(S201:YES)、制御部11は、指定された期間に含まれる複数の撮像時点それぞれで撮像されたセル画像51から成る画像群であって、ステップS53で指定された領域に対応する画像群をユーザのカートに登録する(ステップS202)。制御部11は端末2から、カートに登録したセル画像51の購入要求を受け付けたか否かを判定する(ステップS203)。購入要求を受け付けていないと判定した場合(S203:NO)、制御部11は処理をステップS201に戻す。購入要求を受け付けたと判定した場合(S203:YES)、制御部11は処理をステップS60に移行する。
 図20は、実施の形態2に係る画像閲覧処理の処理手順の一例を示すフローチャートである。
 対象物に関する分類結果を表示するセル画像51の指定入力を端末2から受け付けたと判定した場合(S73:YES)、サーバ1の制御部11は以下の処理を実行する。制御部11は端末2に、指定されたセル画像51を含む画像群であって、指定されたセル画像51と同一の領域で撮像時点が異なる複数のセル画像51から成る画像群を時系列で表示させる(ステップS221)。例えば制御部11は、上述の如くセル画像51の動画再生を行わせる。この場合に制御部11は、各撮像時点のセル画像51それぞれにおいて被覆物の色分け表示、移動体の数量のグラフ表示等を行わせることで、対象物の時系列変化を示す動画を表示させる。制御部11は、処理をステップS75に移行する。
 以上より、本実施の形態2によれば、複数の撮像時点それぞれのセル画像51を一括購入することができ、利便性を向上させることができる。
 また、本実施の形態2によれば、各撮像時点のセル画像51に対して対象物の分類結果を付加して提供することで、ユーザは対象物の時系列変化を把握可能となる。
(実施の形態3)
 本実施の形態では、画像DB142に記憶されている衛星画像から、ユーザが所望の画像を検索可能とする形態について説明する。
 図21は、実施の形態3の概要を示す説明図である。上述の如く、サーバ1は画像DB142に、衛星3から取得した各衛星画像と、各衛星画像に含まれる対象物を被覆分類器143及び物体分類器144により分類した分類結果とを、衛星画像の対象地域、及び撮像時点と対応付けて記憶してある。本実施の形態では、ユーザが対象物を検索クエリとして画像DB142から所望の画像を検索し、提供可能とする。図21に基づき、本実施の概要について説明する。
 例えば端末2は、検索クエリとして、対象物(被覆物又は移動体)の種類を指定する指定入力を受け付け、サーバ1に検索要求を送信する。なお、端末2は対象物に関して、例えば被覆物の大きさ(面積)、移動体の数量の閾値など、より詳細な検索条件を指定して検索要求を行ってもよい。
 端末2から検索要求を受け付けた場合、サーバ1は、各衛星画像(セル画像51)に対応付けられている対象物の分類結果を参照して、画像DB142から、ユーザが指定した対象物を含むセル画像51を検索する。サーバ1は、検索結果を端末2に出力し、表示させる。例えば図21に示すように、サーバ1は、検索されたセル画像51のサムネイルを一覧で表示させる。
 例えば端末2は、検索結果として一覧表示されたセル画像51からいずれかを選択する選択入力を受け付け、選択されたセル画像51の地図画像上に重畳したプレビュー画像を表示する。なお、この場合に端末2は、被覆物、移動体など、検索クエリとした対象物に関する情報の全部又は一部をプレビュー表示してもよい。サーバ1は、端末2から当該セル画像51のカートへの登録操作、購入要求を順次受け付け、検索対象とした対象物の分類結果を含むセル画像51を端末2に出力する。
 図22は、実施の形態3に係るサーバ1が実行する処理手順の一例を示すフローチャートである。
 サーバ1の制御部11は、検索対象とする対象物の指定入力を受け付ける(ステップS301)。制御部11は、指定された対象物を含む衛星画像(セル画像51)を画像DB142から検索する(ステップS302)。制御部11は、検索結果を端末2に出力する(ステップS303)。例えば制御部11は、検索された各セル画像51のサムネイルを表示させる。この場合に制御部11は、検索されたセル画像51において、検索クエリとされた対象物に関する情報の全部又は一部を端末2に出力して表示させてもよい。
 制御部11は、検索結果として表示したセル画像51のうちいずれかを選択する選択入力を受け付け、選択されたセル画像51を地図上に重畳したプレビュー画像を端末2に表示させる(ステップS304)。制御部11は、プレビュー表示したセル画像51のカートへの登録操作を受け付ける(ステップS305)。制御部11は、カートに登録されたセル画像51の購入要求を端末2から受け付けて購入処理を行い、端末2に出力してダウンロードさせる(ステップS306)。制御部11は、一連の処理を終了する。
 以上より、本実施の形態3によれば、ユーザが指定した対象物を含む衛星画像を画像DB142から検索することができ、利便性を向上させることができる。
(実施の形態4)
 本実施の形態では、衛星画像に基づく対象地域の監視を行い、対象物に所定の変化が生じたか否かを判定する形態について説明する。
 図23は、実施の形態4の概要を示す説明図である。本実施の形態においてサーバ1は、衛星3が継続的に撮像する衛星画像から対象地域に発生した所定の事象を、被覆分類器143等による対象物の分類結果の時系列変化から検知し、ユーザに通知する。監視対象とする事象は、例えば土砂崩れ、火山噴火など、災害に関わる事象である。図23に基づき、本実施の形態の概要を説明する。
 例えば端末2はまず、監視対象とする対象地域、及び監視対象とする事象の事前登録を行う。例えば端末2は、図6と同様の地図画像において監視対象とする領域を指定することで、ユーザから対象地域の指定入力を受け付ける。また、端末2は、土砂崩れ、火山噴火など、監視対象とする災害事象の種類について指定入力を受け付ける。端末2は、指定された各種情報をサーバ1に送信し、事前登録を行う。
 サーバ1は、対象地域を撮像した衛星画像を衛星3から取得する都度、被覆分類器143に衛星画像を入力して被覆物の分類結果を取得する。ここでサーバ1は、当該対象地域の衛星画像について、前回取得した衛星画像から分類した被覆物の分類結果と、今回の被覆物の分類結果とを比較して、事前登録された事象に相当する対象物の変化が生じたか否かを判定する。例えば監視対象とする事象として土砂崩れが指定された場合、サーバ1は、「森林」が「裸地」に変化したかを判定する。
 対象物の変化が生じたと判定した場合、サーバ1は、判定結果を端末2に通知する。例えばサーバ1は、事前登録された事象が対象地域に発生した旨を端末2に通知すると共に、対象地域の衛星画像であって、当該事象が発生したと推定される画像領域をラベリングした衛星画像を端末2に出力する。上記の例に則して説明した場合、サーバ1は、「森林」から「裸地」に変化した領域をラベリングして端末2に出力する。
 なお、この場合にサーバ1は、例えば衛星画像をプレビューとして出力した上で、端末2から当該衛星画像の購入要求を受け付けるようにしてもよい。あるいはサーバ1は、衛星画像の購入に伴う決済を自動的に行い、衛星画像を端末2にダウンロードさせるようにしてもよい。このように、サーバ1は、対象物の変化が生じたと判定した場合、対象物の変化が生じたと判定された領域にラベリングした衛星画像の購入処理を手動又は自動で実行するようにしてもよい。
 図24は、実施の形態4に係るサーバ1が実行する処理手順の一例を示すフローチャートである。
 サーバ1の制御部11は、端末2から、監視対象とする対象地域の指定入力を受け付ける(ステップS401)。さらに制御部11は、監視対象とする事象(対象物の変化)に関する指定入力を受け付ける(ステップS402)。
 制御部11は画像DB142から、ステップS401で指定された対象地域に対応する衛星画像について、当該画像から分類した対象物の分類結果を取得する(ステップS403)。制御部11は以前の撮像時点における対象物の分類結果と比較して、ステップS402で指定された対象物の変化が生じたか否かを判定する(ステップS404)。
 変化が生じていないと判定した場合(S404:NO)、制御部11は処理をステップS403に戻す。変化が生じたと判定した場合(S404:YES)、制御部11は判定結果を端末2に通知し(ステップS405)、一連の処理を終了する。
 以上より、本実施の形態4によれば、対象地域に発生した所定の事象をユーザに自動通知することができ、例えば災害観測など、種々の用途に本システムを利用することができる。
 今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
 1   サーバ(情報処理装置)
 11  制御部
 12  主記憶部
 13  通信部
 14  補助記憶部
 P   プログラム
 141 ユーザDB
 142 画像DB
 2   端末
 3   衛星
 

Claims (10)

  1.  宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得する取得部と、
     前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、前記取得部が取得した前記観測情報を入力して前記対象物を分類する分類部と、
     前記対象物を指定する指定入力を受け付ける受付部と、
     指定された前記対象物の分類結果を含む前記観測情報を出力する出力部と
     を備えることを特徴とする情報処理装置。
  2.  前記取得部は、複数の観測時点夫々において前記対象地域を観測した複数の前記観測情報を取得し、
     前記受付部は、複数の前記観測時点を含む期間の指定入力を受け付け、
     前記出力部は、前記期間に含まれる複数の前記観測時点夫々の前記観測情報から成る観測情報群であって、前記観測時点夫々の前記観測情報から分類した前記対象物の分類結果を時系列で示す前記観測情報群を出力する
     ことを特徴とする請求項1に記載の情報処理装置。
  3.  前記取得部は、複数の観測時点夫々において複数の前記対象地域夫々を観測した複数の前記観測情報を取得し、
     複数の前記観測情報と、該観測情報夫々における前記対象物の分類結果とを対応付けて記憶する記憶部と、
     前記受付部において指定された前記対象物を含む前記観測情報を前記記憶部から検索する検索部と
     を備え、
     前記出力部は、検索された前記観測情報を出力する
     ことを特徴とする請求項1又は2に記載の情報処理装置。
  4.  前記取得部は、複数の観測時点夫々において複数の前記対象地域夫々を観測した複数の前記観測情報を取得し、
     前記対象地域が同一で前記観測時点が異なる複数の前記観測情報夫々の前記対象物の分類結果に基づき、前記対象物に所定の変化が生じたか否かを判定する判定部と、
     前記対象物に所定の変化が生じたと判定した場合、判定結果を通知する通知部と
     を備えることを特徴とする請求項1~3のいずれか1項に記載の情報処理装置。
  5.  前記分類部は、前記対象地域を被覆する被覆物の分類結果を出力するよう学習済みの第1の分類器に前記観測情報を入力して前記被覆物を分類する
     ことを特徴とする請求項1~4のいずれか1項に記載の情報処理装置。
  6.  前記被覆物は、前記対象地域を被覆する雲を含み、
     前記受付部は、観測時点における前記対象地域での雲量に関する設定値の入力を受け付け、
     前記出力部は、前記設定値を満たす前記観測情報を出力する
     ことを特徴とする請求項5に記載の情報処理装置。
  7.  前記第1の分類器から出力された前記被覆物の分類結果に基づき、前記被覆物に対応する前記対象地域内の領域の前記観測情報から抽出する抽出部を備え、
     前記分類部は、前記観測情報に含まれる特定の物体を分類した分類結果を出力するよう学習済みの第2の分類器に、前記抽出部が抽出した前記観測情報を入力して、前記領域に存在する前記物体の数量を示す分類結果を出力する
     ことを特徴とする請求項5又は6に記載の情報処理装置。
  8.  宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得し、
     前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、取得した前記観測情報を入力して前記対象物を分類し、
     前記対象物を指定する指定入力を受け付け、
     指定された前記対象物の分類結果を含む前記観測情報を出力する
     処理をコンピュータに実行させることを特徴とする情報処理方法。
  9.  宇宙空間を飛翔する飛翔体から対象地域を観測した観測情報を取得し、
     前記観測情報を入力した場合に、前記対象地域に存在する対象物を分類した分類結果を出力するように学習済みの分類器に、取得した前記観測情報を入力して前記対象物を分類し、
     前記対象物を指定する指定入力を受け付け、
     指定された前記対象物の分類結果を含む前記観測情報を出力する
     処理をコンピュータに実行させることを特徴とするプログラム。
  10.  対象物を指定する指定入力を受け付け、
     宇宙空間を飛翔する飛翔体が対象地域を観測した観測情報を管理する管理装置に、指定した前記対象物を前記観測情報から分類した分類結果の出力を要求し、
     前記観測情報を入力した場合に前記対象物の分類結果を出力するように学習済みの分類器を用いて前記対象物を分類した分類結果を前記管理装置から取得し、
     前記対象物の分類結果を含む前記観測情報を表示部に表示する
     処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/008733 2019-03-20 2020-03-02 情報処理装置、情報処理方法及びプログラム WO2020189242A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20774207.3A EP3944218A4 (en) 2019-03-20 2020-03-02 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US17/198,618 US11450100B2 (en) 2019-03-20 2021-03-11 Information processing apparatus, information processing method and non-transitory computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019053502A JP7114082B2 (ja) 2019-03-20 2019-03-20 情報処理装置、情報処理方法及びプログラム
JP2019-053502 2019-03-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/198,618 Continuation US11450100B2 (en) 2019-03-20 2021-03-11 Information processing apparatus, information processing method and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020189242A1 true WO2020189242A1 (ja) 2020-09-24

Family

ID=72520902

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008733 WO2020189242A1 (ja) 2019-03-20 2020-03-02 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US11450100B2 (ja)
EP (1) EP3944218A4 (ja)
JP (1) JP7114082B2 (ja)
WO (1) WO2020189242A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728447B (zh) * 2019-10-10 2021-03-09 合肥工业大学 一种最早完成区域目标覆盖的分区卫星任务规划方法
WO2023210190A1 (ja) * 2022-04-28 2023-11-02 パイオニア株式会社 情報処理装置、情報処理方法、プログラム及び記録媒体
JP7410339B1 (ja) 2023-01-10 2024-01-09 株式会社パスコ 識別装置、識別方法およびプログラム
JP7400147B1 (ja) 2023-02-06 2023-12-18 株式会社Qps研究所 宇宙航行体に関連して用いられる処理装置及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146262A (ja) 2007-12-17 2009-07-02 Hitachi Software Eng Co Ltd 衛星画像の選択操作支援方法及び装置
JP2018072938A (ja) * 2016-10-25 2018-05-10 株式会社パスコ 目的物個数推定装置、目的物個数推定方法及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139794B2 (en) * 2000-12-27 2006-11-21 3-D-V-U Israel (2000) Ltd. System and methods for network image delivery with dynamic viewing frustum optimized for limited bandwidth communication channels
US8077918B2 (en) * 2008-08-28 2011-12-13 Google, Inc. Architectures and methods for creating and representing time-dependent imagery
US8667054B2 (en) * 2010-07-12 2014-03-04 Opus Medicus, Inc. Systems and methods for networked, in-context, composed, high resolution image viewing
US9129161B2 (en) * 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
US9489581B2 (en) * 2014-08-11 2016-11-08 Nokia Technologies Oy Vehicle counting and emission estimation
US9518837B2 (en) * 2014-12-02 2016-12-13 Here Global B.V. Monitoring and visualizing traffic surprises
US9875430B1 (en) * 2016-03-30 2018-01-23 Descartes Labs, Inc. Iterative relabeling using spectral neighborhoods
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
US10248663B1 (en) * 2017-03-03 2019-04-02 Descartes Labs, Inc. Geo-visual search
US11275989B2 (en) * 2017-05-22 2022-03-15 Sap Se Predicting wildfires on the basis of biophysical indicators and spatiotemporal properties using a long short term memory network
US10255526B2 (en) * 2017-06-09 2019-04-09 Uptake Technologies, Inc. Computer system and method for classifying temporal patterns of change in images of an area
US11373314B2 (en) * 2018-04-05 2022-06-28 Nec Corporation Land mask image generation for ocean surface and land surface
US10755146B2 (en) * 2018-07-25 2020-08-25 University Of Kentucky Research Foundation Network architecture for generating a labeled overhead image
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146262A (ja) 2007-12-17 2009-07-02 Hitachi Software Eng Co Ltd 衛星画像の選択操作支援方法及び装置
JP2018072938A (ja) * 2016-10-25 2018-05-10 株式会社パスコ 目的物個数推定装置、目的物個数推定方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RIHO ITO; SHOTA IINO; AITO FUJITA; TOMOYUKI IMAIZUMI; SHUHEI HIKOSAKA: "Assessing the Land Cover Classification Technique of the Satellite Imagery using Deep Learnin", PROCEEDINGS OF THE 30TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 30, 6 June 2016 (2016-06-06), pages 1 - 4, XP009526178, DOI: 10.11517/pjsai.JSAI2016.0_4L11 *
See also references of EP3944218A4

Also Published As

Publication number Publication date
EP3944218A1 (en) 2022-01-26
JP2020154835A (ja) 2020-09-24
US11450100B2 (en) 2022-09-20
US20210200984A1 (en) 2021-07-01
JP7114082B2 (ja) 2022-08-08
EP3944218A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
WO2020189242A1 (ja) 情報処理装置、情報処理方法及びプログラム
Kalantar et al. Drone-based land-cover mapping using a fuzzy unordered rule induction algorithm integrated into object-based image analysis
Catani Landslide detection by deep learning of non-nadiral and crowdsourced optical images
Fu et al. Using convolutional neural network to identify irregular segmentation objects from very high-resolution remote sensing imagery
Huang et al. Road centreline extraction from high‐resolution imagery based on multiscale structural features and support vector machines
Saralioglu et al. Semantic segmentation of land cover from high resolution multispectral satellite images by spectral-spatial convolutional neural network
CN113537180B (zh) 树障的识别方法、装置、计算机设备和存储介质
CN110858213A (zh) 用于根据地图图像进行位置推理的方法
CN116018602A (zh) 植被管理系统和植被管理方法
Chaiyasarn et al. Concrete crack detection and 3D mapping by integrated convolutional neural networks architecture
Paul et al. Canopy averaged chlorophyll content prediction of pear trees using convolutional autoencoder on hyperspectral data
WO2020189241A1 (ja) 情報処理装置、情報処理方法及びプログラム
Yates et al. Evaluation of synthetic aerial imagery using unconditional generative adversarial networks
CN112270671B (zh) 图像检测方法、装置、电子设备及存储介质
Ozturk et al. Generation of Istanbul road data set using Google Map API for deep learning-based segmentation
Kargah-Ostadi et al. Automated real-time roadway asset inventory using artificial intelligence
Rehman et al. Long short term memory deep net performance on fused Planet-Scope and Sentinel-2 imagery for detection of agricultural crop
Sardar et al. Ensemble learning with CNN and BMO for drought prediction
Sen et al. Unsupervised extraction of urban features from airborne lidar data by using self-organizing maps
Thwal et al. Land cover classification and change detection analysis of multispectral satellite images using machine learning
Renza et al. Landslide susceptibility model by means of remote sensing images and AutoML
Samui et al. Statistical learning algorithms for identifying contrasting tillage practices with Landsat Thematic Mapper data
Tiwari et al. Markov random field-based method for super-resolution mapping of forest encroachment from remotely sensed ASTER image
José-Silva et al. Improving the validation of ecological niche models with remote sensing analysis
JP2011150626A (ja) 画像分類方法、装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20774207

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020774207

Country of ref document: EP

Effective date: 20211020