JP6798854B2

JP6798854B2 - 目的物個数推定装置、目的物個数推定方法及びプログラム

Info

Publication number: JP6798854B2
Application number: JP2016208818A
Authority: JP
Inventors: 修平彦坂; 友之今泉; 藍斗藤田; 佳介根本
Original assignee: Pasco Corp
Current assignee: Pasco Corp
Priority date: 2016-10-25
Filing date: 2016-10-25
Publication date: 2020-12-09
Anticipated expiration: 2036-10-25
Also published as: JP2018072938A

Description

本発明は、解析対象画像に含まれる目的物の個数を計算する目的物個数推定装置、目的物個数推定方法及びプログラムに関する。

近年、地球観測衛星により撮影される衛星画像は、高分解能化が進んでおり、画素当たりの空間解像度が数十ｃｍスケールの高分解能画像を取得できるようになってきている。さらに、地球観測衛星の観測機会向上により時間分解能も向上している。そのため、衛星画像はこれまで以上に幅広い用途へ活用できる可能性を有している。衛星画像を用いて日々の地球（地表等）の状況や変化を解析することにより、地球上の経済活動を可視化することができると考えられる。

現状では、衛星画像からの情報抽出を人手で行っており、衛星画像の情報量増加に対して、解析能力が追い付いておらず、有用な情報を迅速に抽出することができていない。また、人手に頼った情報抽出は、作業時間、作業コスト、精度のばらつきが大きい。

衛星画像を解析する技術として以下のようなものが知られている。例えば特許文献１には、入力画像全体から抽出した線分群から、車両に相当する線分群を一括抽出し、その線分群の道路領域内での密度を計算することで、当該道路領域内での車両台数密度を求めて可視的に提示する車両台数密度観測装置が開示されている。

また非特許文献１には、ディープラーニングを用いて衛星画像から地物を抽出する技術が開示されている。また非特許文献２には、畳み込みニューラルネットワーク（ＣＮＮ）を用いて高空間解像度衛星画像から地物を抽出する技術が開示されている。さらに非特許文献３には、深層の畳み込みニューラルネットワークを用いたイメージネットの分類について開示されている。

特開２０１０−１２８７３２号公報

藤田藍斗、今泉友之、彦坂修平、「Deep Learningを用いた衛星画像からの地物抽出」、日本リモートセンシング学会、第５９回（２０１５年１１月）学術講演会藤田藍斗、今泉友之、彦坂修平、「ＣＮＮを用いた高空間解像度衛星画像からの地物抽出」、人工知能学会、第３０回（２０１６年６月）人工知能学会全国大会 A. Krizhevsky, I. Sutskever, and G.E. Hinton, Imagenet classification with deep convolutional neural networks, Advances in NIPS, pp. 1097-1105

しかしながら、特許文献１及び非特許文献１〜３に記載の技術を含め従来の技術では、解析対象画像から目的物の数を、自動的に精度よく推定することができなかった。また、目的物の数を１つ１つ確認するのに必要な画像の解像度が得られない場合、自動的に精度よく推定することができなかった。

本発明は、上記の状況を考慮してなされたものであり、衛星画像等の解析対象画像から目的物の数を自動的に精度よく推定するものである。また、目的物の数を１つ１つ確認するのに必要な画像の解像度が得られない場合においても、おおよその数を把握できる解像度であれば目的物の数を自動的に精度よく推定するものである。

本発明の一態様の目的物個数推定装置は、目的物判定部と、個数推定部を備える。
目的物判定部は、学習対象画像の特徴と当該学習対象画像に含まれる目的物の有無の正解値を学習した分類モデルを用いて、解析対象画像を構成する複数の小画像の各々に対し各小画像に目的物が存在するかどうかを判定する。
個数推定部は、学習対象画像の特徴と当該学習対象画像に含まれる目的物の個数の正解値を学習した回帰モデルを用いて、上記目的物判定部により目的物が存在すると判定された小画像に含まれる目的物の個数を推定する。

本発明の少なくとも一態様によれば、解析対象画像から目的物の数を、自動的に精度よく推定することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

検討（１）に係る車両台数推定方法の概要を示す説明図である。検討（１）に係るクラス設定を示す説明図である。検討（１）に係る３種類のクラス設定を比較した説明図である。検討（１）に係る車両台数推定方法を示す説明図である。検討（１）に係る１グリッド当たりの確率値区分ごとの車両台数を示すテーブルである。検討（１）に係る１グリッド当たりのクラスごとの台数を示すテーブルである。検討（１）に係る台数推定結果を示す説明図である。検討（２）に係る車両台数推定方法の概要を示す説明図である。検討（２）に係る画像全体の正解台数（目視判読結果）と画像全体の台数推定結果を示す説明図である。検討（２）の台数推定結果と検討（１）の台数推定結果を示す説明図である。検討（２）に係る車両の存在しないグリッドにおける台数推定結果を示す説明図である。図１１Ａは正解台数（目視判読結果）の例であり、図１１Ｂは検討（２）の台数推定結果の例である。検討（２）に係る車両密度の低いグリッドにおける台数推定結果を示す説明図である。図１２Ａは正解台数（目視判読結果）の例であり、図１２Ｂは台数推定結果の例である。検討（２）に係る車両密度の高いグリッドにおける台数推定結果を示す説明図である。図１３Ａは正解台数（目視判読結果）の例であり、図１３Ｂは台数推定結果の例である。本発明の一実施形態に係る車両台数推定方法の概要を示す説明図である。本発明の一実施形態に係る分類結果及び回帰による台数推定結果を表現した衛星画像を示す説明図である。本発明の一実施形態に係る車両台数推定装置の内部構成例を示すブロック図である。本発明の一実施形態に係る学習・モデル生成フェーズにおける処理例を示すフローチャートである。本発明の一実施形態に係る解析フェーズにおける処理例を示すフローチャートである。本発明の一実施形態に係るある１シーンの駐車場領域における台数推定結果を示す説明図である。図１９Ａは正解台数の例であり、図１９Ｂは台数推定結果の例である。本発明の一実施形態に係る台数推定結果、並びに、検討（１）及び検討（２）の台数推定結果を示す説明図である。本発明の一実施形態に係る推定値と実測値との関係例を示すグラフである。検討（２）に係る推定値と実測値との関係例を示すグラフである。検討（１）に係る推定値と実測値との関係例を示すグラフである。車両台数推定装置が備えるコンピューターのハードウェア構成を示すブロック図である。

以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。各図において実質的に同一の機能又は構成を有する構成要素については、同一の符号を付して重複する説明を省略する。

発明者らは、ディープラーニングを用いた高分解能衛星画像からの情報抽出手法を検討してきた。ディープラーニングは、人間の持つ学習機能をコンピューターで実現することを目的とした人工知能分野における技術の一つである。近年、自然画像の分類や物体検出においてディープラーニングにより既存の手法を大きく上回る性能が報告されている。このディープラーニングの大きな特徴は、解析対象の性質（地物ならば物体の形状や位置、大きさ）に関わらず、認識に有用な特徴をデータから「自動」で学習できる点である。即ち目的に応じた情報解析を人間による設計を介さずに、大量の複雑なデータからコンピューターが自ら学習し、解析モデルを生成することができる。

以下に述べる検討（１）及び検討（２）において、ディープラーニング技術の一つである畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）を用いて、高分解能衛星画像中の駐車車両（以下、単に「車両」ともいう）の台数を推定する手法の検討を行った。

＜１．検討（１）＞
まず検討（１）について説明する。図１は、検討（１）に係る車両台数推定方法の概要を示す説明図である。

図１に示す検討（１）の手法は、衛星画像等の判読画像１中の駐車場領域Ａｐ（指定領域）を小領域にグリッド分割し、分割画像（チップ画像２）を、畳み込みニューラルネットワークからなる学習済み分類モデル３に入力して車両の有無や車両占有率を表すラベルの種別（クラス）毎に分類する。ラベル種別（クラス）ごとに１グリッド当たりの台数が決定されている。検討（１）の手法は、分類結果４のラベル種別（クラス）ごとにチップ画像２の数と１グリッド当たりの台数をかけ算し、駐車場領域Ａｐにある駐車車両の台数を集計する。１グリッドは分割の単位であり、本明細書において「１グリッド」と「一つの分割画像」を同義で用いることがある。

図２は、検討（１）に係るクラス設定を示す説明図である。図３は、検討（１）に係るラベル内容の異なる３種類のクラス設定を比較した説明図である。

例えば図２のクラス設定表５において、クラス設定１では「車両あり」と「車両なし」の２つのクラスが設定されている。クラス設定２では「車両占有率５０％以上」と「車両なし」の２つのクラスが設定されている。クラス設定３では「車両占有率５０％以上」、「車両占有率２５−５０％」、「車両占有率２５％未満」及び「車両なし」の４つのクラスが設定されている。ここで車両占有率とは、チップ画像２の面積に対する、車両と考えられる画像オブジェクトの面積の割合である。

検討（１）の手法では、入力された学習対象画像に対して車両の有無や量を表すラベルを学習する。図３は、判読画像１からウィンドウＷにより切り出したチップ画像１１〜１３に付されるラベルの例を表しており、図３を参照してチップ画像に車両が存在する場合におけるクラス設定ごとのクラスの分け方を説明する。チップ画像１１には全体に車両オブジェクトが存在し、クラス設定１を適用した場合には「車両あり」、クラス設定２の場合には「車両占有率５０％以上」、クラス設定３の場合にも「車両占有率５０％以上」のラベルが付される（分類される）。また、チップ画像１２には約半分に車両オブジェクトが存在し、クラス設定１の場合には「車両あり」、クラス設定２の場合には「学習しない」、クラス設定３の場合には「車両占有率２５−５０％」のラベルが付される。さらに、チップ画像１３には一部に車両オブジェクトが存在し、クラス設定１の場合には「車両あり」、クラス設定２の場合には「学習しない」、クラス設定３の場合には「車両占有率２５％未満」のラベルが付される。「学習しない」は、学習が行われないことを意味する。

次に、図４を参照して検討（１）に係る車両台数推定方法を説明する。図４は、検討（１）に係る車両台数推定方法を示す説明図である。

図４は、学習対象画像１４の各グリッド（チップ画像）を、クラス設定３（図３）に基づいて３つのラベル（クラス１４ａ〜１４ｃ）に分類した例である。クラス１４ａは「車両占有率５０％以上」、クラス１４ｂは「車両占有率２５−５０％」、クラス１４ｃは「車両占有率２５％未満」である。クラス１４ａ〜１４ｃに分類されたグリッド数はそれぞれ、３０個、１５個、５個である。クラス１４ａ〜１４ｃの各々のグリッド内の車両台数の合計が目視判読結果から７００台、２００台、及び３０台であるとき、クラス１４ａの１グリッドの平均値は２３．３台、クラス１４ｂの１グリッドの平均値は１３．３台、クラス１４ｃの１グリッドの平均値は６台となる。

判読時には、各クラス（又はクラスの確率値）の１グリッド当たりの車両台数とグリッド数を積算することにより、学習対象画像１４の駐車場領域Ａｐにおける車両台数Ｐが推定される。車両台数Ｐは、式（１）で表される。Ｎ_１〜Ｎ_３は、クラス（又は確率値区分）（１，…，ｎ）に該当するグリッド（チップ画像）の数である。

Ｐ＝Ｎ_１×（クラス１４ａの１グリッド当たりの台数（２３．３））
＋Ｎ_２×（クラス１４ｂの１グリッド当たりの台数（１３．３））
＋Ｎ_３×（クラス１４ｃの１グリッド当たりの台数（６））・・・・（１）

図５は、検討（１）に係る１グリッド当たりの確率値区分ごとの車両台数を示すテーブルである。図５の１グリッド当たりの車両台数が定義された設定テーブル１５は、「確率値区分［％］」と「１グリッド当たりの台数［台］」のフィールドを有する。「１グリッド当たりの台数［台］」のフィールドには、クラス設定１（図２）の「車両あり」のクラスと、クラス設定２の「車両占有率５０％以上」のクラスの車両台数が格納されている。

「確率値区分」における確率値とは、分類モデルが出力する結果の確信度である。例えば、グリッド分割されたあるチップ画像の分類結果が「車両あり」だったとする。その際、分類結果の出力上では「車両あり：９５％」のような形で出力される。この９５％という値が確率値であり、「分類モデル３が９５％の確信度で車両ありと判断した」ということを示している。即ち図５の設定テーブル１５は、確率値区分毎にどれくらい車両が含まれていたかを評価した結果を表す。

図６は、検討（１）に係る１グリッド当たりのクラスごとの台数を示すテーブルである。図６の１グリッド当たりの車両台数テーブル１６は、「クラス」と「１グリッド当たりの台数［台］」のフィールドを有する。即ち、クラス設定３（図２）における各クラスの１グリッド当たりの台数が格納されている。

次に、検討（１）の手法について検証する。解析対象の衛星画像には、ＡｉｒｂｕｓＤｅｆｅｎｃｅａｎｄＳｐａｃｅ社が提供するＰｌｅａｄｅｓ衛星により撮像された、あるアミューズメントパークの駐車場における２０１２年から２０１４年の衛星画像を使用した。学習シーン数は１４、評価シーン数は５０（学習シーンを含む）である。ここで、学習シーン数とは、学習に用いる画像の数を指し、評価シーン数とは、評価に用いる画像の数を指す。これらの衛星画像は、マルチスペクトル画像とパンクロマチック画像を用いてパンシャープン処理（合成処理）を行い作成された高解像度（５０ｃｍ／ｐｉｘｅｌ）のＲＧＢ画像である。衛星画像の画像サイズは、一例として１３４８×２３９８［ｐｉｘｅｌ］である。

図７は、検討（１）に係る台数推定結果を示す説明図である。図７において、クラス設定１（図３）の「２クラス分類」、クラス設定２の「２クラス分類」、クラス設定３の「４クラス分類」ごとに、衛星画像の「全５０シーンの台数推定精度」が示されている。３つのクラス設定のうち、クラス設定２の「２クラス分類（車両占有率５０％以上、車両なし）」の場合が最も推定精度がよく、指定領域（駐車場領域）の正解値（Ground Truth）に対する相対誤差は２５％（推定精度７５％）である。

しかし、推定精度７５％では実用レベルに達していない。これは、分類クラス（又は確率値区分）ごとに一律で台数を割り当てていることにより、車種の違いによる台数の違いを反映できていないことが原因と考えられる。例えば普通車とバスでは全長が異なるため、仮に複数の普通車及びバスが同一面積の領域を占有していても、それぞれの台数は異なる。検討（１）では、種々のクラス設定を検討し、また１グリッド当たりの台数をクラス又は確率値区分ごとに設定したが、１グリッド当たりの台数の確度に限界がある。そのため、台数の推定精度を上げることが難しかった。

＜２．検討（２）＞
次に、検討（２）について説明する。検討（２）の手法は、チップ画像２の分類を行わずに、各チップ画像の車両台数を回帰モデルで直接推定する手法である。解析に使用した衛星画像は、検討（１）と同様である。

図８は、検討（２）に係る車両台数推定方法の概要を示す説明図である。図８に示す検討（２）の手法は、判読画像１中の指定領域Ａｐを小領域にグリッド分割し、分割画像（チップ画像２）を、畳み込みニューラルネットワークからなる学習済み回帰モデル２３に入力する。そして、回帰モデル２３がチップ画像２ごとに台数推定値（台数推定結果２４）を出力し、チップ画像２ごとの台数推定値を集計することにより、駐車場領域にある駐車車両の台数を推定する。

回帰モデル２３は、学習対象画像に対して車両台数の正解データ（目視判断結果）を学習済みのモデルであり、入力データ（チップ画像２）に対して駐車車両の台数を推定する。検討（２）の手法は、画像に対する駐車車両の台数を直接学習するため、台数推定値に車種の違いを表現（反映）することができる。

図９は、検討（２）に係る画像全体の正解台数（目視判読結果）と画像全体の台数推定結果を示す説明図である。目視判読結果３１の要部画像３１ａ、及び回帰モデル２３による台数推定結果３２の要部画像３２ａにおいて、上側の部分が普通車の駐車領域、右下部分がバスの駐車領域である。要部画像３１ａと要部画像３２ａを比較すると、要部画像３２ａは、台数推定値に車種別の台数の傾向を概ね表現（反映）できている。なお、要部画像３２ａの左端のグリッドにおける台数推定値‘−１’は、確率計算上の表現であり、０台とみなす。

図１０は、検討（２）の台数推定結果と検討（１）の台数推定結果を示す説明図である。
図１０に示すように、検討（２）の「回帰」の相対誤差は２３％（推定精度７７％）であり、検討（１）の「２クラス分類」の相対誤差２５％を僅かに上回った。

図１１は、検討（２）に係る車両の存在しないグリッドにおける台数推定結果を示す説明図である。図１１Ａは正解台数（目視判読結果）の例であり、図１１Ｂは検討（２）の台数推定結果の例である。図１１Ｂの台数推定値‘−０’は、計算上の確率値が０未満であることを示し、実質的に０台である。図１１Ｂに示すように、図１１Ａの車両の存在しないグリッドに対する台数推定値が０台ではない。さらに、検討（２）の手法では、駐車されている車両の密度が高い場合の推定誤差と、車両の密度が低い場合の推定誤差（推定精度）との差が大きい。

図１２は、検討（２）に係る車両密度の低いグリッドにおける台数推定結果を示す説明図である。図１２Ａは正解台数（目視判読結果）の例であり、図１２Ｂは台数推定結果の例である。図１２Ａには、車両が０台であるグリッド（８個）が多く見られる。しかし、図１２Ｂでは、車両の存在しないグリッドに対する台数推定値が０ではないグリッド（５個）がある。これは、一つの理由として、駐車線（例えば白線）と車両（太陽光の反射光）の区別がしっかりできていないことが考えられる。

図１３は、検討（２）に係る車両密度の高いグリッドにおける台数推定結果を示す説明図である。図１３Ａは正解台数の例であり、図１３Ｂは台数推定結果の例である。図１３Ａは、図１２Ａと比較して車両が広範囲のグリッドに写っているとともに、グリッド内の台数も多い。図１３Ｂの台数推定結果は、実際に駐車している車両を概ね反映した結果となっており、図１２Ｂと比較して推定誤差が小さい。このため、車両の密度が高い場合の推定誤差と、車両の密度が低い場合の推定誤差との差が大きくなる。なお、図１３Ｂにおいても、車両の存在しないグリッド（２個）に対する台数推定値が０ではないグリッド（２個）が散見されるが、この数字‘２個’も駐車場領域全体（指定領域全体）では無視できない数となる。よって、車両の存在しないグリッドに対する台数推定値が０ではないグリッドが存在する問題を、改善することが望ましい。

このように、検討（２）の手法では、画像に対する車両台数を直接学習できるため、検討（１）の手法では難しかった台数推定値に車種の違いを表現（反映）することができる。しかし、検討（２）の手法は、誤って車両の存在しないグリッドに車両が数台存在すると推定してしまう問題がある。さらに検討（２）の手法は、台数推定値に駐車車両の密度を表現（反映）できない、即ち、駐車車両の密度が低いグリッドと駐車車両の密度が高いグリッドとの間で推定誤差の違いが大きい。

そこで、本発明者らは、検討（２）の手法（回帰モデルを使用した台数推定方法）に検討（１）の手法（分類モデル）を組み合わせ、検討（２）の手法の問題点を軽減する手法を発明した。以下、本発明について図面を参照しながら説明する。

＜３．一実施形態＞
［車両台数推定方法の概要］
図１４は、本発明の一実施形態に係る車両台数推定方法の概要を示す説明図である。本実施形態では、目的物として衛星画像の車両を例にとり説明する。車両台数推定方法は、目的物個数推定方法の一実施形態である。

まず、衛星画像５１（解析対象画像）中の駐車場領域Ａｐ（指定領域の例）を小領域にグリッド分割してチップ画像５２を作成し、チップ画像５２中に駐車車両が存在するか否かを、例えば畳み込みニューラルネットワーク（ＣＮＮ）からなる分類モデル１３５（図１６参照）を用いて分類する。次に、分類結果５３の駐車車両ありと判断されたチップ画像５２に対して、チップ画像５２中の駐車車両の数を、ＣＮＮを用いた回帰モデル１３６（図１６参照）により推定を行う。最後に、各チップ画像５２の推定台数（台数推定結果５４）を合計し、衛星画像５１中の駐車場領域Ａｐの駐車車両の台数を得る。

このように、本実施形態に係る車両台数推定方法は、初めにチップ画像（グリッド）の分類を行い、分類結果を元に「車両あり」のグリッドのみ回帰による台数推定を行う。

図１５は、一実施形態に係る分類結果及び回帰による台数推定結果を表現した衛星画像を示す説明図である。分類モデル１３５は、衛星画像５１からグリッド分割された各チップ画像５２を取り込み、各チップ画像５２について「車両あり」又は「車両なし」を分類する。図１５左側の分類結果５３は、検討（１）のクラス設定２（図２）に基づく２クラス分類結果を表しており、白いグリッドは「車両あり」、黒いグリッドは「車両なし」である。図１５右側の台数推定結果５４に示すように、分類結果５３の黒いグリッド（車両なし）に対して台数推定が行われないため、台数推定値は‘０’と表記されている。

［車両台数推定装置の内部構成］
図１６は、一実施形態に係る車両台数推定装置の内部構成例を示すブロック図である。図１６に示すように車両台数推定装置１００は、学習用データベース１１０（図中「学習用ＤＢ」と表記）、前処理部１２０、学習部１３０、解析処理部１４０、及び後処理部１５０を備える。

学習用データベース１１０は、衛星画像等の解析対象画像を学習対象画像として保存するデータベースである。また学習用データベース１１０には、解析対象画像の分割単位であるグリッド内の駐車車両の台数（正解値）が、グリッド位置と対応づけて保存される。学習用データベース１１０は、大容量の不揮発性ストレージ２０７（後述する図２４）に構築される。

前処理部１２０は、色調補正部１２１、画像分割部１２２、及び学習チップ画像セット生成部１２３を備える。

色調補正部１２１は、学習対象画像及び解析対象画像の色調を補正する処理を行う。衛星画像からの情報抽出には、撮像場所や季節、時間の違いに起因する衛星画像の色の変化に左右されない安定した性能が求められる。即ち、車両台数推定装置１００において、推定精度を上げるため、色合いを正規化した衛星画像での学習及び判読を行うことが重要である。正規化されたデータを利用して学習及び判読することにより、衛星画像のシーン間の色の違い等のノイズを小さくすることができる。それにより、後述するネットワークモデル（識別器）が様々な時期の画像に対して安定した判読性能を持つことが期待できる。

そこで、色調補正部１２１において、複数の衛星画像（学習対象画像、解析対象画像）の統計量を用いて正規化を行う。この正規化では、補正対象画像の統計量（平均値、標準偏差）が基本色（Ｒ，Ｇ，Ｂ）のバンド（周波数帯域）毎に設定した目標平均値、目標標準偏差と同じになるように変換を行う。後述する学習フェーズと解析フェーズでは、同じ統計量を用いる。具体的な正規化の計算方法の一例を、下記に示す。

まず衛星画像のＲ，Ｇ，Ｂのバンド毎に全画素の平均値Ａ、標準偏差Ｓを算出する。次に、式（２）により、各バンドについて、画像座標（ｘ，ｙ）の画素における輝度値Ｉ_ｘｙから正規化後の輝度値Ｉ’_ｘｙを求める。Ａ_ａｉｍは目標平均値、Ｓ_ａｉｍは目標標準偏差である。一例として画素の階調が２５６であるとき、各バンド（Ｒ，Ｇ，Ｂ）の目標平均値Ａ_ａｉｍは１２８、目標標準偏差Ｓ_ａｉｍは８０に設定する。

画像分割部１２２は、色調補正部１２１により色調補正済みの解析対象画像をグリッド分割して複数のチップ画像（小画像）を生成し、各チップ画像を学習チップ画像セット生成部１２３、解析処理部１４０又は後処理部１５０へ順次出力する。画像分割部１２２は、正解値のグリッド位置を基準に、解析対象画像の分割を行う。なお、（ユーザーの指示などにより）小チップ画像を更に分割する場合など正解値の分割が必要であれば、正解値の分割も実施する。

学習チップ画像セット生成部１２３は、画像分割部１２２で分割されたチップ画像と、入力された正解値（教師データ）を組み合わせた学習用データセットである学習チップ画像セットを生成し、学習部１３０へ順次出力する。本実施形態では、分類用と回帰用で２種類の学習チップ画像セットが生成される。学習チップ画像セット生成部１２３は、分類用学習チップ画像セット１２５を、学習部１３０の分類モデル生成部１３１へ出力し、回帰用学習チップ画像セット１２６を、学習部１３０の回帰モデル生成部１３２へ出力する。

図１６では、学習チップ画像セット生成部１２３を設けて学習チップ画像セットを生成する構成としているが、この例に限定されない。基本的に正解値は、地理情報システム（ＧＩＳ（Geographical Information System））データとして広域にわたって整備される。即ち位置情報（グリッド情報）と対応づけられているので、解析対象画像とともに分割することができる。画像分割部１２２は、解析対象画像とともに正解値を分割し、分割後の画像（チップ画像）と分割後の正解値の組を、学習チップ画像セットとしてもよい。なお、仮に正解値が既に分割されていたとしても、画像分割部１２２で解析対象画像を分割する際には正解値と対応づけられた位置情報が必要となる。

学習部１３０は、入力データに対する演算結果を出力する複数のノードを多層に接続した構成を有し、教師あり学習により、抽象化されたチップ画像の特徴を学習して分類モデル１３５及び回帰モデル１３６を生成する。図１６に示すように、学習部１３０は、分類モデル生成部１３１と、回帰モデル生成部１３２を備える。

分類モデル生成部１３１は、分類用学習チップ画像セット１２５に含まれる学習対象画像と、その学習対象画像に対する駐車車両の有無の正解値とを学習し、学習内容が反映された分類モデル１３５を生成する。即ち、分類モデル１３５の種々のパラメーターを決定する。

回帰モデル生成部１３２は、回帰用学習チップ画像セット１２６に含まれる学習対象画像と、その学習対象画像に含まれる駐車車両の台数の正解値とを学習し、学習内容を反映した回帰モデル１３６を生成する。即ち、回帰モデル１３６の種々のパラメーターを決定する。

上述の分類モデル１３５及び回帰モデル１３６は、一例として畳み込みニューラルネットワーク（識別器）により構成される。分類モデル１３５及び回帰モデル１３６のネットワーク構成の主要な構成は、同一である。本実施形態のネットワーク構成は、入力層−Ｃ−Ｐ−Ｃ−Ｐ−Ｃ−Ｃ−Ｃ−ＦＣ−Ｄ−出力層からなる層構成を持つ。ここで、Ｃは、同じ重みフィルタを入力データ（チップ画像）全体に適用して畳み込み処理し、特徴マップ（特徴量）を抽出する畳み込み層である。Ｐは、畳み込み層（Ｃ）から出力された特徴マップを縮小するプーリング層である。ＦＣは、重み付き結合を計算し、活性化関数によりユニットの値を求める全結合層である。そして、Ｄは、過学習を防止するため中間層のユニットの値を一定の割合で０にし、結合を欠落させるドロップアウト層である。

本実施形態の分類モデル１３５では、誤差関数に交差エントロピーを用い、出力層の活性化関数にはソフトマックス関数を用いている。また回帰モデル１３６では、誤差関数に最小二乗誤差を用い、出力層の活性化関数に線形関数を用いている。この誤差関数と出力層の活性化関数については一例であり、この例に限定されない。

上記ネットワーク構成は一例であって、この例に限定されるものではなく、他の文献等でよく用いられているものでもよい。また、分類モデル１３５及び回帰モデル１３６は、他の深層学習の手法、あるいは他の機械学習の手法を利用して構築してもよい。

解析処理部１４０は、車両判定部１４１と、台数推定部１４２を備える。車両判定部１４１（目的物判定部の一例）は、分類モデル１３５を用いて、各チップ画像に駐車車両が存在するかどうかを判定し、判定結果（車両あり）を台数推定部１４２へ出力する。また、判定結果（車両なし）として各チップ画像の台数推定値（０台）を後処理部１５０へ出力する。

台数推定部１４２（個数推定部の一例）は、回帰モデル１３６を用いて、車両判定部１４１により駐車車両が存在すると判定されたチップ画像に含まれる駐車車両の台数を推定し、その台数推定値を後処理部１５０へ出力する。また、台数推定部１４２は、台数推定値を、チップ画像を識別するための情報（例えば位置情報）とともに学習用データベース１１０へ記憶する。これにより、台数推定値が、今後の学習部１３０における学習に利用される。

後処理部１５０は、車両判定部１４１で判定された、車両が存在しないと判定された各チップ画像の台数推定値（０台）と、台数推定部１４２で推定された、車両が存在すると判定された各チップ画像に対する台数推定値を集計して出力する処理を行う。この後処理部１５０は、前処理部１２０から解析対象画像及びチップ画像を取得し、ユーザーニーズに合わせて出力するレポートの形態（表示形態や項目等）をカスタマイズする。

［学習・モデル生成フェーズの処理］
次に、車両台数推定装置１００の学習・モデル生成フェーズにおける処理を説明する。図１７は、一実施形態に係る学習・モデル生成フェーズにおける処理例を示すフローチャートである。

まず、学習対象画像（衛星画像）が学習用データベース１１０から前処理部１２０に取り込まれると、色調補正部１２１は、学習対象画像に対して色調補正処理を行い（Ｓ１）、色調補正済み学習対象画像を画像分割部１２２に出力する。次に、画像分割部１２２は、色調補正済み学習対象画像の駐車場領域Ａｐに対してグリッド分割処理を行い（Ｓ２）、学習チップ画像セット生成部１２３にチップ画像を出力する。例えば１グリッド（１チップ画像）が６０×６０ピクセル（例えば約３０ｍ四方）となるように分割が行われる。

次に、学習チップ画像セット生成部１２３は、入力されたチップ画像と組となる分類用の正解値から分類用学習チップ画像セット１２５を生成する。また、学習チップ画像セット生成部１２３は、入力されたチップ画像と組となる回帰用の正解値から回帰用学習チップ画像セット１２６を生成する（Ｓ３）。分類学習では、各チップ画像に対して、人間の目視による駐車車両あり／なし（正解値）のラベル付けが行われる。また、回帰学習では、各チップ画像に対して、人間が目視により駐車車両の台数をカウントし、そのカウント数が正解値として登録される。なお、チップ画像と正解値の組を、画像分割部１２２による画像分割処理時に作成してもよい。

次に、学習部１３０の分類モデル生成部１３１は、分類用学習チップ画像セット１２５を用いて学習を行い、分類モデル１３５を生成する（Ｓ４）。また、回帰モデル生成部１３２は、回帰用学習チップ画像セット１２６を用いて学習を行い、回帰モデル１３６を生成する（Ｓ５）。

このように、分類モデル１３５は、学習対象画像に対して「離散値（ラベル）」を正解データとして学習する。離散値は、「車両あり」及び「車両なし」の２クラスである。また、回帰モデル１３６は、学習対象画像に対して「連続値（車両台数）」を正解データとして学習する。回帰モデル１３６の学習対象画像は、駐車車両が１台以上存在する画像のみである。学習対象画像のパターンを「駐車車両あり」に限定することにより、車両密度に関する特徴を学習しやすくする。

［解析フェーズの処理］
次に、車両台数推定装置１００の解析フェーズにおける処理を説明する。図１８は、一実施形態に係る解析フェーズにおける処理例を示すフローチャートである。

まず、解析対象画像（衛星画像）が前処理部１２０に取り込まれると、色調補正部１２１は、解析対象画像に対して色調補正処理を行い（Ｓ１１）、色調補正済み解析対象画像を画像分割部１２２に出力する。次に、画像分割部１２２は、色調補正済み解析対象画像の指定領域（駐車場領域）に対するグリッド分割処理を行い（Ｓ１２）、順次チップ画像を生成する。

次に、解析処理部１４０の車両判定部１４１は、分類モデル１３５を利用して各チップ画像に対して車両の有無を分類し（Ｓ１３）、その判定結果（車両あり）を台数推定部１４２に順次出力する。

次に、台数推定部１４２は、回帰モデル１３６を用いて、車両ありと判定されたチップ画像に対して台数推定を行い、チップ画像ごとに台数推定値を後処理部１５０へ順次出力する（Ｓ１４）。また、車両判定部１４１は、車両なしと判定したチップ画像に対する台数推定値を０として、後処理部１５０へ出力する（Ｓ１５）。

最後に、後処理部１５０は、ステップＳ１５及びＳ１６の処理が終了後、後処理として、例えば車両ありと判定されたチップ画像に対する台数推定値を集計する。そして、後処理部１５０は、解析対象画像の指定領域の駐車車両についてのレポートを出力する処理を行う（Ｓ１６）。

［台数推定結果の検証］
以下、本発明の一実施形態に係る台数推定結果について図１９〜図２３を参照しながら検証する。解析対象画像には、検討（１）、検討（２）で使用したものと同じ衛星画像を使用した。学習シーン数及び評価シーン数も同じである。

図１９は、一実施形態に係るある１シーンの駐車場領域における台数推定結果を示す説明図である。図１９Ａは正解台数の例であり、図１９Ｂは台数推定結果の例である。図１９Ａの白塗のグリッドは‘駐車車両あり’、黒塗のグリッドは‘駐車車両なし’と分類されたチップ画像であり、図１９Ｂに示した台数推定結果は、各グリッドがチップ画像に相当する。

図１９Ｂの駐車車両あり／なしの分類結果を見ると、背景色を黒色とした５個のグリッド‘０’のうち４個のグリッドは実際に駐車車両が０台であり、駐車車両の有無が精度よく分類されていることがわかる。また各グリッドに記載した推定台数を図１９Ａの正解データと比較すると、バスや駐車場境界付近といった性質の異なるチップ画像に対して台数の傾向を表現できていることがわかる。

図２０は、一実施形態に係る台数推定結果、並びに、検討（１）及び検討（２）の台数推定結果を示す説明図である。本実施形態（２クラス分類＋回帰）に係る正解データに対する相対誤差（全５０シーンを平均した誤差平均）は、１６％（推定精度８４％）であった。これに対し、検討（１）の分類（２クラス分類）のみの場合では同２５％、検討（２）の回帰のみの場合では同２３％であった。

今回使用した５０ｃｍ分解能の衛星画像では、駐車車両のような小サイズの地物（オブジェクト）は輪郭が潰れて写っているケースが多く、人間が目視で行ったとしても正確に台数を数えることは難しい。したがって、本実施形態における推定精度約８４％の台数推定結果は、妥当な数値であると言える。

図２１は、一実施形態に係る推定値と実測値（目視判読結果）との関係例を示すグラフである。図２１は、各シーンの推定台数と正解データの関係を示し、横軸が正解データである実測値［台］、縦軸が推定値［台］を表す。各プロット点が１対１の回帰直線上にあるほど高い精度で推定できていることを示している。図２１より、推定値は正解データと比較して全体的に低く見積もられているものの、決定係数Ｒ^２は０．９３３と、高い相関を示している。

図２２は、検討（２）に係る推定値と実測値との関係例を示すグラフであり、横軸が正解データである実測値［台］、縦軸が推定値［台］を表す。推定値は正解データと比較して低く見積もられており、決定係数Ｒ^２は０．９１７と、検討（１）の場合よりは高いものの、低い相関を示している。

図２３は、検討（１）に係る推定値と実測値との関係例を示すグラフであり、横軸が正解データである実測値［台］、縦軸が推定値［台］を表す。推定値は正解データと比較して低く見積もられており、決定係数Ｒ^２は０．８９０と、低い相関である。

上述したように、本実施形態に係る車両台数推定装置１００によれば、衛星画像等の解析対象画像から目的物である駐車車両の台数を自動的に精度よく推定することができる。解析対象画像１枚の駐車場領域（およそ０．３ｋｍ^２）当たりの作業時間は、人間の目視判読では約３時間である。一方、ＣＮＮ（機械学習）を用いた本実施形態の手法では、判読に要する時間は約１分であった。コンピューターの処理能力にもよるが、本実施形態は、目視による判読と比べて大幅な作業時間の短縮（約１８０倍の高速化）が実現可能となる。

また、本実施形態では、車両の存在しないグリッドは車両判定部１４１による分類で除かれるとともに、「車両なし」のグリッドは推定台数を０台と処理される。これにより、検討（２）で説明した回帰の問題（車両の存在しないグリッドにも数台車両があると推定される）が軽減されたと考えられる。

また、学習部１３０（回帰モデル生成部１３２）は、回帰用学習チップ画像セット１２６を用いて「車両あり」のチップ画像のみ台数の学習を行うため、チップ画像の車両密度に関する特徴を学習しやすい。これにより、チップ画像の車両密度に関する特徴に対する学習が強化され、それ故、検討（２）で説明した回帰の他の問題（駐車車両の密度の高いグリッドと低いグリッドとの間で推定精度の差が大きい）が軽減されたと考えられる。

［ハードウェア構成例］
図２４は、車両台数推定装置１００が備えるコンピューターのハードウェア構成を示すブロック図である。車両台数推定装置１００の機能、使用目的に合わせてコンピューターの各部は取捨選択されてもよい。

コンピューター２００は、バス２０４にそれぞれ接続されたＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３を備える。さらに、コンピューター２００は、表示部２０５、操作部２０６、不揮発性ストレージ２０７、ネットワークインターフェース２０８を備える。

ＣＰＵ２０１は、本実施形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ２０２から読み出して実行する。なお、コンピューター２００は、ＣＰＵ２０１の代わりに、ＭＰＵ（Micro-Processing Unit）等の処理装置を備えるようにしてもよい。ＲＡＭ２０３には、演算処理の途中に発生した変数やパラメーター等が一時的に書き込まれる。ＣＰＵ２０１が、ＲＯＭ２０２からプログラムを読み出して実行することにより、図１７及び図１８に示す車両台数推定装置１００の動作が実現される。

なお、ＣＰＵに代えて、ＭＰＵ（Micro-processing unit）や、画像処理を高速に実行するＧＰＵ（Graphics Processing Unit）等を用いてもよい。例えばＧＰＵの機能を画像処理以外の用途に転用する技術であるＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）を利用して、本実施形態に係る各機能を実現してもよい。

表示部２０５は、例えば、液晶ディスプレイモニタであり、コンピューター２００で行われる処理の結果等を表示する。操作部２０６には、例えば、キーボード、マウス又はタッチパネル等が用いられ、ユーザーが所定の操作入力、指示を行うことが可能である。例えばユーザーは操作部２０６を操作し、学習対象画像及び解析対象画像に対して指定領域を指定することができる。

不揮発性ストレージ２０７としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等が用いられる。この不揮発性ストレージ２０７には、ＯＳ（Operating System）、各種のパラメーターの他に、コンピューター２００を機能させるためのプログラムが記録されている。例えば不揮発性ストレージ２０７には、学習対象画像及び正解値、解析対象画像等が記憶されている。分類モデル１３５及び回帰モデル１３６のネットワーク構成に関する各種パラメーターが記憶されていてもよい。

ネットワークインターフェース２０８には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＬＡＮ等のネットワークを介して各装置間で各種のデータを送受信することが可能である。

＜４．その他＞
上述した一実施形態では、目的物として駐車車両の台数を推定する例を示したが、この例に限定されない。例えば目的物として、ある海域に出航している船舶、道路で渋滞中の車両、設置されたキャンプテント、ある地域の野生生物、キャベツ等の農作物（収穫量）など、画像中の地物が挙げられる。

また、上述した一実施形態では、解析対象画像として衛星画像を例示したが、本発明の解析対象は衛星画像に限定されず、航空写真や一般的なカメラで撮影された画像など、種々の画像を解析対象とすることができる。

また、上述した一実施形態にかかる車両台数推定装置１００の動作が、ソフトウェアによって行われる例を示したが、その一部がハードウェアによって行われてもよい。例えば、前処理部１２０の一部又は全部がハードウェアによって実現されてもよい。

さらに、本発明は上述した実施形態例に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、その他種々の応用例、変形例を取り得ることは勿論である。

例えば、上述した実施形態例は本発明を分かりやすく説明するために装置及びシステムの構成を詳細且つ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態例の構成の一部を他の実施形態例の構成に置き換えることは可能である。また、ある実施形態例の構成に他の実施形態例の構成を加えることも可能である。また、各実施形態例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。

１００…車両台数推定装置、１１０…学習用データベース、１２０…前処理部、１２１…色調補正部、１２２…画像分割部、１２３…学習チップ画像セット生成部、１２５…分類用学習チップ画像セット、１２６…回帰用学習チップ画像セット、１３０…学習部、１３１…分類モデル生成部、１３２…回帰モデル生成部、１３５…分類モデル、１３６…回帰モデル、１４０…解析処理部、１４１…車両判定部、１４２…台数推定部、１５０…後処理部

Claims

学習対象画像の特徴と当該学習対象画像に含まれる目的物の有無の正解値を学習した分類モデルを用いて、解析対象画像を構成する複数の小画像の各々に対し各小画像に前記目的物が存在するかどうかを判定する目的物判定部と、
学習対象画像の特徴と当該学習対象画像に含まれる前記目的物の個数の正解値を学習した回帰モデルを用いて、前記目的物判定部により前記目的物が存在すると判定された小画像に含まれる前記目的物の個数を推定する個数推定部と、を備える
目的物個数推定装置。
前記個数推定部により推定された、前記目的物が存在すると判定された各小画像に含まれる前記目的物の個数を集計する後処理部、を更に備える
請求項１に記載の目的物個数推定装置。
前記解析対象画像の指定領域を分割して複数の前記小画像を生成する画像分割部、を更に備える
請求項１又は２のいずれかに記載の目的物個数推定装置。
前記解析対象画像の色調を補正する色調補正部、を更に備える
請求項１乃至３のいずれかに記載の目的物個数推定装置。
入力データに対する演算結果を出力する複数のノードを多層に接続した構成を有し、教師あり学習により、抽象化された前記小画像の特徴を学習して前記分類モデル及び前記回帰モデルを生成する学習部、を更に備える
請求項１乃至４のいずれかに記載の目的物個数推定装置。
前記解析対象画像は衛星画像であり、前記目的物は前記衛星画像に写っている地物である
請求項１乃至５のいずれかに記載の目的物個数推定装置。
学習対象画像の特徴と当該学習対象画像に含まれる目的物の有無の正解値を学習した分類モデルを用いて、解析対象画像を構成する複数の小画像の各々に対し各小画像に前記目的物が存在するかどうかを判定することと、
学習対象画像の特徴と当該学習対象画像に含まれる前記目的物の個数の正解値を学習した回帰モデルを用いて、前記目的物が存在すると判定された小画像に含まれる前記目的物の個数を推定すること、を含む
目的物個数推定方法。
学習対象画像の特徴と当該学習対象画像に含まれる目的物の有無の正解値を学習した分類モデルを用いて、解析対象画像を構成する複数の小画像の各々に対し各小画像に前記目的物が存在するかどうかを判定する手順と、
学習対象画像の特徴と当該学習対象画像に含まれる前記目的物の個数の正解値を学習した回帰モデルを用いて、前記目的物が存在すると判定された小画像に含まれる前記目的物の個数を推定する手順を
コンピューターに実行させるためのプログラム。