JP7383247B2 - 情報処理システム、情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7383247B2
JP7383247B2 JP2019215757A JP2019215757A JP7383247B2 JP 7383247 B2 JP7383247 B2 JP 7383247B2 JP 2019215757 A JP2019215757 A JP 2019215757A JP 2019215757 A JP2019215757 A JP 2019215757A JP 7383247 B2 JP7383247 B2 JP 7383247B2
Authority
JP
Japan
Prior art keywords
deposit
type
mahalanobis distance
information processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019215757A
Other languages
English (en)
Other versions
JP2021085786A (ja
Inventor
聖太 星野
淳 神田
康弘 田中
一孝 舘山
康浩 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Aerospace Exploration Agency JAXA
Original Assignee
Japan Aerospace Exploration Agency JAXA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Aerospace Exploration Agency JAXA filed Critical Japan Aerospace Exploration Agency JAXA
Priority to JP2019215757A priority Critical patent/JP7383247B2/ja
Priority to PCT/JP2020/043830 priority patent/WO2021106935A1/ja
Publication of JP2021085786A publication Critical patent/JP2021085786A/ja
Application granted granted Critical
Publication of JP7383247B2 publication Critical patent/JP7383247B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/02—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/49—Scattering, i.e. diffuse reflection within a body or fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology

Description

本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
道路面や滑走路面には、例えば、雪や氷、水、泥といった物体が堆積又は付着する。これら堆積物の状態量をモニタリングすることは、安全管理上重要である。これに関連して、道路や滑走路の管理を目的として、路面上の状態を計測する技術が知られている（例えば、特許文献１－５参照）。
特開２００４－１９１２７６号公報 特開２０１７－１１０９８３号公報 特開２００６－０４６９３６号公報 特開２０１６－１７００６９号公報 特開２０１９－０２９０５６号公報
しかしながら、従来の技術では、雪、氷、水といったような堆積物の種類を精度よく判定することができていなかった。
本発明は、このような事情を考慮してなされたものであり、堆積物の種類を精度よく判定することができる情報処理システム、情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
本発明の一態様は、堆積物に対して電磁波を照射する照射部と、前記照射部によって前記堆積物に照射された電磁波の散乱波又は透過波を検出する検出部と、前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の種類を判定する判定部と、を備える情報処理システムである。
本発明の一態様によれば、堆積物の種類を精度よく判定することができる。
第１実施形態に係る情報処理システムの構成の一例を示す図である。 第１実施形態に係るセンサの一例を示す図である。 第１実施形態に係るセンサの他の例を示す図である。 第１実施形態に係るセンサの他の例を示す図である。 第１実施形態に係る情報処理装置の構成の一例を示す図である。 第１実施形態に係る情報処理装置の一連の処理の流れの一例を示すフローチャート（その１）である。 第１実施形態に係る情報処理装置の一連の処理の流れの一例を示すフローチャート（その２）である。 堆積物の種類に応じた散乱光の面積の違いの一例を示す図である。 堆積物の種類に応じた散乱光の面積の頻度分布を示す図である。 可視域における二次元の散乱光の分布を示す図である。 可視域における二次元の散乱光の分布を示す図である。 可視域における二次元の散乱光の分布を示す図である。 画像のヒストグラムを示す図である。 画像のヒストグラムを示す図である。 画像のヒストグラムを示す図である。 水及び氷の画像ヒストグラムにおける平均と尖度との関係とその関係から導出された線形判別関数を示す図である。 堆積物の厚さを判定する方法を説明するための図である。 第２実施形態に係る情報処理システムの構成の一例を示す図である。 第２実施形態に係る情報処理装置の構成の一例を示す図である。 分類器ＭＤＬを模式的に示す図である。 第２実施形態に係る学習装置の構成の一例を示す図である。 第２実施形態に係る学習装置の一連の処理の流れの一例を示すフローチャートである。
以下、図面を参照し、本発明の情報処理システム、情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。
＜第１実施形態＞
［情報処理システムの構成］
図１は、第１実施形態に係る情報処理システム１の構成の一例を示す図である。図示のように、情報処理システム１は、センサ１０と、情報処理装置１００とを備える。これらの装置は、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などである。複数のセンサ１０－１～１０－ｎのうちいずれかを区別しない場合、これらセンサ１０－１～１０－ｎをまとめてセンサ１０と称して説明する。
センサ１０は、例えば、滑走路や道路、鉄道の線路付近などに埋設される。センサは、埋設場所に堆積した物体、すなわち堆積物にレーザ光を照射し、その照射したレーザ光の散乱光や透過光を検出する。堆積物は、例えば、雪や氷、水、泥、土、火山灰、砂などである。
図２は、第１実施形態に係るセンサ１０の一例を示す図である。図示のように、センサ１０は、照射部１２と、検出部１４とを備える。照射部１２及び検出部１４は、例えば、樹脂やガラスといった上記レーザ光に対し透過性を有する透過部材１６に覆われている。
照射部１２は、透過部材１６を介して外部にレーザ光を照射する。例えば、透過部材１６上に雪が堆積している場合、照射部１２から照射された複数のレーザ光は、雪によって反射される。この際、レーザ光の一部は、光散乱現象によって散乱する。
検出部１４は、例えば、透過部材１６上に堆積した雪によって散乱したレーザ光、つまり散乱光を検出する。検出部１４は、散乱光を検出すると、その検出した散乱光の検出信号を、ネットワークＮＷを介して情報処理装置１００に送信する。
また、センサ１０は、必ずしも雪などが堆積し得る場所に埋設されなくてもよい。図３は、第１実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、センサ１０は堆積物の上方に設定されてよい。この場合、検出部１４は、堆積物の上方から堆積物に向けてレーザ光を照射する。検出部１４は、堆積物の上方へと散乱した散乱光を検出する。なお、ここで、検出部１４には、照射部１２から照射されたレーザ光の波長を含む電磁波を電気信号に変換する公知の固体撮像素子が用いられる。例えば、電荷結合素子（ＣＣＤ）、相補型ＭＯＳ（ＣＭＯＳ）を用いることができるが、ＣＣＤ、ＣＭＯＳ等による二次元検出のみならず、フォトダイオードをライン状に配置したセンサアレイや、ラインセンサ等による一次元検出であってもよい。
また、センサ１０は堆積物に照射したレーザ光の散乱光を検出する代わりに、透過光を検出してもよい。
図４は、第１実施形態に係るセンサ１０の他の例を示す図である。図示のように、例えば、検出部１４は、透過部材１６を介して、照射部１２と対向した位置に設けられてよい。照射部１２が透過部材１６の下側から透過部材１６上に堆積した雪に向けてレーザ光を照射した場合、そのレーザ光の一部は雪を透過し得る。この場合、照射部１２と対向した位置に設けられた検出部１４は、照射部１２から照射されたレーザ光の透過光を検出する。以下の説明では、一例としてセンサ１０が主に散乱光を検出するものとして説明する。
［制御装置の構成］
図５は、第１実施形態に係る情報処理装置１００の構成の一例を示す図である。図示のように、情報処理装置１００は、例えば、通信部１０２と、表示部１０４と、制御部１１０と、記憶部１３０とを備える。
通信部１０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して外部装置と無線通信する。外部装置には、例えば、センサ１０やその他の装置の装置が含まれてよい。また、外部装置には、センサ１０が埋設された滑走路を利用する航空機や、センサ１０が埋設された道路を利用する車両、センサ１０が埋設された線路を利用する鉄道車両などが含まれてもよい。
また、外部装置には、センサ１０が埋設された地点、すなわち堆積物が存在する地点の周辺環境を観測する観測装置や、気象モデルに基づく気象データを提供する提供装置が含まれてもよい。観測装置は、例えば、気温や湿度、風速といった種々の気象を観測してもよいし、センサ１０が埋設された場所の温度（例えば滑走路や道路の路面温度）を観測してもよい。この場合、通信部１０２は、観測装置から各種観測情報を取得してよい。
表示部１０４は、各種の情報を表示するユーザインターフェースである。例えば、表示部１０４は、制御部１１０によって生成された画像を表示する。また、表示部１０４は、空港局員や道路局員、鉄道局員といったセンサ１０が埋設された管轄地に関連するユーザからの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示してもよい。例えば、表示部１０４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどである。
制御部１１０は、例えば、取得部１１２と、画像生成部１１４と、算出部１１６と、判定部１１８と、出力制御部１２０とを備える。
制御部１１０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムなどを格納する。
［情報処理装置の処理フロー］
以下、フローチャートに即して情報処理装置１００の一連の処理の流れを説明する。図６及び図７は、第１実施形態に係る情報処理装置１００の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。
まず、取得部１１２は、通信部１０２を介して、センサ１０から散乱光の検出信号を取得する（ステップＳ１００）。
次に、画像生成部１１４は、取得部１１２によって取得された散乱光の検出信号に基づいて、散乱光の強度を、輝度や彩度、色相といった画素値に置き換えた一次元または二次元の画像（以下、光散乱画像と称する）を生成する（ステップＳ１０２）。つまり、画像生成部１１４は、散乱光の強度分布を画像として取得する。
一般的に、雪における光の反射強度は、氷や水に比べて非常に高いということが知られている。これは、雪面に入射した光が雪粒子間や表面において反射したり、散乱したりするためである。一方、水や氷は雪に比べて密度が非常に高く、ほとんど散乱しない（透逸する）ため、反射強度は非常に低い。また、雪に入射した光の散乱は上方或いは下方だけでなく、雪面等に対して水平方向へも広がる。従って、本実施形態では、一次元または二次元的な散乱光の広がりを画像として捉えることで、雪、氷、水といった種類を判定する。
次に、算出部１１６は、画像生成部１１４によって生成された光散乱画像から、散乱光の特徴量と、マハラノビス距離とを算出する（ステップＳ１０４）。特徴量は、例えば、散乱光画像上において散乱光が分布する面積や、散乱光が分布する画素値の総和などである。以下、一例として特徴量が面積であるものとして説明する。マハラノビス距離とは、統計学的な距離を表すものであり、統計や分類などの多変最解析などにおいて定量的に評価することができる尺度である。
図８は、堆積物の種類に応じた散乱光の面積の違いの一例を示す図である。図示のように、堆積物が雪の場合、雪が厚くなるほど散乱光の面積（散乱光の分布の広がり）が大きくなるのに対して、堆積物が氷や水の場合、堆積物が雪の場合に比べて散乱光の面積が小さい。このように、各堆積物の状態（厚さ）に応じて散乱光の広がりは大きな違いを示すことがわかる。
図９は、堆積物の種類に応じた散乱光の面積の頻度分布を示す図である。図示のように、雪の頻度分布と、氷又は水の頻度分布との間には、明確に境界（判別境界値）がある。つまり、散乱光の面積というデータ集合は、分散が大きく異なる傾向にある。分散が大きく異なるデータ集合に対しては、マハラノビス距離を用いてデータを判別することが有効である。
マハラノビス距離は、数式（１）及び（２）によって表すことができる。
Figure 0007383247000001
Figure 0007383247000002
Ｘは、未知の散乱光画像における散乱光の面積である。「未知の散乱光画像」とは、堆積物の種類が判明していない状態で得られた散乱光画像である。つまり、Ｘは、数式（１）及び（２）における説明変数（入力）であることを表している。
ＤＳは、堆積物が雪である場合のマハラノビス距離（以下、第１マハラノビス距離と称する）である。第１マハラノビス距離ＤＳは、数式（１）における目的変数（出力）である。μＳは、堆積物が雪である場合（堆積物の種類が「雪」と判明している状態）に得られた散乱光画像から算出された散乱光の面積の平均である。σＳは、堆積物が雪である場合（堆積物の種類が「雪」と判明している状態）に得られた散乱光画像から算出された散乱光の面積の標準偏差である。
ＤＯは、堆積物が雪以外である場合のマハラノビス距離（以下、第２マハラノビス距離と称する）である。第２マハラノビス距離ＤＯは、数式（２）における目的変数（出力）である。μＯは、堆積物が氷や水といった雪以外である場合（堆積物の種類が「氷」や「水」等と判明している状態）に得られた散乱光画像から算出された散乱光の面積の平均である。σＯは、堆積物が雪以外である場合（堆積物の種類が「氷」や「水」等と判明している状態）に得られた散乱光画像から算出された散乱光の面積の標準偏差である。
μＳ、σＳ、μＯ、σＯといったパラメータは、実験やシミュレーションによって事前にその値が決められる。例えば、μＳ及びσＳは、複数の雪の散乱光画像から求めた散乱光の面積を基に算出される。一方、μＯ及びσＯは、氷や水といった雪以外の堆積物の複数の散乱光画像から求めた散乱光の面積を基に算出される。
つまり、算出部１１６は、画像生成部１１４によって生成された散乱光画像から散乱光の面積Ｘを算出し、更にその算出した面積Ｘを数式（１）及び（２）に代入して、第１マハラノビス距離ＤＳと第２マハラノビス距離ＤＯを算出する。
フローチャートの説明に戻る。次に、判定部１１８は、算出部１１６によって算出された第１マハラノビス距離ＤＳと第２マハラノビス距離ＤＯとを比較して、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯよりも小さい（ＤＳ＜ＤＯ）か否かを判定する（ステップＳ１０６）。
判定部１１８は、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯよりも小さい場合（ＤＳ＜ＤＯ）、堆積物が雪であると判定する（ステップＳ１０８）。
一方、判定部１１８は、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯよりも大きい場合（ＤＳ＞ＤＯ）、堆積物が雪以外の物体であると判定する（ステップＳ１１０）。
なお、判定部１１８は、第１マハラノビス距離ＤＳが第２マハラノビス距離ＤＯと同じ場合（ＤＳ＝ＤＯ）、上述した判別境界値と散乱光の面積が同じであるため、判定不可としてよい。
判定部１１８によって堆積物が雪以外の物体であると判定された場合、算出部１１６は、更に堆積物の種類を判別するために、算出した散乱光の面積のヒストグラム（頻度分布）から、複数の統計量（統計値）を算出する（ステップＳ１１２）。例えば、統計量は、平均や尖度、歪度、分散といった互い種類の異なる指標値である。
図１０から図１２は、可視域における二次元の散乱光の分布を示す図である。図１３から図１５は、画像のヒストグラムを示す図である。図１０から図１２に示すように、分布画像において、円の外側から中心に向かい輝度が増加している。また、図１３から図１５に示すように、面積の増加とともにヒストグラムの頻度は高くなることが分かる。また、水と氷では比較的値の低い領域において違いが現れており、その領域では水よりも氷の頻度が高い値を示している。また、ヒストグラムの統計量として平均と尖度を算出したところ、平均は水で９７２、薄い氷膜で２１９６、厚い氷膜で４６７９であった。また、尖度は、水で２４３、薄い氷膜で１８１、厚い氷膜で１２３であった。このように、堆積物の種類に応じて、ヒストグラムの統計量に違いが表れる。
従って、本実施形態では、画像のヒストグラムの統計量に着目し、未知の散乱光画像（二次元散乱強度分布）が水と氷のどちらのクラスに属するのかを線形判別分析により判別する。線形判別分析とは、２つのクラス（データ群）を最もよく判別できる線形判別関数を求める手法である。線形判別関数は、例えば、分類するデータ群間の平均の差が大きくなり、データ群内の分散の差が小さくなるように導出される。
図１６は、水及び氷の画像ヒストグラムにおける平均と尖度との関係とその関係から導出された線形判別関数を示す図である。図中Ｚは、線形判別関数を表している。図示のように、線形判別関数Ｚは、ヒストグラムから得られる複数の統計量のうち、ある一つの第１統計量を説明変数とし、第１統計量と種類が異なる第２統計量を目的的変数とした関数であり、例えば、Ｚ＝ａ１ｘ１＋ａ２ｘ２＋ａ３ｘ３…といった多項式関数であってよい。
フローチャートの説明に戻る。次に、判定部１１８は、算出部１１６によって算出された尖度を説明変数として線形判別関数Ｚに入力する（ステップＳ１１４）。
次に、判定部１１８は、尖度を入力した線形判別関数Ｚが目的変数として出力した平均と、算出部１１６によって尖度と共に算出された平均とを比較し、線形判別関数Ｚの出力結果である平均（以下、第１平均Ａ１と称する）よりも算出部１１６の算出結果である平均（以下、第２平均Ａ２と称する）の方が大きいか否かを判定する（ステップＳ１１６）。
判定部１１８は、第１平均Ａ１よりも第２平均Ａ２の方が大きい場合（Ａ１＜Ａ２）、堆積物が氷であると判定する（ステップＳ１１８）。言い換えれば、判定部１１８は、図１６のグラフ上において、線形判別関数Ｚよりも上側の領域である場合、堆積物が氷であると判定する。
一方、判定部１１８は、第１平均Ａ１よりも第２平均Ａ２の方が小さい場合（Ａ１＞Ａ２）、堆積物が水であると判定する（ステップＳ１２０）。言い換えれば、判定部１１８は、図１６のグラフ上において、線形判別関数Ｚよりも下側の領域である場合、堆積物が水であると判定する。
出力制御部１２０は、判定部１１８によって堆積物の種類が判定されると、通信部１０２を介して判定結果を外部装置に送信したり、表示部１０４に判定結果を表示させたりしてよい。これによって、本フローチャートの処理が終了する。
以上説明した第１実施形態によれば、情報処理システム１が、堆積物に対してレーザ光を照射する照射部１２と、照射部１２によって堆積物に照射されたレーザ光の散乱光又は透過光を検出する検出部１４と、検出部１４によって検出された散乱光又は透過光に基づいて画像を生成する画像生成部１１４と、画像生成部１１４によって生成された画像から散乱光又は透過光の面積を算出し、算出した面積からマハラノビス距離を算出する算出部１１６と、算出部によって算出されたマハラノビス距離に基づいて、堆積物が雪やそれ以外かを判定する判定部１１８とを備える。これによって、堆積物の種類を精度よく判定することができる。
また、上述した第１実施形態によれば、判定部１１８によって堆積物が雪以外の物体であると判定された場合、算出部１１６が、散乱光又は透過光の面積のヒストグラムから、互いに種類の異なる複数の統計量を算出し、判定部１１８が、算出部１１６によって算出された複数の統計量に基づいて、雪以外の物体と判定された堆積物の種類を更に判定する。これによって、更に精度よく堆積物の種類を判定することができる。
＜第１実施形態の変形例＞
上述した第１実施形態では、センサ１０が堆積物に対してレーザ光を照射するものとして説明したがこれに限られない。例えば、センサ１０は、レーザ光に加えて、或いは代えて、電波を照射してもよい。この場合、透過部材１６は、照射部１２によって照射された電磁波に対して透過性を有する部材とすればよい。
また、上述した実施形態では、算出部１１６が画像のヒストグラムから尖度及び平均を統計量として算出するものとして説明したがこれに限られない。例えば、算出部１１６は、歪度や分散といった他の統計量を算出してもよい。この場合、判定部１１８は、例えば、歪度を説明変数として線形判別関数Ｚに入力し、歪度を入力した線形判別関数Ｚが目的変数として出力した分散と、算出部１１６によって算出された分散とを比較することで、雪以外の物体と判定された堆積物の種類を更に詳細に判定してもよい。
また、上述した実施形態では、判定部１１８が堆積物の種類を判定するものとして説明したがこれに限られない。例えば、判定部１１８は、堆積物の種類に加えて、或いは代えて、堆積物の厚さなどを判定してもよい。
図１７は、堆積物の厚さを判定する方法を説明するための図である。図示のように、例えば、判定部１１８は、堆積物の種類を氷と判定した場合、算出部１１６によって算出された尖度及び平均を基に氷の厚さを判定してよい。具体的には、判定部１１８は、平均が大きく、且つ尖度が小さいほど、より厚い氷と判定し、平均が小さく、且つ尖度が大きいほど、より薄い氷と判定してよい。なお、判定部１１８は、氷の厚さに限られず、泥や土、火山灰といった他の種類の堆積物の厚さを判定してもよい。
また、上述した実施形態では、堆積物の種類をマハラノビス距離に基づいて判定するとして説明したがこれに限らない。例えば、算出部１１６は、マハラノビス距離に代えて、或いは加えて、ユークリッド距離等の多変量解析における判別分析に用いられる他の指標を算出してもよい。この場合、判定部１１８は、算出部１１６によって算出されたユークリッド距離等に基づいて堆積物の種類をしてよい。
＜第２実施形態＞
以下、第２実施形態について説明する。上述した第１実施形態では、線形判別関数Ｚを用いて、ヒストグラムから得られた複数の統計量を基に堆積物の種類を判定するものとして説明した。これに対して、第２実施形態では、予め学習された分類器ＭＤＬを用いて堆積物の種類を判定する点で第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。なお、第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。
図１８は、第２実施形態に係る情報処理システム２の構成の一例を示す図である。図示のように、情報処理システム２は、上述したセンサ１０および情報処理装置１００に加えて、更に学習装置２００を備える。
図１９は、第２実施形態に係る情報処理装置１００の構成の一例を示す図である。第２実施形態に係る情報処理装置１００の記憶部１３０には、分類器データＤ１が格納される。分類器データＤ１は、堆積物の種類を分類するためのモデル（以下、分類器ＭＤＬと称する）を定義した情報（プログラムまたはデータ構造）である。この分類器データＤ１は、例えば、ネットワークＮＷを介して学習装置２００から記憶部１３０にインストールされてもよいし、情報処理装置１００のドライブ装置に接続された可搬型の記憶媒体から記憶部１３０にインストールされてもよい。
図２０は、分類器ＭＤＬを模式的に示す図である。図示のように、分類器ＭＤＬは、例えば、物体に照射されたレーザ光の散乱光または透過光に基づく画像から得られる統計量（例えば尖度や平均など）が入力されると、その物体の種類の尤もらしさを表す尤度や確率を出力するように学習されたモデルである。分類器ＭＤＬの出力は、例えば、堆積物が氷であることの尤もらしさを表す尤度や、堆積物が水であることの尤もらしさを表す尤度などを要素とする多次元のベクトル或いはテンソル（係数の集合）であってよい。このような分類器ＭＤＬは、例えば、ニューラルネットワークやサポートベクターマシン、混合ガウスモデル、単純ベイズ分類器といった様々なモデルによって実装されてよい。以下、一例として、分類器ＭＤＬがニューラルネットワークによって実装されるものとして説明する。
分類器ＭＤＬがニューラルネットワークによって実装される場合、分類器データＤ１には、例えば、ニューラルネットワークを構成する複数の層のそれぞれに含まれるユニットが互いにどのように結合されるのかという結合情報や、結合されたユニット間で入出力されるデータに付与される結合係数などの各種情報が含まれる。
結合情報とは、例えば、各層に含まれるユニット数や、各ユニットの結合先のユニットの種類を指定する情報、各ユニットを実現する活性化関数、隠れ層のユニット間に設けられたゲートなどの情報を含む。ユニットを実現する活性化関数は、例えば、正規化線形関数（ＲｅＬＵ関数）であってもよいし、シグモイド関数や、ステップ関数、その他の関数などであってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ユニット間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、例えば、ニューラルネットワークの隠れ層において、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
第２実施形態に係る判定部１１８は、堆積物が雪以外の物体であると判定した場合、線形判別関数Ｚの代わりに、分類器ＭＤＬを用いて、堆積物の種類を判定する。具体的には、判定部１１８は、算出部１１６によって算出された複数の統計量の中から、分類器ＭＤＬが学習される際に利用された統計量と同種の統計量を選択する。この統計量は、一つであってもよいし、複数であってもよい。つまり、分類器ＭＤＬの入力は、一次元のスカラであってもよいし、多次元のベクトル或いはテンソルであってもよい。そして、判定部１１８は、選択した統計量を分類器ＭＤＬに入力し、その分類器ＭＤＬが出力したベクトル又はテンソルに含まれる複数の要素のうち、最も値が大きい要素に対応した種類を、堆積物の種類として判定する。
［学習装置の構成］
以下、分類器ＭＤＬを学習する学習装置２００について説明する。学習装置２００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。すなわち、学習装置２００は、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
図２１は、第２実施形態に係る学習装置２００の構成の一例を示す図である。図示のように、例えば、学習装置２００は、通信部２０２と、制御部２１０と、記憶部２３０とを備える。
通信部２０２は、例えば、受信機や送信機を含む無線通信モジュールであり、ネットワークＮＷを介して情報処理装置１００等の外部装置と通信する。
制御部２１０は、例えば、取得部２１２と、算出部２１４と、学習部２１６とを備える。制御部２１０の構成要素は、例えば、ＣＰＵやＧＰＵなどのプロセッサが記憶部２３０に格納されたプログラムを実行することにより実現される。また、制御部２１０の構成要素の一部または全部は、ＬＳＩ、ＡＳＩＣ、またはＦＰＧＡなどのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
記憶部２３０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭなどにより実現される。記憶部２３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、上述した分類器データＤ１と、教師データＤ２とを格納する。
教師データＤ２は、分類器ＭＤＬを学習（訓練）するためのデータである。例えば、教師データＤ２は、種類が既知の物体に対して照射されたレーザ光の散乱光又は透過光を撮像した画像に対して、分類器ＭＤＬがその物体の種類として出力すべき尤度が教師ラベル（ターゲットともいう）として対応付けられたデータセットである。
［学習装置の処理フロー］
以下、フローチャートに即して制御部２１０の一連の処理の流れを説明する。図２２は、第２実施形態に係る学習装置２００の一連の処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。また、学習装置２００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
まず、取得部２１２は、記憶部２３０に格納された教師データＤ２から、堆積物が取り得る種類の尤度が教師ラベルとして対応付けられた複数の散乱光画像を取得する（ステップＳ２００）。なお、センサ１０が透過光を検出可能な場合、散乱光画像は透過光画像であってもよい。
次に、算出部２１４は、取得部２１２によって教師データＤ２から取得された複数の散乱光画像の其々から散乱光の面積を算出する（ステップＳ２０２）。
次に、算出部２１４は、算出した散乱光の面積のヒストグラムから、複数の統計量を算出する（ステップＳ２０４）。
次に、学習部２１６は、算出部２１４によって算出された複数の統計量のうち、一つの統計量にあたるスカラ、または複数の統計量を要素とするベクトルを未学習の分類器ＭＤＬに入力する（ステップＳ２０６）。
次に、学習部２１６は、分類器ＭＤＬによって出力された尤度と、散乱光又は透過光を撮像した画像に対して教師ラベルとして対応付けられていた尤度との差分（損失関数の勾配）を算出する（ステップＳ２０８）。
次に、学習部２１６は、算出した差分が小さくなるように分類器ＭＤＬを学習する（ステップＳ２１０）。例えば、学習部２１６は、差分が小さくなるように、分類器ＭＤＬのパラメータである重み係数やバイアス成分などを確率的勾配降下法などを用いて決定（更新）してよい。
学習部２１６は、学習した分類器ＭＤＬを記憶部２３０に分類器データＤ１として記憶させる。
このように、学習部２１６は、Ｓ２００からＳ２１０の処理を繰り返し行い（イタレーションを行い）、分類器データＤ１を学習する。そして、学習部２１６は、十分に学習した学習済みの分類器ＭＤＬを定義した分類器データＤ１を、例えば、通信部２０２を介して情報処理装置１００に送信する。これによって本フローチャートの処理が終了する。
以上説明した第２実施形態によれば、判定部１１８が、物体に照射された電磁波（レーザ光や電波）の散乱波又は透過波に基づく画像から得られる統計量が入力されると、電磁波が照射された物体の種類を分類するように学習された分類器ＭＤＬに対して、算出部１１６によって算出された統計量を入力し、その分類器ＭＤＬの出力結果に基づいて、堆積物の種類を判定する。これによって、第１実施形態と同様に、堆積物の種類を精度よく判定することができる。
なお、上述した第２実施形態における判定部１１８は、取得部１１２が通信部１０２を介して、堆積物が存在する地点の気象観測情報や気象モデルの情報などを含む外部情報を取得した場合、算出部１１６が算出した統計量に加えて、更に、外部情報を分類器ＭＤＬに入力することで、堆積物の種類を判定してもよい。気象観測情報には、例えば、センサ１０が埋設された地点の温度（例えば滑走路や道路の路面温度）や、気温や湿度、風速などが含まれてよい。気象モデルの情報には、気象モデルによって推定または予測された気温や湿度、風速などが含まれてよい。
また、上述した第２実施形態では、教師あり学習によって分類器ＭＤＬを学習するものとして説明したがこれに限られない。例えば、分類器ＭＤＬは、教師なし学習によって学習されてもよい。また、分類器ＭＤＬは、教師あり学習または教師なし学習に代えて、転移学習によって学習されてもよい。転移学習とは、ある領域（ドメインともいう）で学習されたモデルを、他の領域に適合させるように学習する手法である。これによって、教師データの量が少ない場合であっても、精度の高い分類器ＭＤＬを生成することができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…情報処理システム、１０…センサ、１２…照射部、１４…検出部、１００…情報処理装置、１０２…通信部、１０４…表示部、１１０…制御部、１１２…取得部、１１４…画像生成部、１１６…算出部、１１８…判定部、１２０…出力制御部、１３０…記憶部、２００…学習装置、２０２…通信部、２１０…制御部、２１２…取得部、２１４…算出部、２１６…学習部、２３０…記憶部

Claims (10)

  1. 堆積物に対して電磁波を照射する照射部と、
    前記照射部によって前記堆積物に照射された前記電磁波の散乱波又は透過波を検出する検出部と、
    前記検出部によって検出された前記散乱波又は前記透過波に基づく画像から、前記堆積物の種類を判定する判定部と、
    前記画像から前記散乱波又は前記透過波の特徴量を算出する算出部と、を備え、
    前記算出部は、
    予め種類が判定済みである第１堆積物に合わせて決定された第１パラメータと、前記特徴量とに基づいて、第１マハラノビス距離を算出し、
    予め種類が判定済みであり、前記第１堆積物と種類が異なる第２堆積物に合わせて決定された第２パラメータと、前記特徴量とに基づいて、第２マハラノビス距離を算出し、
    前記判定部は、
    前記第１マハラノビス距離と前記第２マハラノビス距離との比較結果に基づいて、前記堆積物の種類を判定する、
    情報処理システム。
  2. 前記判定部は、
    前記第１マハラノビス距離が前記第２マハラノビス距離よりも短い場合、前記堆積物が前記第１堆積物と判定し、
    前記第１マハラノビス距離が前記第２マハラノビス距離よりも長い場合、前記堆積物が前記第２堆積物と判定する、
    請求項１に記載の情報処理システム。
  3. 前記算出部は、算出した前記特徴量のヒストグラムから、互いに種類の異なる複数の統計量を算出し、
    前記判定部は、前記算出部によって算出された前記複数の統計量に基づいて、前記堆積物の種類を判定する、
    請求項１又は２に記載の情報処理システム。
  4. 前記判定部は、
    説明変数が第１統計量であり、目的変数が前記第１統計量と種類が異なる第２統計量である判別関数に対して、前記複数の統計量に含まれる前記第１統計量を入力し、
    前記第１統計量を入力した前記判別関数によって出力された前記第２統計量と、前記複数の統計量に含まれる前記第２統計量との比較結果に基づいて、前記堆積物の種類を判定する、
    請求項３に記載の情報処理システム。
  5. 前記判定部は、
    物体に照射された電磁波の散乱波又は透過波に基づく画像から得られる統計量が入力されると、前記物体の種類を分類するように学習された分類器に対して、前記算出部によって算出された前記統計量を入力し、前記統計量を入力した前記分類器の出力結果に基づいて、前記堆積物の種類を判定する、
    請求項３に記載の情報処理システム。
  6. 前記判定部は、更に、前記算出部によって算出された前記複数の統計量に基づいて、前記堆積物の厚さを判定する、
    請求項３から５のうちいずれか一項に記載の情報処理システム。
  7. 前記判定部は、前記算出部によって算出された前記複数の統計量のうち、第１統計量が大きく、且つ前記第１統計量と種類が異なる第２統計量が小さくなるほど、前記堆積物の厚さが小さいと判定し、前記第１統計量が小さく、且つ前記第２統計量が大きくなるほど、前記堆積物の厚さが大きいと判定する、
    請求項６に記載の情報処理システム。
  8. 堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得する取得部と、
    前記取得部により取得された前記画像から、前記堆積物の種類を判定する判定部と、
    前記画像から前記散乱波又は前記透過波の特徴量を算出する算出部と、を備え、
    前記算出部は、
    予め種類が判定済みである第１堆積物に合わせて決定された第１パラメータと、前記特徴量とに基づいて、第１マハラノビス距離を算出し、
    予め種類が判定済みであり、前記第１堆積物と種類が異なる第２堆積物に合わせて決定された第２パラメータと、前記特徴量とに基づいて、第２マハラノビス距離を算出し、
    前記判定部は、
    前記第１マハラノビス距離と前記第２マハラノビス距離との比較結果に基づいて、前記堆積物の種類を判定する、
    情報処理装置。
  9. コンピュータが、
    堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得し、
    取得した前記画像から、前記堆積物の種類を判定し、
    前記画像から前記散乱波又は前記透過波の特徴量を算出し、
    予め種類が判定済みである第１堆積物に合わせて決定された第１パラメータと、前記特徴量とに基づいて、第１マハラノビス距離を算出し、
    予め種類が判定済みであり、前記第１堆積物と種類が異なる第２堆積物に合わせて決定された第２パラメータと、前記特徴量とに基づいて、第２マハラノビス距離を算出し、
    前記第１マハラノビス距離と前記第２マハラノビス距離との比較結果に基づいて、前記堆積物の種類を判定する、
    情報処理方法。
  10. コンピュータに、
    堆積物に対して照射された電磁波の散乱波又は透過波に基づく画像を取得すること、
    取得した前記画像から、前記堆積物の種類を判定すること、
    前記画像から前記散乱波又は前記透過波の特徴量を算出すること、
    予め種類が判定済みである第１堆積物に合わせて決定された第１パラメータと、前記特徴量とに基づいて、第１マハラノビス距離を算出すること、
    予め種類が判定済みであり、前記第１堆積物と種類が異なる第２堆積物に合わせて決定された第２パラメータと、前記特徴量とに基づいて、第２マハラノビス距離を算出すること、
    前記第１マハラノビス距離と前記第２マハラノビス距離との比較結果に基づいて、前記堆積物の種類を判定すること、
    を実行させるためのプログラム。
JP2019215757A 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム Active JP7383247B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019215757A JP7383247B2 (ja) 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム
PCT/JP2020/043830 WO2021106935A1 (ja) 2019-11-28 2020-11-25 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019215757A JP7383247B2 (ja) 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021085786A JP2021085786A (ja) 2021-06-03
JP7383247B2 true JP7383247B2 (ja) 2023-11-20

Family

ID=76087526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019215757A Active JP7383247B2 (ja) 2019-11-28 2019-11-28 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7383247B2 (ja)
WO (1) WO2021106935A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180357A (ja) 1998-12-11 2000-06-30 Omron Corp 路面状態判別装置
JP2014228300A (ja) 2013-05-20 2014-12-08 国立大学法人 東京大学 路面状態推定装置
JP2015088106A (ja) 2013-11-01 2015-05-07 Ｎｅｃソリューションイノベータ株式会社 水浮検知装置、水浮検知方法、及びプログラム
JP2019078720A (ja) 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7320214B2 (ja) * 2019-02-21 2023-08-03 国立研究開発法人宇宙航空研究開発機構 モニタリング装置及びモニタリング方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000180357A (ja) 1998-12-11 2000-06-30 Omron Corp 路面状態判別装置
JP2014228300A (ja) 2013-05-20 2014-12-08 国立大学法人 東京大学 路面状態推定装置
JP2015088106A (ja) 2013-11-01 2015-05-07 Ｎｅｃソリューションイノベータ株式会社 水浮検知装置、水浮検知方法、及びプログラム
JP2019078720A (ja) 2017-10-27 2019-05-23 国立研究開発法人宇宙航空研究開発機構 情報処理装置、情報処理方法、プログラム、及びモニタリングシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柴田 啓司 ほか，テクスチャ特徴量を用いた夜間道路映像の湿潤状態判別，電気学会論文誌Ｃ，2012年，Vol.132/No.9，1488-1493
竹内 和也 ほか，道路管理用カメラを用いた冬季の路面状態判別，電気学会論文誌Ｃ，2015年，Vol.135/No.7，第901-907頁

Also Published As

Publication number Publication date
JP2021085786A (ja) 2021-06-03
WO2021106935A1 (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
van Lieshout et al. Automated river plastic monitoring using deep learning and cameras
Harrou et al. Traffic congestion monitoring using an improved kNN strategy
Naddaf-Sh et al. Real-time road crack mapping using an optimized convolutional neural network
Bystrov et al. Automotive system for remote surface classification
Muhadi et al. Deep learning semantic segmentation for water level estimation using surveillance camera
US20220026557A1 (en) Spatial sensor system with background scene subtraction
Vargas Rivero et al. Weather classification using an automotive lidar sensor based on detections on asphalt and atmosphere
Rieutord et al. Deriving boundary layer height from aerosol lidar using machine learning: KABL and ADABL algorithms
Shahrisvand et al. A comparison of empirical and inteligent methods for dust detection using modis satellite data
Li et al. A novel processing methodology for traffic-speed road surveys using point lasers
JP7383247B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Boppana et al. Comparative analysis of single-stage yolo algorithms for vehicle detection under extreme weather conditions
WO2021106945A1 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
Anandhalli et al. Image projection method for vehicle speed estimation model in video system
US20220392188A1 (en) Systems and methods for estimating visibility in a scene
Alevizos et al. Quantification of the fine-scale distribution of Mn-nodules: Insights from AUV multi-beam and optical imagery data fusion
Ma et al. Target recognition for coastal surveillance based on radar images and generalised Bayesian inference
Schmidt et al. Monitoring concepts for coastal areas using lidar data
Liu et al. Cooperative and comprehensive multi-task surveillance sensing and interaction system empowered by edge artificial intelligence
Brill et al. Extrapolating satellite-based flood masks by one-class classification—a test case in houston
TWI662509B (zh) 雨滴譜偵測系統及其粒子追蹤流程
Hsieh et al. Automatic precipitation measurement based on raindrop imaging and artificial intelligence
Lei et al. An automatic rainfall‐type classification algorithm combining diverse 3‐D features of radar echoes
Rieutord et al. Mixing height derivation from aerosol lidar using machine learning: KABL and ADABL algorithms
Meyer et al. Lava morphology mapping by expert system classification of high-resolution side-scan sonar imagery from the East Pacific Rise, 9–10 N

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231027

R150 Certificate of patent or registration of utility model

Ref document number: 7383247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150