JP7483552B2 - 画像処理装置 - Google Patents

Description

本発明は、交通設備の点検のための技術に関する。

道路の沿線や軌道の沿線等には、各種設備（以下、「交通設備」という）が設置されている。例えば、軌道の沿線には、碍子（がいし）、コンクリート柱、ハンガ、き電線等の交通設備が設置されている。

交通設備の多くは屋外にあり、風雨にさらされたり、物がぶつかったりすることも多いため、錆び、損傷等の不良が生じる頻度も高い。交通設備の不良が放置されると交通事故等が生じる危険性があるため、交通設備の点検は十分に高い頻度で行われる必要がある。

ただし、交通設備は広範な領域に多数配置されているため、交通設備の点検を人手で行うには多大な労力と時間を要する。従って、交通設備の点検の自動化が求められている。

交通設備の点検の自動化に関する技術を開示している特許文献として、例えば特許文献１がある。特許文献１には、電車車両の屋根の上に設置されたカメラで撮影した画像から、架線と異なる方向に延伸している架線金具を検出する仕組みが記載されている。

特開２０１９－１１１９４２号公報

特許文献１に記載の仕組みのように、移動体に設置されたカメラで撮影した画像から交通設備の画像を抽出すれば、抽出した画像を点検作業の担当者が見て交通設備の状態を判定したり、それらの画像を画像解析装置が解析して交通設備の状態を判定したりできる。その結果、点検作業のために担当者が交通設備の設置場所に行く必要がなく、そのための労力と時間が短縮される。

ただし、同じ交通設備を撮影した画像であっても、晴天時の日中のように明るい環境下で撮影した画像と、夜間のように暗い環境下において撮影用の光（照明）が照射された状態で撮影した画像では、それらの画像に写っている交通設備の見た目が大きく異なる。その結果、周囲の明るさが異なる環境下で撮影された交通設備の画像が混在していると、それらの画像に基づき交通設備の状態を正しく判定することは難しい。

上記の事情に鑑み、本発明は、周囲の明るさが異なる環境下で撮影された交通設備の画像からそれらの交通設備の状態を正しく判定することを容易にする技術を提供する。

本発明は、太陽光が十分な環境下では太陽光の反射光により撮影され、太陽光が不足の環境下では撮影用に照射した光の反射光により撮影された交通設備の画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換えた画像を生成する画像処理装置を第１の態様として提案する。

第１の態様に係る画像処理装置によれば、異なる環境下で撮影された複数の画像の間の明るさによる影響が低減された画像が生成される。従って、第１の態様に係る画像処理装置によれば、交通設備の状態を容易に正しく判定できる。

上記の第１態様に係る画像処理装置において、前記交通設備の画像は赤外カメラで撮影された画像である、という構成が第２の態様として採用されてもよい。

第２の態様に係る画像処理装置によれば、例えば交通設備が可視光カメラで撮影される場合と比較し、撮影のために照射する光による光害が生じず望ましい。

第１の態様に係る画像処理装置において、前記交通設備の画像は可視光カメラで撮影された画像であり、前記交通設備の画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換え、さらに、前記画像の彩度を、画素毎に正規化した値で置き換えた画像を生成する、という構成が第３の態様として採用されてもよい。

第３の態様に係る画像処理装置によれば、異なる環境下で撮影された複数の画像の間の光の波長成分による影響が低減された画像が生成される。従って、第３の態様に係る画像処理装置によれば、交通設備の状態を容易に正しく判定できる。

また、本発明は、太陽光が十分な環境下では太陽光の反射光により撮影され、太陽光が不足の環境下では撮影用に照射した光の反射光により撮影された、交通設備の画像の各々に関し、当該画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換えた画像を説明変数とし、当該画像が表す交通設備の異常の有無の判定結果を目的変数として学習モデルを構築する学習モデルの構築方法を第４の態様として提案する。

第４の態様に係る学習モデルの構築方法によれば、異なる環境下で撮影された複数の画像の間の明るさによる影響が低減された画像から、交通設備の異常の有無を判定するための学習モデルが生成される。従って、第１の態様に係る画像処理装置により生成された画像を説明変数として入力することにより、高い精度でその画像が表す交通設備の異常の有無の判定結果を得ることができる。

また、本発明は、太陽光が不足の環境下では光照射装置により撮影用の光を交通設備に照射し、太陽光が十分な環境下又は太陽光が不足するが撮影用の光が照射されている環境下で撮影装置により前記交通設備を撮影し、前記撮影装置により撮影した画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換えた画像を生成する画像処理システムを第５の態様として提案する。

第５の態様に係る画像処理システムによれば、異なる環境下で撮影された複数の画像の間の明るさによる影響が低減された画像が生成される。従って、第５の態様に係る画像処理システムによれば、交通設備の状態を容易に正しく判定できる。

第５の態様に係る画像処理システムにおいて、前記光照射装置は赤外光を照射し、前記撮影装置は赤外カメラである、という構成が第６の態様として採用されてもよい。

第６の態様に係る画像処理システムによれば、例えば光照射装置が可視光を照射する場合と比較し、光害が生じず望ましい。

第５の態様に係る画像処理システムにおいて、前記光照射装置は可視光を照射し、前記撮影装置は可視光カメラであり、前記撮影装置により撮影した画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換え、さらに、前記画像の彩度を、画素毎に正規化した値で置き換えた画像を生成する、という構成が第７の態様として採用されてもよい。

第７の態様に係る画像処理システムによれば、異なる環境下で撮影された複数の画像の間の光の波長成分による影響が低減された画像が生成される。従って、第７の態様に係る画像処理システムによれば、交通設備の状態を容易に正しく判定できる。

一実施形態に係る画像処理システムの全体構成を模式的に示した図。 一実施形態に係る画像処理システムが正常異常判定の対象とする交通設備の種別を例示した写真。 一実施形態に係る車上装置、車内装置、及び、車外装置の構成を模式的に示した図。 一実施形態に係る撮影装置が太陽光下で撮影した交通設備の画像と、夜間に赤外光が照射されている環境下で撮影した交通設備の画像を例示した図。 一実施形態に係る画像処理部が行う処理のフロー図。 一実施形態に係る画像処理部が生成する輝度調整後交通設備画像を例示した図。 一実施形態に係る車外装置が表示する正常異常判定画面を示した図。 一実施形態に係る判定部が行う処理のフロー図。 一実施形態に係る車外装置が表示する異常設備表示画面を示した図。 一変形例に係る車外装置が表示する正常異常判定確認画面を示した図。

［実施形態］
以下に、本発明の一実施形態に係る画像処理システム１を説明する。図１は、画像処理システム１の全体構成を模式的に示した図である。画像処理システム１は、鉄道車両Ｔの天井上に配置されている車上装置１１と、鉄道車両Ｔの車内に配置されている車内装置１２と、鉄道車両Ｔから離れた場所に配置されて車外装置１３（画像処理装置の一例）を備える。

車上装置１１は鉄道車両Ｔが移動する間、継続的に、鉄道車両Ｔの前方の撮影領域Ａにある物体を撮影する役割を果たす。

図１には、鉄道車両Ｔが走行する軌道の周辺に設置されている交通設備の例として、コンクリート柱Ｐが示されている。例えば、鉄道車両Ｔが移動し撮影領域Ａ内にコンクリート柱Ｐが入ると、車上装置１１によりコンクリート柱Ｐを含む画像が撮影される。

車内装置１２は、車上装置１１を制御するとともに、車上装置１１の撮影装置が撮影した画像を車外装置１３に送信する役割を果たす。

車外装置１３は、車内装置１２から送信されてくる画像から判定対象の交通設備の画像を抽出し、抽出した画像から交通設備が正常であるか異常であるかの判定（以下、「正常異常判定」という）を行う役割を果たす。

図２は、正常異常判定の対象の交通設備の種別を例示した写真である。正常異常判定の対象となる交通設備の種別としては、例えば、コンクリート柱Ｐ、碍子Ｉ、き電線Ｆ、ハンガＨが挙げられる。

画像処理システム１が行う正常異常判定は、図２に例示した種別の交通設備の各々における外部から視認可能な異常の有無の判定である。コンクリート柱に生じる異常の例としてはひびがある。また、碍子に生じる異常の例としては錆がある。また、き電線に生じる異常の例としては素線切れがある。また、ハンガに生じる異常の例としては金具の外れがある。

図３は、画像処理システム１が備える車上装置１１、車内装置１２、及び、車外装置１３の構成を模式的に示した図である。

まず、車上装置１１の構成を説明する。車上装置１１は、ＧＮＳＳユニット１１１と、撮影装置１１２（１）～１１２（ｎ）（ただし、ｎは自然数）と、光照射装置１１３（１）～１１３（ｍ）（ただし、ｍは自然数）を備える。

ＧＮＳＳユニット１１１は、航法信号を複数の航法衛星から受信し、受信した航法信号に基づき自装置の地球上の位置（緯度経度）を継続的に測定する装置である。

撮影装置１１２（１）～１１２（ｎ）（以下、これらの撮影装置を互いに区別しない場合、撮影装置１１２と総称する）は、鉄道車両Ｔの前方を撮影する装置である。本実施形態において、撮影装置１１２の各々は赤外光（例えば、近赤外光）を感知して画像を生成する赤外カメラである。撮影装置１１２の各々は、撮影領域Ａを複数に区分した部分領域の各々の物体を撮影する。

撮影装置１１２の数は自然数のいずれであってもよいが、一般的に、撮影装置１１２の数が多い程、撮影領域Ａ内の物体を高い解像度で撮影することができる。

光照射装置１１３（１）～１１３（ｍ）（以下、これらの光照射装置を互いに区別しない場合、光照射装置１１３と総称する）は、撮影装置１１２が撮影を行うための太陽光が不足の環境下において、撮影用の光を照射する装置である。本実施形態において、光照射装置１１３は撮影装置１１２が感知する波長帯の赤外光（例えば、近赤外光）を照射する。

光照射装置１１３（１）～１１３（ｍ）は全体として撮影領域Ａの全域をカバーするように光の照射を行う。なお、撮影装置１１２と光照射装置１１３を同数（ｎ＝ｍ）とし、撮影装置１１２の各々が撮影する部分領域に対し光照射装置１１３の各々が光を照射するように構成されてもよい。

撮影装置１１２は、太陽光が十分な環境下では太陽光の反射光（撮影領域Ａ内の物体において反射した太陽光に含まれる赤外光）を感知して撮影（画像の生成）を行う。また、撮影装置１１２は、太陽光が不足の環境下では光照射装置１１３が撮影用に照射した光の反射光（撮影領域Ａ内の物体において反射した赤外光）を感知して撮影（画像の生成）を行う。

図４は、撮影装置１１２が太陽光下で撮影したハンガの画像（図４（Ａ））と、夜間に赤外光が照射されている環境下で撮影したハンガの画像（図４（Ｂ））を例示した図である。図４（Ａ）に示されるように、太陽光下で撮影された画像において、対象物は背景よりも暗く写る。一方、図４（Ｂ）に示されるように、太陽光がなく撮影用の光が照射されている環境下で撮影された画像において、対象物は背景より明るく写る。

図３を参照し、車内装置１２の構成を説明する。車内装置１２のハードウェアは、例えばコンピュータである。車内装置１２のハードウェアを構成するコンピュータは、メモリに記憶されている車内装置１２用のプログラムに従ったデータ処理をプロセッサが実行することにより、図３に示す構成部を備える装置を実現する。以下に車内装置１２が備える構成部が行う処理を説明する。

位置情報取得部１２１は、車上装置１１のＧＮＳＳユニット１１１から継続的に位置情報を取得し、取得した位置情報を順次、記憶部１２４に記憶させる。

制御部１２２は、車上装置１１が備える撮影装置１１２及び光照射装置１１３の動作を制御する。具体的には、制御部１２２は、鉄道車両Ｔが移動を開始すると、撮影装置１１２と光照射装置１１３に動作の開始を指示する。この指示に従い、撮影装置１１２は撮影を開始し、光照射装置１１３は光の照射を開始する。また、制御部１２２は、鉄道車両Ｔが停止すると、撮影装置１１２と光照射装置１１３に動作の停止を指示する。この指示に従い、撮影装置１１２は撮影を停止し、光照射装置１１３は光の照射を停止する。

画像取得部１２３は、車上装置１１の撮影装置１１２から継続的に画像を取得し、取得した画像を順次、記憶部１２４に記憶させる。

記憶部１２４は、位置情報取得部１２１が取得した位置情報と、画像取得部１２３が取得した画像とを記憶する。記憶部１２４は、実質的に同じタイミングに車上装置１１から取得された位置情報と画像とを対応付けて記憶する。従って、記憶部１２４に記憶されている情報によれば、各画像が撮影された位置が分かる。

通信部１２５は、例えば移動体通信網を介して、無線により車外装置１３に画像及び当該画像が撮影された位置を示す位置情報（以下、これらの情報を「位置情報付き画像」という）を送信する。

続いて、車外装置１３の構成を説明する。車外装置１３のハードウェアは、例えばコンピュータである。車外装置１３のハードウェアを構成するコンピュータは、メモリに記憶されている車外装置１３用のプログラムに従ったデータ処理をプロセッサが実行することにより、図３に示す構成部を備える装置を実現する。以下に車外装置１３が備える構成部が行う処理を説明する。

通信部１３１は、車内装置１２の通信部１２５から送信されてくる位置情報付き画像を受信し、受信した位置情報付き画像を記憶部１３２に記憶させる。

記憶部１３２は、各種情報を記憶する。記憶部１３２が記憶する情報には、通信部１３１が車内装置１２から受信した位置情報付き画像、位置情報付き画像に含まれる画像に対し画像処理部１３５が輝度の調整を行って生成した輝度調整済み画像、学習モデル構築部１３６により構築された学習モデルＭ、輝度調整済み画像から学習モデルＭにより判定された交通設備の正常異常の判定結果等が含まれる。

表示部１３３は、車外装置１３のユーザに対し各種情報を表示する。操作部１３４は、表示部１３３が表示する各種情報に応じて車外装置１３のユーザが車外装置１３に対し行う各種操作を受け付ける。

画像処理部１３５は、画像取得部１２３が取得した位置情報付き画像に含まれる画像に対し所定の処理を行う。図５は、画像処理部１３５が行う処理のフロー図である。画像処理部１３５は、記憶部１３２に新たな位置情報付き画像が記憶されると、その位置情報付き画像に含まれる画像に関し、図５に示すフロー図に従う処理を行う。

以下に図５に示すフロー図に従う処理を説明する。画像処理部１３５は、記憶部１３２から、新たに記憶された位置情報付き画像を読み出す（ステップＳ１０１）。

続いて、画像処理部１３５は、既知の画像認識手法に従い、読み出した位置情報付き画像に含まれる画像から交通設備の画像を抽出する（ステップＳ１０２）。画像処理部１３５が交通設備の画像を抽出するために、例えば、記憶部１３２には、交通設備の種別毎に多数の交通設備の画像から抽出した特徴量情報が記憶されている。画像処理部１３５は、ステップＳ１０１において読み出した画像から特徴量情報を抽出し、抽出した特徴量情報と記憶部１３２に記憶されている特徴量情報を照合することにより、ステップＳ１０１において読み出した画像のどの領域に、どの種別の交通設備が写っているか、を特定する。画像処理部１３５は、そのように特定した領域の画像を切り出し、切り出した画像（以下、「交通設備画像」という）を、特定した交通設備の種別を示す種別情報と、ステップＳ１０１において読み出した位置情報付き画像に含まれる位置情報と共に記憶部１３２に記憶させる。

続いて、画像処理部１３５は、ステップＳ１０２において抽出した交通設備画像に対し輝度を調整する処理を行う（ステップＳ１０３）。以下に画像処理部１３５がステップＳ１０３において行う処理の説明を行う。

ステップＳ１０３の処理は、撮影時の環境下における明るさの差異が交通設備画像に与えている影響を低減するための処理である。具体的には、ステップＳ１０３において、画像処理部１３５は、交通設備画像の輝度を画素毎に正規化した絶対値で置き換えた画像を生成する。

交通設備画像の画素の位置を座標（ｘ，ｙ）で表すものとする。以下、座標（ｘ，ｙ）の画素を画素（ｘ，ｙ）という。

また、画素（ｘ，ｙ）の輝度をｌ（ｘ，ｙ）とする。今、交通設備画像の幅方向の画素数をＷ、高さ方向の画素数をＨとすると、交通設備画像の輝度の平均μは以下の式１のように表される。

また、交通設備画像の輝度の標準偏差σは以下の式２のように表される。

そして、輝度調整後の交通設備画像の画素（ｘ，ｙ）の輝度をＬ（ｘ，ｙ）とすると、輝度Ｌ（ｘ、ｙ）は以下の式３のように表される。

画像処理部１３５は、ステップＳ１０３において、画素（ｘ，ｙ）の輝度が上述の式３に従い算出されるＬ（ｘ，ｙ）である画像を生成する。以下、画像処理部１３５がステップＳ１０３において生成する画像を、輝度調整後交通設備画像という。

図６は、図４に示したハンガの画像（交通設備画像）に関し、ステップＳ１０３において画像処理部１３５が生成する輝度調整後交通設備画像を例示した図である。図６（Ａ）は図４（Ａ）と同じ画像であり、図６（Ｂ）は図６（Ａ）から生成される輝度調整後交通設備画像である。また、図６（Ｃ）は図４（Ｂ）と同じ画像であり、図６（Ｄ）は図６（Ｃ）から生成される輝度調整後交通設備画像である。図６（Ｂ）と図６（Ｄ）を見れば明らかなように、輝度調整後交通設備画像においては、撮影時の環境下における明るさの差異が交通設備画像に与えていた影響が低減されており、あたかも同じ明るさの環境下で撮影された画像のように見える。

画像処理部１３５は、ステップＳ１０３において生成した輝度調整後交通設備画像を、その輝度調整後交通設備画像の生成に用いられた交通設備画像に対応付けられている種別情報及び位置情報と共に記憶部１３２に記憶させる（ステップＳ１０４）。

図３を参照し、車外装置１３の構成部の説明を続ける。学習モデル構築部１３６は、機械学習モデルである学習モデルＭを構築する。学習モデル構築部１３６が学習モデルＭを生成する手法は、既知の機械学習の手法のいずれであってもよい。例えば、学習モデル構築部１３６は、人工ニューラルネットワークの手法に従う機械学習により学習モデルＭを構築してもよい。また、学習モデル構築部１３６は、人工ニューラルネットワークの手法の一つであるディープラーニングの手法に従う機械学習により学習モデルＭを構築してもよい。

学習モデル構築部１３６が学習モデルＭを構築するためには、多数の教師データが必要である。そのため、ユーザが車外装置１３に対し操作部１３４を用いて所定の操作を行うと、表示部１３３は記憶部１３２に記憶されている輝度調整後交通設備画像を用いて、図７に示すような画面（以下、「正常異常判定画面」という）を表示する。

以下に、図７に示す正常異常判定画面を説明する。正常異常判定画面の領域Ｂ１には、記憶部１３２に記憶されている多数の輝度調整後交通設備画像（まだ正常異常の判定が行われていないもの）から順次選択されたものが表示される。

正常異常判定画面の領域Ｂ２には、領域Ｂ１に表示されている輝度調整後交通設備画像に対応付けて記憶部１３２に記憶されている種別情報と位置情報が表示される。

正常異常判定画面の領域Ｂ３には、領域Ｂ１に表示される画像を目視したユーザが、その画像の交通設備が正常と判定したか、異常と判定したか、を入力するためのラジオボタンが表示される。

車外装置１３のユーザは、正常異常判定画面の領域Ｂ４に表示される「次へ」ボタンに対し押下操作を行って、領域Ｂ１に表示される画像を変更しながら、領域Ｂ１に表示される画像の交通設備の正常異常の判定を行い、その判定の結果を領域Ｂ３のラジオボタンに入力する、という作業を繰り返す。このユーザの操作に応じて、記憶部１３２には、輝度調整後交通設備画像とユーザによる正常異常の判定結果を示す判定結果情報とが対応付けられたデータが、学習モデルＭの構築用の教師データとして記憶される。

記憶部１３２に、所定数の教師データが蓄積されると、学習モデル構築部１３６はそれらの教師データに含まれる輝度調整後交通設備画像を説明変数とし、正常異常の判定結果情報を目的変数として機械学習を行い、学習モデルＭを構築する。

図３を参照し、車外装置１３の構成部の説明を続ける。判定部１３７は、学習モデル構築部１３６により学習モデルＭが構築され、学習モデルＭが記憶部１３２に記憶されている状態において、記憶部１３２に新たに輝度調整後交通設備画像が記憶されると、その輝度調整後交通設備画像が表す交通設備の正常異常判定を行う。

図８は、判定部１３７が行う処理のフロー図である。判定部１３７は、記憶部１３２に新たな輝度調整後交通設備画像が記憶されると、その輝度調整後交通設備画像に関し、図８に示すフロー図に従う処理を行う。

以下に図８に示すフロー図に従う処理を説明する。判定部１３７は、記憶部１３２から、新たに記憶された輝度調整後交通設備画像を読み出す（ステップＳ２０１）。

続いて、判定部１３７は、ステップＳ２０１において読み出した輝度調整後交通設備画像を説明変数として学習モデルＭに入力する（ステップＳ２０２）。

判定部１３７は、学習モデルＭが示すパラメータ（例えば、複数の中間層の各々に応じた畳み込みフィルタの重み）に従い所定の演算を行い、輝度調整後交通設備画像が表す交通設備が正常であるか異常であるかを示す正常異常判定結果を学習モデルＭの目的変数として出力する（ステップＳ２０３）。

判定部１３７は、ステップＳ２０３において学習モデルＭから目的変数として出力された正常異常判定結果を、ステップＳ２０１において読み出した輝度調整後交通設備画像に対応付けて記憶部１３２に記憶させる（ステップＳ２０４）。

以上が、画像処理システム１の構成の説明である。上記の構成を備える画像処理システム１においては、鉄道車両Ｔの移動に伴い、車外装置１３には、鉄道車両Ｔが通過した位置に設置されている多数の交通設備の各々に関し、その交通設備の外観を表す輝度調整後交通設備画像と、その交通設備の種別を示す種別情報と、その交通設備の位置を示す位置情報と、その交通設備が正常であるか異常であるかを示す正常異常判定結果が順次、記憶されていく。

車外装置１３のユーザが車外装置１３に対し所定の操作を行うと、車外装置１３は記憶しているそれらの情報を用いて、図９に示すような画面（以下、「異常設備表示画面」という）を表示する。

以下に図９に示す異常設備表示画面を説明する。異常設備表示画面は、画像処理システム１が学習モデルＭを用いて異常と判定した交通設備の画像を表示するための画面である。

異常設備表示画面の領域Ｃ１には、画像処理システム１が異常と判定した交通設備の画像（輝度調整後交通設備画像）が表示される。異常設備表示画面の領域Ｃ２には、領域Ｃ１に表示されている輝度調整後交通設備画像に対応付けて記憶部１３２に記憶されている種別情報と位置情報が表示される。

車外装置１３のユーザは、異常設備表示画面の領域Ｃ３に表示される「次へ」ボタンに対し押下操作を行って、領域Ｃ１に表示される画像を変更しながら、異常と判定された交通設備を確認することができる。

上述した画像処理システム１によれば、昼夜を問わず鉄道車両Ｔの移動に伴い撮影される交通設備の画像に基づき、それらの交通設備の正常異常の判定結果が高い精度で得られる。

［変形例］
上述した実施形態は本発明の技術的思想の範囲内で様々に変形されてよい。以下にそれらの変形例を示す。なお、以下に示す変形例の２以上が適宜組み合わされてもよい。

（１）上述した実施形態において、車上装置１１が備える撮影装置１１２は赤外カメラであるものとしたが、撮影装置１１２として可視光カメラが採用されてもよい。

撮影装置１１２として可視光カメラが採用される場合、画像処理部１３５が、交通設備画像に対し、輝度の調整に加え、彩度の調整を行った画像を生成してもよい。この変形例において、画像処理部１３５は、交通設備画像の輝度を画素毎に正規化した絶対値で置き換え、さらに、彩度を画素毎に正規化した値で置き換えた画像を、輝度調整後交通設備画像に代えて生成する。

例えば、日中と夕暮れ時では、地上に到達する太陽光の波長成分が異なる。従って、それらの太陽光の下で可視光カメラにより撮影された画像は、同じ対象物を撮影した画像であっても色合いが異なる。

この変形例によれば、上記のような光の波長成分の差異に伴う交通設備画像の色合いの差異が低減されるため、画像による交通設備の正常異常の判定が正しく行われる。

（２）上述した実施形態において、車内装置１２から車外装置１３への画像の供給は無線通信により行われるものとした。これに代えて、車内装置１２から車外装置１３への画像の供給が、記録媒体や有線接続を介して行われてもよい。この変形例においては、例えば、鉄道車両Ｔが１日の走行を完了した後、車外装置１３のユーザが車内装置１２から記録媒体又は有線接続により車外装置１３に画像のコピー又は移動を行う。

（３）上述した実施形態において、車外装置１３が行うものとした処理の一部又は全てを車内装置１２が行うように構成されてもよい。

（４）上述した実施形態において、車外装置１３が備える表示部１３３及び操作部１３４の機能を、車上装置１１、車内装置１２、及び、車外装置１３のいずれとも異なる装置が備えてもよい。例えば、車外装置１３がＷｅｂサーバの機能を備え、ユーザが使用する端末装置において実行されるＷｅｂブラウザがインターネットを介して車外装置１３にアクセスし、正常異常判定画面や異常設備表示画面をＷｅｂブラウザ上に表示させ、それらの画面に対するユーザの操作を受け付けるようにしてもよい。

（５）上述した実施形態において、光照射装置１１３は鉄道車両Ｔの移動中、常時、光を照射するものとしたが、光照射装置１１３が夜間等の撮影装置１１２の撮影のために光の照射が必要な期間中のみ、光の照射を行うようにしてもよい。この変形例においては、車上装置１１が光センサを備え、車内装置１２の制御部１２２が、光センサが測定する光の量を閾値と比較することにより、光照射装置１１３による光の照射の要否を判定する。そして、制御部１２２は、光の照射が必要と判定した期間中のみ、光照射装置１１３に対し光の照射を行うように指示する。

（６）画像処理部１３５が輝度の調整のために用いる式は式１～式３に示したものに限られない。すなわち、画像処理部１３５は、交通設備の画像の輝度を画素毎に正規化した絶対値で置き換えるが、正規化に用いるパラメータは様々に変更されてよい。例えば、標準偏差に代えて分散が用いられてもよい。

（７）上述した実施形態において、学習モデルＭの構築には所定数の教師データが用いられるものとしたが、学習モデルＭの構築に用いられる教師データの数は変化してよい。例えば、新たな教師データにより学習モデルＭを更新しては、更新後の学習モデルＭを用いて判定を行い、判定結果の正答率が所定の閾値に達するまで、学習モデルＭの更新を繰り返してもよい。

例えば、車外装置１３が異常設備表示画面（図９）に代えて、交通設備の画像を、画像処理システム１が学習モデルＭを用いて行った正常又は異常の判定結果と共に表示するとともに、ユーザに正常又は異常の判定を行わせる画面（以下、「正常異常判定確認画面」という）を表示するように構成する。

図１０は、正常異常判定確認画面を例示した図である。正常異常判定確認画面の領域Ｃ１には、異常設備表示画面と異なり、学習モデルＭにより正常及び異常のいずれに判定された交通設備に関しても、その画像（輝度調整後交通設備画像）が表示される。正常異常判定確認画面の領域Ｃ２には、異常設備表示画面と同様に、領域Ｃ１に表示されている輝度調整後交通設備画像に対応付けて記憶部１３２に記憶されている種別情報と位置情報が表示される。

そして、正常異常判定確認画面の領域Ｃ４には、学習モデルＭによる正常又は異常の判定結果と、ユーザが領域Ｃ１に表示される画像を目視したユーザが、その画像の交通設備が正常と判定したか、異常と判定したか、を入力するためのラジオボタンが表示される。

ユーザは、正常異常判定確認画面の領域Ｃ３に表示される「次へ」ボタンに対し押下操作を行って、領域Ｃ１に表示される画像を変更しながら、領域Ｃ１に表示される画像の交通設備の正常異常の判定を行い、その判定の結果を領域Ｃ４のラジオボタンに入力する、という作業を繰り返す。このユーザの操作に応じて、記憶部１３２には、輝度調整後交通設備画像とユーザによる正常異常の判定結果を示す判定結果情報とが対応付けられたデータが、学習モデルＭの構築用の教師データとして新たに記憶される。

学習モデル構築部１３６は、それらの新たに記憶された教師データに含まれる輝度調整後交通設備画像を説明変数とし、正常異常の判定結果情報を目的変数として、学習モデルＭの更新を行う。

この変形例によれば、画像処理システム１の運用段階において、ユーザの目視による判定結果に基づき学習モデルＭを更新し、学習モデルＭによる判定結果の精度を向上することができる。

（８）上述した実施形態においては、撮影装置１１２により画像が撮影された位置を示す位置情報として、ＧＮＳＳユニット１１１により航法信号に基づき特定された位置情報が用いられる。画像処理システム１において用いられる位置情報はこれに限られない。例えば、車上装置１１がＧＮＳＳユニット１１１に代えて、鉄道車両Ｔの車輪の回転速度を継続的に計測する回転速度計を備え、車内装置１２が回転速度計の測定結果に基づき軌道上の所定の起点からの移動距離（キロ程）を算出する。そのように算出した起点からの移動距離が、位置情報として用いられてもよい。

１…画像処理システム、１１…車上装置、１２…車内装置、１３…車外装置、１１１…ＧＮＳＳユニット、１１２…撮影装置、１１３…光照射装置、１２１…位置情報取得部、１２２…制御部、１２３…画像取得部、１２４…記憶部、１２５…通信部、１３１…通信部、１３２…記憶部、１３３…表示部、１３４…操作部、１３５…画像処理部、１３６…学習モデル構築部、１３７…判定部。

Claims (7)

1. 太陽光が十分な環境下では太陽光の反射光により撮影され、太陽光が不足の環境下では撮影用に照射した光の反射光により撮影された交通設備の画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換えた画像を生成する
   画像処理装置。
2. 前記交通設備の画像は赤外カメラで撮影された画像である
   請求項１に記載の画像処理装置。
3. 前記交通設備の画像は可視光カメラで撮影された画像であり、前記交通設備の画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換え、さらに、前記画像の彩度を、画素毎に正規化した値で置き換えた画像を生成する
   請求項１に記載の画像処理装置。
4. 太陽光が十分な環境下では太陽光の反射光により撮影され、太陽光が不足の環境下では撮影用に照射した光の反射光により撮影された、交通設備の画像の各々に関し、当該画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換えた画像を説明変数とし、当該画像が表す交通設備の異常の有無の判定結果を目的変数として学習モデルを構築する
   学習モデルの構築方法。
5. 太陽光が不足の環境下では光照射装置により撮影用の光を交通設備に照射し、太陽光が十分な環境下又は太陽光が不足するが撮影用の光が照射されている環境下で撮影装置により前記交通設備を撮影し、前記撮影装置により撮影した画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換えた画像を生成する
   画像処理システム。
6. 前記光照射装置は赤外光を照射し、前記撮影装置は赤外カメラである
   請求項５に記載の画像処理システム。
7. 前記光照射装置は可視光を照射し、前記撮影装置は可視光カメラであり、前記撮影装置により撮影した画像の輝度を、画素毎に当該画素の輝度と前記画像の全画素の輝度の平均値との差を前記画像の全画素の輝度の標準偏差で除した値の絶対値で置き換え、さらに、前記画像の彩度を、画素毎に正規化した値で置き換えた画像を生成する
   請求項５に記載の画像処理システム。