JP7476016B2

JP7476016B2 - 視程評価装置、視程評価システム及び視程評価方法

Info

Publication number: JP7476016B2
Application number: JP2020124166A
Authority: JP
Inventors: 亮祐三木; 健一森田; 智明吉永; 佳大蛯原
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-07-21
Filing date: 2020-07-21
Publication date: 2024-04-30
Anticipated expiration: 2040-07-21
Also published as: JP2022020911A

Description

本発明は、視程を評価する視程評価装置、視程評価システム及び視程評価方法に関する。

従来、視程を評価するため、特開２００１－３３０４１２号公報（特許文献１）に記載の技術がある。この公報には、「照明が配置されたトンネル内において、設置された監視カメラで撮像したビデオ信号を画像データに変換し、画像データ内の照明による輝度情報を観測して、予め輝度情報から視程への変換関数を保持しておき、該変換関数を用いて観測された輝度情報から視程を算出する。」という記載がある。

特開２００１－３３０４１２号公報

特許文献１では、周辺輝度の変化が少ないトンネル内という環境を利用し、照明を光源として視程を計測するため、例えば屋外のように環境光が変動する状況には適さず、適用可能な状況が限定される。しかし、視程は、肉眼で物体を明瞭に確認できる最大の距離を示すものであり、視程の評価は空港での気象観測などにおいても重要な項目である。このため、環境光の変動する屋外などの多様な状況で視程を評価可能な、適用範囲の広い視程評価技術が求められている。

そこで、本発明では、適用範囲の広い視程評価技術を提供することを目的とする。

上記目的を達成するために、代表的な本発明の視程評価装置、視程評価システム及び視程評価方法の一つは、視程の評価指標となる目標物の位置を撮像範囲に含んだ画像を取得し、前記画像から特徴量を算出し、前記画像の撮像地点から前記目標物までの距離情報を取得し、前記画像の撮像時の環境光の状態を示す環境光情報を取得し、前記特徴量、前記距離情報及び前記環境光情報を用いて前記画像の撮像時の視程を評価する。

本発明によれば、適用範囲の広い視程評価技術を提供することができる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

実施例１に係る視程評価の概念図。視程評価装置の構成図。視程障害と距離との関係についての説明図。視程評価装置による視程評価の処理手順を示すフローチャート。視程評価装置による機械学習の処理手順を示すフローチャート。複数の目標物を利用した視程障害の検知についての説明図（その１）。複数の目標物を利用した視程障害の検知についての説明図（その２）。距離マップの登録についての説明図。カメラの方向と精度についての説明図。視程の評価結果の出力例。実施例２に係る視程評価の概念図。実施例２における複数の視程評価モデルの利用例。

以下、実施例を図面を用いて説明する。

図１は、実施例１に係る視程評価の概念図である。実施例１に係る視程評価装置１０は、カメラ１１による撮像を制御し、視程の評価指標となる目標物Ｂ１の位置を撮像範囲に含んだ画像を取得する。カメラ１１は、例えば空港に設置されており、目標物Ｂ１は、空港周辺（少なくとも視程によってはカメラ１１の地点から視認可能な距離）に所在する建造物や自然物（例えば山の稜線など）である。カメラ１１から目標物Ｂ１までの距離である距離情報と、カメラ１１に対する目標物Ｂ１の位置を示す位置情報とは、予め対応付けられて距離マップ２１に登録されている。

視程評価装置１０は、カメラ１１が撮像した画像のコントラストを特徴量として算出する（Ｓ１）。また、視程評価装置１０は、画像の撮像時の環境光の状態を示す環境光情報を取得する（Ｓ２）。環境光情報は、例えばカメラ１１の近傍に照度計を設けて取得すればよい。

視程評価装置１０は、距離マップ２１から取得した目標物Ｂ１の距離情報と、画像から算出したコントラストと、環境光情報とを用いて入力データを構築し、視程評価モデル２２に構築した入力データを与えて視程を評価する（Ｓ３）。

視程評価モデル２２は、学習用に与えられた画像、環境光情報及び視程評価結果を用いて機械学習により予め生成する。学習用の視程評価結果は、例えば、視程の観測員が建造物Ｂ１を目視して判定した視程であり、学習用の画像はその時にカメラ１１が撮像した画像であり、学習用の環境光情報はその時に取得した環境光情報である。

このように、観測員が判定した視程を教師として学習した視程評価モデル２２を用いることで、視程評価装置１０は、観測員と同様に視程を評価し、評価結果を出力する（Ｓ４）ことができる。視程の評価結果は、視程の推定値であってもよいし、目標物Ｂ１を目視できるか否かであってもよい。

図２は、視程評価装置１０の構成図である。図２に示すように、視程評価装置１０は、カメラ１１、照度計１２及び入出力装置１３と接続される。カメラ１１は、既に説明したように、空港等に設置される撮像装置であり、視程の評価指標となる目標物の位置を撮像範囲に含んで撮像を行うことが可能である。照度計１２は、カメラ１１の近傍に設けられ、カメラ１１による撮像時の環境光の状態を示す環境光情報を取得することができる。入出力装置１３は、視程評価装置１０の操作者（例えば観測員）が使用する入出力インタフェースであり、ディスプレイやキーボードなどである。

視程評価装置１０は、記憶部２０及び制御部３０を有する。記憶部２０は、磁気ディスクデバイス等であり、距離マップ２１及び視程評価モデル２２を記憶する。距離マップ２１は、カメラ１１に対する目標物の距離情報と位置情報とを対応付けて登録したデータである。目標物は、複数登録することが望ましい。複数の目標物は、全てが同時に撮像範囲に入る必要はなく、カメラ１１の向きを水平方向に回転させる制御（パン制御）や、高さ方向の傾きを変更する制御（チルト制御）を行って目標物を撮像範囲に含めることができればよい。視程評価モデル２２は、画像の特徴量、目標物の距離情報及び環境光情報から構築された入力データを受け付けた場合に、視程の評価結果（視程値や目標物の視認可否など）を出力するモデルである。

制御部３０は、視程評価装置１０を全体制御する処理部であり、撮像制御部３１、画像取得部３２、対応関係特定部３３、環境光情報取得部３４、特徴量算出部３５、距離情報取得部３６、機械学習部３７及び視程評価部３８を有する。これらの機能部は、ハードウェアとして設けてもよいし、ソフトウェアで実現してもよい。これらの機能部をソフトウェアで実現する場合には、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）が視程評価プログラムをメモリに展開し、順次実行することで、撮像制御部３１、画像取得部３２、対応関係特定部３３、環境光情報取得部３４、特徴量算出部３５、距離情報取得部３６、機械学習部３７及び視程評価部３８として動作することになる。視程評価プログラムは、例えば記憶部２０に記憶させておけばよい。

撮像制御部３１は、カメラ１１による撮像を制御する処理部である。具体的には、撮像制御部３１は、カメラ１１のパン制御及びチルト制御、撮像の実行タイミングの指示などを行う。

画像取得部３２は、視程の評価指標となる目標物の位置を撮像範囲に含んだ画像を取得する処理部である。具体的には、画像取得部３２は、カメラ１１が撮像した画像を取得する。

対応関係特定部３３は、撮像制御部３１がどのような制御を行ったかを示す制御情報に基づいてカメラ１１の撮像範囲を判別し、撮像範囲と距離マップ２１との対応関係を特定する。

環境光情報取得部３４は、画像取得部３２が取得した画像の撮像時の環境光の状態を示す環境光情報を取得する。具体的には、環境光情報取得部３４は、画像の撮像時点における照度計１２の出力を環境光情報として取得する。

特徴量算出部３５は、画像取得部３２が取得した画像から特徴量を算出する。具体的には、特徴量算出部３５は、撮像範囲と距離マップ２１との対応関係に基づいて、目標物の位置を含む所定範囲の像を画像から切り出し、切り出した所定範囲のコントラストを特徴量として算出する。

距離情報取得部３６は、撮像範囲と距離マップ２１との対応関係を用い、撮像範囲に含まれる目標物の距離情報を距離マップ２１から取得する。

機械学習部３７は、視程評価モデル２２を生成して記憶部２０に格納する。具体的には、機械学習部３７は、学習用に与えられた画像、環境光情報及び視程評価結果を用いて機械学習により予め生成する。学習用の視程評価結果は、例えば、視程の観測員が建造物Ｂ１を目視して判定した視程であり、学習用の画像はその時にカメラ１１が撮像した画像であり、学習用の環境光情報はその時に取得した環境光情報である。すなわち、機械学習部３７は、入出力装置１３が観測員による視程の評価結果を入力として受け付けたならば、環境光情報取得部３４、特徴量算出部３５及び距離情報取得部３６の出力と対応付けて教師データを構築し、視程評価モデル２２の学習に用いることができる。

視程評価部３８は、特徴量、距離情報及び環境光情報を用いて画像の撮像時の視程を評価する。具体的には、視程評価部３８は、環境光情報取得部３４、特徴量算出部３５及び距離情報取得部３６の出力から入力データを構築し、視程評価モデル２２に構築した入力データを与えて視程を評価する。

視程の評価結果は、視程の距離である視程値が好適である。また、目標物の視認可否を視程の評価結果としてもよい。さらに、視程評価部３８は、視程の評価結果とともに、該評価結果の精度等を出力することも可能である。一例として、視程評価モデル２２に深層学習を用いる場合、出力層のノードのスコアに対してソフトマックス関数を適用し、評価結果の精度とすればよい。また、回帰モデルを用いるならば、例えば事前に回帰分析モデルを評価した評価値を出力してもよい。このように、評価結果についての精度等の出力には、開示の例に限定されず、任意の手法を用いることができる。

また、視程評価部３８は、複数の目標物の各々についての視程の評価結果をもとに、視程障害の所在を出力することができる。視程障害とは、降水や霧などで視程が小さくなることをいう。例えば、画像範囲に距離の異なる複数の目標物の像が含まれている場合には、視程評価部３８は、複数の目標物についての視程の評価結果から顕著な視程障害がどの距離で発生しているかを判定し、出力することができる。

また、視程評価部３８は、評価結果として得られた視程値、すなわち推定視程の近傍に所在する目標物の位置を識別可能に出力することができる。具体的には、視程評価部３８は、推定視程の前後に所在する目標物の位置を強調表示して、視程の評価に用いた画像を出力する。推定視程の前に所在する目標物の位置には、視認可と評価された最も遠い目標物の像が含まれる。推定視程の後に所在する目標物の位置は、視認不可と評価された最も近い目標物の像が含まれるべき位置である。このように推定視程前後の目標物の位置が強調された画像が得られれば、観測員は、「推定視程の前の目標物が見えること」及び「推定視程の後ろの目標物が見えないこと」を確認し、簡易に視程を評価することができる。この他、強調表示の対象とする目標物を観測員が任意に指定可能としてもよい。例えば、目標物に優先順位を設定し、最も重要な目標物を常に強調表示する等の出力も可能である。

図３は、視程障害と距離との関係についての説明図である。まず、降雨、霧、砂塵などの視程障害によって、目標物の輪郭はぼやける。これは、画像の特徴量としては、コントラストの低下として検知できる。図３では、目標物Ｂ１と目標物Ｂ２とが、視程障害によるコントラストの低下を示している。

一方、コントラストの低下は、視程障害に有無に関わらず、目標物までの距離によっても生ずる。すなわち、距離によってコントラストは指数関数的に低下し、輝度は環境光に収束する。図３では、目標物Ｂ１と目標物Ｂ３とが、距離によるコントラストの低下を示している。

このように、コントラストの低下には、視程障害と距離とが関係するため、コントラストに基づいて視程を評価する場合には、目標物までの距離を無視することができない。また、コントラストがどのように低下するかについては、環境光の影響を受ける。そこで、視程評価装置１０では、目標物の位置と距離とを対応付けた距離マップ２１を用い、環境光の情報を取得することで、視程の正確な評価を可能としているのである。

図４は、視程評価装置１０による視程評価の処理手順を示すフローチャートである。まず、撮像制御部３１は、カメラ１１を制御し、画像の撮像を実行する（ステップＳ１０２）。カメラ１１が撮像した画像は、画像取得部３２によって取得される。対応関係特定部３３は、カメラ１１の撮像範囲を判別し、撮像範囲と距離マップ２１との対応関係を特定する（ステップＳ１０３）。

特徴量算出部３５は、撮像範囲と距離マップ２１との対応関係に基づいて、目標物の位置を含む矩形領域を画像から切り出し（ステップＳ１０４）、切り出した矩形領域のコントラストを特徴量として算出する（ステップＳ１０５）。

距離情報取得部３６は、撮像範囲と距離マップ２１との対応関係を用い、撮像範囲に含まれる目標物の距離情報を距離マップ２１から取得する（ステップＳ１０６）。また、環境光情報取得部３４は、画像の撮像時点における照度計１２の出力を環境光情報として取得する（ステップＳ１０７）。

視程評価部３８は、環境光情報取得部３４、特徴量算出部３５及び距離情報取得部３６の出力から入力データを構築し（ステップＳ１０８）、視程評価モデル２２に構築した入力データを与えて視程を評価する（ステップＳ１０９）。その後、視程評価部３８は、視程の評価結果は、評価結果を出力し（ステップＳ１１０）、処理を終了する。

図５は、視程評価装置１０による機械学習の処理手順を示すフローチャートである。ステップＳ２０１～ステップＳ２０７は、図４に示したステップＳ１０１～ステップＳ１０７と同様であるので、説明を省略する。ステップＳ２０７の後、機械学習部３７は、学習用の視程評価結果を受け付け（ステップＳ２０８）、環境光情報取得部３４、特徴量算出部３５及び距離情報取得部３６の出力と対応付けて教師データを構築する（ステップＳ２０９）。機械学習部３７は、構築した教師データを用いて視程評価モデル２２の機械学習を実行し（ステップＳ２１０）、機械学習の結果として得られた視程評価モデル２２を記憶部２０に保存して（ステップＳ２１１）、処理を終了する。

図６及び図７は、複数の目標物を利用した視程障害の検知についての説明図である。図６では、カメラ１１から１ｋｍの地点に目標物Ｂ１１が存在し、カメラ１１から２ｋｍの地点に目標物Ｂ１２が存在し、カメラ１１から３ｋｍの地点に目標物Ｂ１２が存在する場合を示している。カメラ１１がこれらの目標物Ｂ１１～Ｂ１３を撮像すると、それぞれの像について距離に応じたコントラストの減衰が生じる。ここで、目標物Ｂ１３の像のコントラストが、距離による減衰から逸脱して低下していたならば、目標物Ｂ１３のよりも手前に視程障害が存在することになる。したがって、例えば目標物Ｂ１２の像のコントラストの低下が距離による減衰に従っていれば、視程評価装置１０は、２ｋｍから３ｋｍの間に視程障害を検知したと判定することができる。

図７では、カメラ１１から２ｋｍの地点に目標物Ｂ２１～Ｂ２３が存在し、カメラ１１から目標物Ｂ２１～Ｂ２３の方向が異なっている。ここで、目標物Ｂ２３の像のコントラストが、距離による減衰から逸脱して低下していたならば、視程評価装置１０は、目標物Ｂ２３の方向に視程障害を検知したと判定することができる。

図８は、距離マップの登録についての説明図である。図８に示した表示画面Ｄ１は、例えば、入出力装置１３に含まれるディスプレイに表示すればよい。表示画面Ｄ１は、カメラ画像の表示領域と、コントラストの表示領域と、距離マップの設定領域とを有する。カメラ画像の表示領域は、カメラ１１が撮像した画像をカメラ画像として表示する。コントラストの表示領域は、カメラ画像の輝度分布を表示することでコントラストを示している。

表示画面Ｄ１における距離マップの設定領域は、カメラ画像と対応付けられており、カメラ画像に含まれる目標物の像の位置に対して矩形領域を設定し、目標物の距離を入力することで、目標物の位置と距離を対応づけて距離マップ２１として登録することができる。また、設定した位置と距離は適宜表示して確認し、修正可能である。なお、図８では、カメラ画像の表示領域と距離マップの設定領域を並べているが、カメラ画像の表示領域に距離マップの設定領域を重畳してもよい。

図９は、カメラの方向と精度についての説明図である。表示画面Ｄ２ａでは、カメラの方向が適正であり、撮像範囲と距離マップとが正しく対応している。このため、距離マップ２１に設定された目標物の位置に基づいて矩形領域の位置を決定し、カメラ画像から切り出すと、目標物全体の像を含んで切り出しを行うことができる。

一方、表示画面Ｄ２ｂでは、カメラの方向にずれが生じている。このため、距離マップ２１に設定された目標物の位置に基づいて矩形領域の位置を決定し、カメラ画像から切り出すと、目標物全体の像を含んだ切り出しにならない。この結果、矩形領域の画像の特徴量と距離情報とが不整合となり、視程の評価の精度は著しく低下することになる。

カメラ方向と精度の関係は、距離マップ２１の評価に用いることも可能である。すなわち、カメラ方向を意図的にずらしたときに精度が顕著に低下したならば、距離マップ２１が適正に設定され、利用されていたと判定することができる。

図１０は、視程の評価結果の出力例である。図１０に示した表示画面Ｄ３は、カメラ画像の表示領域と視程評価の表示領域とを有する。カメラ画像には３つの目標物の位置が含まれている。また、視程評価の表示領域には、推定視程、推定精度、目標物の視認可否、視程障害の検知結果などが表示される。図１０では、「推定視程 7.3km」、「推定精度 82％」、「目標物（ａ）8km 視認不可強調表示」、「目標物（ｂ）6km 視認可強調表示」、「目標物（ｃ）0.8km 視認可」、「6kmから8kmの間に視程障害検知」と表示されている。

目標物の距離は、距離マップ２１を参照して取得したものである。また、強調表示は、推定視程の前後の目標物に対して行われている。具体的には、視程評価装置１０は、カメラ画像に破線で示したように、該当する目標物の位置を枠で囲むなどによって強調し、識別可能としている。図１０では、目標物（ｂ）が推定視程の手前に存在し、枠内に目標物（ｂ）の像が含まれている。また、目標物（ｃ）は推定視程よりも遠く、枠内に目標物（ｃ）の像が見えない状態となっている。

実施例１では、建造物を目標物とする構成について説明を行ったが、本実施例２では移動体を目標物とする構成について説明する。図１１は、実施例２に係る視程評価の概念図である。実施例２に係る視程評価装置１０ａは、カメラ１１による撮像を制御し、視程の評価指標となる目標物Ｐ１として航空機の像を含んだ画像を取得する。

さらに、視程評価装置１０ａは、所定の移動体位置管理システムを利用して目標物Ｐ１の位置情報を取得する。例えば、航空機の位置は、レーダーなどを用いて管理されている。また、船舶の位置は、AIS(Automatic Identification System)により得ることができる。視程評価装置１０ａは、これらの移動体位置管理システムを介して目標物の位置を取得し、目標物Ｐ１までの距離情報を算出する。さらに、視程評価装置１０ａは、例えば位置情報を利用して画像から目標物Ｐ１の像を含む矩形領域を切り出し、矩形領域の画像のコントラストを特徴量として算出する（Ｓ１ａ）。また、視程評価装置１０ａは、画像の撮像時の環境光の状態を示す環境光情報を取得する（Ｓ２）。

視程評価装置１０ａは、目標物Ｐ１について算出した距離情報と、画像から算出したコントラストと、環境光情報とを用いて入力データを構築し、視程評価モデル２２ａに構築した入力データを与えて視程を評価する（Ｓ３ａ）。そして、視程評価装置１０は、評価結果を出力する（Ｓ４）。

このように、視程評価装置１０ａは、移動体である目標物Ｐ１を撮像し、目標物Ｐ１の距離情報を位置情報からの算出によって取得して、視程の評価を行うことができる。視程評価装置１０ａの構成については、実施例１と同様であるので、説明を省略する。なお、移動体のみを目標物とする場合には、視程評価装置１０ａは距離マップ２１を必要としない。一方で、移動体と建造物の双方を目標物として利用してもよく、この場合には距離マップ２１を必要に応じて保持すればよい。さらに、建造物ベースの視程評価モデルと移動体ベースの視程評価モデルをそれぞれ設けてもよい。

図１２は、実施例２における複数の視程評価モデルの利用例についての説明図である。まず、視程評価装置１０ａは、実施例１と同様に、建造物の画像と観測員による判定結果から教師データを構築して機械学習を行い、視程評価モデル２２を生成する。この視程評価モデル２２は、建造物を目標物として学習した建造物ベースのモデルであり、拠点依存度が高い。すなわち、カメラ１１の設置地点では高い精度が期待できるが、他の地点で適用できるとは限らない。

その後、視程評価装置１０ａは、移動体の画像と視程評価モデル２２による判定結果から教師データを構築して機械学習を行い、視程評価モデル２２ａを生成する。また、視程評価モデル２２による判定結果に限定されず、観測員による判定結果も教師データの構築に利用可能である。この視程評価モデル２２ａは、移動体を目標物として学習した移動体ベースのモデルであり、拠点依存度が低い。このため、他の拠点への提供や、移動体への搭載といった利用を行うケースでは、視程評価モデル２２よりも視程評価モデル２２ａを用いる方が良好な結果を期待することができる。

視程評価モデル２２ａを他の拠点に提供した場合には、提供先の視程評価装置が視程評価モデル２２ａをそのまま利用してもよい。また、視程評価モデル２２ａを初期モデルとし、提供先の近傍に所在する建造物を目標物として学習を行ってもよい。

視程評価モデル２２ａを移動体に搭載した場合には、例えば移動体は観測員の同行なしで視程を適宜評価することができる。この移動体は、一例として航空機や船舶である。船舶に適用したならば、船舶が他の船舶の画像を撮像して視程を評価することができる。また、車両に搭載し、自動運転などに利用してもよい。

上述してきたように、実施例に係る視程評価装置は、視程の評価指標となる目標物の位置を撮像範囲に含んだ画像を取得し、画像から特徴量を算出し、画像の撮像地点から目標物までの距離情報を取得し、画像の撮像時の環境光の状態を示す環境光情報を取得する。そして、視程評価装置は、特徴量、距離情報及び環境光情報を用いて画像の撮像時の視程を評価する。このため、環境光の変動する屋外などの多様な状況で視程を評価可能な、適用範囲の広い視程評価を実現することができる。

また、実施例に係る視程評価装置は、学習用に与えられた画像、環境光情報及び視程評価結果を用いて機械学習により生成された視程評価モデルを用いて視程を評価することができる。さらに、視程の評価結果とともに、該評価結果の精度を出力することも可能である。

また、実施例に係る視程評価装置は、一例として、画像のコントラストを示す特徴量を用いる。なお、画像の周波数特性、パワースペクトルなど、画像の鮮明さを表す任意の特徴量をコントラストに替えて、またはコントラストとともに用いてもよい。

また、実施例に係る視程評価装置は、目標物の位置を示す位置情報と距離情報とを対応付けた距離マップを記憶する記憶部をさらに備え、撮像装置の制御情報から特定される撮像範囲と距離マップとの対応関係に基づいて距離情報を取得する。

また、実施例に係る視程評価装置は、撮像範囲と距離マップとの対応関係に基づいて、前記目標物の位置を含む所定範囲の像から特徴量を算出することで、評価の精度を向上することができる。

また、実施例に係る視程評価装置は、一例として、照度計の出力を取得して環境光情報として用いる。なお、環境光情報は、照度計に限らず、任意の方法で取得することができる。例えば、カメラ１１の近傍かつカメラ１１の撮像範囲内にある物体の像をリファレンスとして撮像し、この物体の像を画像処理して環境光情報を求めてもよい。
さらに、環境光に限らず、コントラスト等の特徴量に影響を与える各種要因を使用してもよい。具体的には、太陽などの光源の位置を示す情報、時刻情報、季節情報、既知の視程障害の位置情報などを利用することができる。

また、実施例に係る視程評価装置は、撮像範囲に複数の目標物の位置が含まれる場合に、複数の目標物の各々についての視程の評価結果をもとに、視程障害の所在を出力することが可能である。

また、実施例に係る視程評価装置は、評価結果として得られた視程値の近傍に所在する目標物の位置を識別可能に出力することも可能である。

また、実施例に係る視程評価装置は、移動体を目標物とし、移動体から位置情報を取得して視程の評価を行うことができる。

なお、実施例に示した構成及び動作はあくまで一例であり、本発明は適宜構成及び動作を変更して実施することが可能である。

例えば、実施例では、学習と評価を同一の装置で行う場合を例に説明を行ったが、学習と評価を異なる装置が行ってもよい。また、実施例では、カメラ１１の出力を用いてリアルタイムで学習や評価を行う場合を例示したが、過去に撮像された画像データを用いて学習や評価を行うことも可能である。

また、実施例では、推定視程を求め、その前後の目標物を強調表示する場合を示したが、推定視程ではなく各目標物の視認可否を評価結果とする場合にも、同様の強調表示が可能である。具体的には、視認可と判定した目標物のうち距離が最大の目標物と、視認不可と判定した目標物のうち距離が最小の目標物とを強調表示の対象とすればよい。

また、視程評価装置は、画像から撮像の方向のずれを評価し、修正するよう構成してもよい。具体的には、リファレンスとして設定した物体を画像処理によって識別することで撮像範囲と制御情報が対応しているかを判定可能である。この場合に、撮像範囲と制御情報のずれの許容範囲は、最も遠い目標物が適正に切り出せる範囲とすればよい。

１０，１０ａ：視程評価装置、１１：カメラ、１２：照度計、１３：入出力装置、２０：記憶部、２１：距離マップ、２２，２２ａ：視程評価モデル、３０：制御部、３１：撮像制御部、３２：画像取得部、３３：対応関係特定部、３４：環境光情報取得部、３５：特徴量算出部、３６：距離情報取得部、３７：機械学習部、３８：視程評価部

Claims

視程の評価指標となる目標物と撮像装置との位置関係を示す位置情報と、前記撮像装置から前記目標物までの距離を示す距離情報とを対応付けた距離マップを記憶する記憶部と、
前記撮像装置によって撮影された画像を取得する画像取得手段と、
前記撮像装置が前記画像を撮像したときの撮像範囲と前記距離マップから読み出した前記位置情報とに基づいて、前記画像から前記目標物の像の位置を含む部分領域を切り出し、前記部分領域から特徴量を算出する特徴量算出部と、
前記距離マップから前記距離情報を取得する距離情報取得部と、
前記画像の撮像時の環境光の状態を示す環境光情報を取得する環境光情報取得部と、
前記特徴量、前記距離情報及び前記環境光情報を視程評価モデルに入力し、前記視程評価モデルによって出力される視程の距離を、前記画像の撮像時の視程の評価結果とする視程評価部と
を備えたことを特徴とする視程評価装置。
前記特徴量算出部は、前記画像のコントラストを示す特徴量を算出することを特徴とする請求項１に記載の視程評価装置。
前記距離マップは、前記撮像装置により撮像された登録用画像に含まれる目標物の像の位置に対して矩形の部分領域を設定することで前記位置関係を示し、前記部分領域に前記距離情報を対応づけて登録されたデータであり、
前記距離情報取得部は、前記撮像装置の制御情報から特定される前記撮像範囲と前記距離マップの位置情報とに基づいて、前記画像に含まれる部分領域を特定し、前記画像に含まれる部分領域に対応する距離情報を取得する
ことを特徴とする請求項１に記載の視程評価装置。
前記環境光情報取得部は照度計の出力を取得することを特徴とする請求項１に記載の視程評価装置。
前記視程評価部は、複数の目標物の距離情報と、前記複数の目標物にそれぞれ対応する部分領域のコントラストとを用い、コントラストの差が距離情報の差により想定される差から逸脱している場合に、視程障害が発生していると判定することを特徴とする請求項２に記載の視程評価装置。
前記視程評価部は、評価結果として得られた視程の距離の近傍に所在する前記目標物の前記画像における位置を識別可能に出力することを特徴とする請求項１に記載の視程評価装置。
撮像装置によって撮影された画像を取得する画像取得手段と、
前記撮像装置が前記画像を撮像したときの撮像範囲と、視程の評価指標となる移動体の位置の情報とに基づいて、前記画像から前記移動体の像の位置を含む部分領域を切り出し、前記部分領域から特徴量を算出する特徴量算出部と、
前記移動体の位置に基づいて前記撮像装置から前記移動体までの距離を示す距離情報を取得する距離情報取得部と、
前記画像の撮像時の環境光の状態を示す環境光情報を取得する環境光情報取得部と、
前記特徴量、前記距離情報及び前記環境光情報を視程評価モデルに入力し、前記視程評価モデルによって出力される視程の距離を、前記画像の撮像時の視程の評価結果とする視程評価部と
を備えたことを特徴とする視程評価装置。
視程の評価指標となる目標物と撮像装置との位置関係を示す位置情報と、前記撮像装置から前記目標物までの距離を示す距離情報とを対応付けた距離マップを記憶する記憶部と、
前記撮像装置によって撮影された画像を取得する画像取得手段と、
前記撮像装置が前記画像を撮像したときの撮像範囲と前記距離マップから読み出した前記位置情報とに基づいて、前記画像から前記目標物の像の位置を含む部分領域を切り出し、前記部分領域から特徴量を算出する特徴量算出部と、
前記距離マップから前記距離情報を取得する距離情報取得部と、
前記画像の撮像時の環境光の状態を示す環境光情報を取得する環境光情報取得部と、
前記特徴量、前記距離情報及び前記環境光情報を視程評価モデルに入力し、前記視程評価モデルによって出力される視程の距離を、前記画像の撮像時の視程の評価結果とする視程評価部と
を備えたことを特徴とする視程評価システム。
視程の評価指標となる目標物と撮像装置との位置関係を示す位置情報と、前記撮像装置から前記目標物までの距離を示す距離情報とを対応付けた距離マップを記憶した視程評価装置が、前記撮像装置によって撮影された画像を取得する画像取得ステップと、
前記視程評価装置が、前記撮像装置が前記画像を撮像したときの撮像範囲と前記距離マップから読み出した前記位置情報とに基づいて、前記画像から前記目標物の像の位置を含む部分領域を切り出し、前記部分領域から特徴量を算出する特徴量算出ステップと、
前記視程評価装置が、前記距離マップから前記距離情報を取得する距離情報取得ステップと、
前記視程評価装置が、前記画像の撮像時の環境光の状態を示す環境光情報を取得する環境光情報取得ステップと、
前記視程評価装置が、前記特徴量、前記距離情報及び前記環境光情報を視程評価モデルに入力し、前記視程評価モデルによって出力される視程の距離を、前記画像の撮像時の視程を評価結果とする視程評価ステップと
を含むことを特徴とする視程評価方法。