JP7273438B1

JP7273438B1 - 鮮明化装置、鮮明化プログラムおよび鮮明化方法

Info

Publication number: JP7273438B1
Application number: JP2022112365A
Authority: JP
Inventors: 紫郁後藤; 和真金子
Original assignee: IWASAKI CO., LTD.
Current assignee: IWASAKI CO., LTD.
Priority date: 2022-07-13
Filing date: 2022-07-13
Publication date: 2023-05-15
Anticipated expiration: 2042-07-13
Also published as: JP2024010834A

Abstract

【課題】視界不良時の画像を鮮明化処理してユーザの見易さに加え、ＡＩによる物体の検出精度・識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高められる鮮明化装置、鮮明化プログラムおよび鮮明化方法を提供する。【解決手段】鮮明化装置１は、色調を調整する色調調整部３３と、物体の輪郭を強調する輪郭強調部３４と、光度を調整する光度調整部３５と、物体を検出する物体検出部３６と、物体の種別を識別する物体識別部３７と、物体座標を特定する物体座標特定部３９と、物体の危険度を判定する危険度判定部４０と、表示データを生成する表示データ生成部４１と、鮮明化画像を表示手段に出力する鮮明化画像出力部４２と、を有する。【選択図】図２

Description

本発明は、吹雪等による視界不良時に撮像された入力画像を鮮明化してＡＩ（Artificial Intelligence）による物体の検出精度を向上するとともに、ユーザが対象物体を視認し易くするのに好適な鮮明化装置、鮮明化プログラムおよび鮮明化方法に関するものである。

従来、走行中の車両等から撮像された不鮮明な画像を鮮明化する技術が知られている。例えば、特開２０２１－１７０７５６号公報には、夜間画像における車両の１組のヘッドライトの周辺領域の鮮明化及び車両の背景の鮮明化の両立が可能な画像処理装置が提案されている（特許文献１）。

特開２０２１－１７０７５６号公報

しかしながら、特許文献１に記載の装置を含め、従来の鮮明化装置は、吹雪等による視界不良時の画像を鮮明化するものではない。このため、道路を維持・管理する除雪車や凍結防止剤の散布車等は、吹雪等によって視界不良になると、安定した速度で走行することが困難となるため、作業が遅延してしまうという問題がある。また、視界不良中の走行には細心の注意が必要となるため、運転手の心理的負担が大きいという問題もある。

特に、猛吹雪等によって視界が奪われてしまう、いわゆるホワイトアウトが発生すると、接触事故等のおそれが高まり、作業の中止や中断が余儀なくされるほど、車両で走行することが極めて危険な状態となる。しかしながら、救急車や消防車等の緊急車両は、そのような状況下でも走行しなければならないため、少しでも安全な走行を支援する技術が望まれている。

さらに、吹雪等の劣悪環境下での走行は身体的負担および心理的負担が大きく、集中力も持続しにくい状況であるところ、従来の鮮明化装置では、単に不鮮明な画像を鮮明化するに過ぎず、画像中の物体を自動的に検知し、その危険度等を警告する機能を備えていない。このため、走行中の車両から撮像した画像を単に鮮明化しただけでは、その鮮明化された画像を注意深く凝視しなければ障害物等を見逃してしまい、大きな事故につながるおそれがある。

本発明は、このような問題点を解決するためになされたものであって、視界不良時の画像を鮮明化処理してユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高めることができる鮮明化装置、鮮明化プログラムおよび鮮明化方法を提供することを目的としている。

本発明に係る鮮明化装置は、視界不良時の画像を鮮明化処理してユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高めるという課題を解決するために、撮像手段によって撮像された入力画像を鮮明化する鮮明化装置であって、ＡＩによる物体の検出・識別精度、およびユーザによる物体の視認し易さの双方を向上させるために入力画像を鮮明化する鮮明化機能と、鮮明化された入力画像からＡＩによって物体を検出・識別する物体検出機能と、ＡＩによって検出された物体の危険度を推定する危険度推定機能と、を備え、前記鮮明化機能は、前記入力画像に対し、雪の影響が低減されるように色調を調整する色調調整部と、前記入力画像中に含まれる物体の輪郭を強調する輪郭強調部と、前記入力画像に対し、前記物体が見え易くなるように光度を調整する光度調整部と、によって機能し、前記物体検出機能は、前記入力画像中に含まれる物体を物体検出用学習済みモデルによって検出する物体検出部と、前記物体検出部によって検出された前記物体の種別を物体識別用学習済みモデルによって識別する物体識別部と、によって機能し、前記危険度推定機能は、前記物体検出部によって検出された前記物体の物体座標を特定する物体座標特定部と、前記物体座標が危険区域内にあるか否かに基づいて、前記物体の危険度を判定する危険度判定部と、前記物体識別部によって識別された物体の種別と、前記危険度判定部によって判定された危険度に応じたステータスとを含む表示データを生成する表示データ生成部と、によって機能し、前記色調調整部、前記輪郭強調部および前記光度調整部によって鮮明化された前記入力画像に前記表示データを重畳させた鮮明化画像を表示手段に出力する鮮明化画像出力部を有する。

また、本発明の一態様として、入力画像中に含まれる物体のユーザによる見やすさを向上させるという課題を解決するために、前記光度調整部は、事前に撮影された同一時間内における複数の吹雪画像において、前記物体検出部による物体の検知数が最大となる光度に、前記入力画像の光度を調整してもよい。

さらに、本発明の一態様として、入力画像における雪の影響を低減するとともに、オリジナルに近い色調を再現するという課題を解決するために、前記色調調整部は、白およびグレー系の色の分量を相対的に低くする一方、濃い色の分量を相対的に高くすることにより、前記入力画像の色調を調整してもよい。

また、本発明の一態様として、リアルタイムでの鮮明化処理を担保するという課題を解決するために、前記入力画像の画素数および縦横比を規定値に変換する入力画像変換部を有していてもよい。

さらに、本発明の一態様として、検出された物体の大きさや位置を一目で瞬時に判別するという課題を解決するために、前記物体検出部によって検出された前記物体を取り囲む境界枠線を生成する境界枠線生成部を有しており、前記表示データ生成部は、前記境界枠線をさらに含む表示データを生成してもよい。

本発明に係る車両は、視界不良時の画像を鮮明化処理してユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高めることが可能な車両を提供するという課題を解決するために、上述したいずれかの態様の鮮明化装置を搭載したものである。

本発明に係る鮮明化プログラムは、視界不良時の画像を鮮明化処理してユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高めるという課題を解決するために、撮像手段によって撮像された入力画像を鮮明化する鮮明化プログラムであって、コンピュータに、ＡＩによる物体の検出・識別精度、およびユーザによる物体の視認し易さの双方を向上させるために入力画像を鮮明化する鮮明化機能と、鮮明化された入力画像からＡＩによって物体を検出・識別する物体検出機能と、ＡＩによって検出された物体の危険度を推定する危険度推定機能と、を実現させ、前記鮮明化機能は、前記入力画像に対し、雪の影響が低減されるように色調を調整する色調調整部と、前記入力画像中に含まれる物体の輪郭を強調する輪郭強調部と、前記入力画像に対し、前記物体が見え易くなるように光度を調整する光度調整部と、によって機能され、前記物体検出機能は、前記入力画像中に含まれる物体を物体検出用学習済みモデルによって検出する物体検出部と、前記物体検出部によって検出された前記物体の種別を物体識別用学習済みモデルによって識別する物体識別部と、によって機能され、前記危険度推定機能は、前記物体検出部によって検出された前記物体の物体座標を特定する物体座標特定部と、前記物体座標が危険区域内にあるか否かに基づいて、前記物体の危険度を判定する危険度判定部と、前記物体識別部によって識別された物体の種別と、前記危険度判定部によって判定された危険度に応じたステータスとを含む表示データを生成する表示データ生成部と、によって機能され、前記色調調整部、前記輪郭強調部および前記光度調整部によって鮮明化された前記入力画像に前記表示データを重畳させた鮮明化画像を表示手段に出力する鮮明化画像出力部としてコンピュータを機能させる。

本発明に係る鮮明化方法は、視界不良時の画像を鮮明化処理してユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高めるという課題を解決するために、撮像手段によって撮像された入力画像を鮮明化する鮮明化方法であって、前記入力画像に対し、雪の影響が低減されるように色調を調整する色調調整ステップと、前記入力画像中に含まれる物体の輪郭を強調する輪郭強調ステップと、前記入力画像に対し、前記物体が見え易くなるように光度を調整する光度調整ステップと、前記入力画像中に含まれる物体を物体検出用学習済みモデルによって検出する物体検出ステップと、前記物体検出部によって検出された前記物体の種別を物体識別用学習済みモデルによって識別する物体識別ステップと、前記物体検出部によって検出された前記物体の物体座標を特定する物体座標特定ステップと、前記物体座標が危険区域内にあるか否かに基づいて、前記物体の危険度を判定する危険度判定ステップと、前記物体識別部によって識別された物体の種別と、前記危険度判定部によって判定された危険度に応じたステータスとを含む表示データを生成する表示データ生成ステップと、前記色調調整部、前記輪郭強調部および前記光度調整部によって鮮明化された前記入力画像に前記表示データを重畳させた鮮明化画像を表示手段に出力する鮮明化画像出力ステップと、を有する。

本発明によれば、視界不良時の画像を鮮明化処理してユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高めることができる。

本発明に係る鮮明化装置を搭載した車両を示す図である。本発明に係る鮮明化装置の一実施形態を示すブロック図である。本実施形態における（ａ）鮮明化処理前の入力画像、および（ｂ）鮮明化処理後の入力画像を示す画像である。本実施形態において、物体の種別および境界枠線が表示された鮮明化画像を示す図である。本実施形態の鮮明化画像において、（ａ）「DANGER（危険）」のステータスが表示された状態、および（ｂ）「SAFE（安全）」のステータスが表示された状態を示す図である。本実施形態の鮮明化装置および鮮明化プログラムによって実行される鮮明化方法を示すフローチャートである。

以下、本発明に係る鮮明化装置、鮮明化プログラムおよび鮮明化方法の一実施形態について図面を用いて説明する。

本実施形態の鮮明化装置１は、図１に示すように、パトロール車や除雪車等の車両１０に搭載されており、Ｗｅｂカメラ等の撮像手段５によって撮像された入力画像を鮮明化するとともに、当該入力画像内の物体を自動的に検出・識別し、鮮明化した入力画像と合わせて物体の種別や危険度を液晶モニタ等の表示手段６にリアルタイムで表示させるようになっている。

本実施形態において、鮮明化装置１は、頑健性の高い筐体を備えたパーソナルコンピュータ等のコンピュータによって構成されており、過酷な使用条件となる作業車等に常時搭載して使用しうるようになっている。また、鮮明化装置１は、図２に示すように、主として、記憶手段２と、演算処理手段３とを有しており、この演算処理手段３は、鮮明化装置１が備える鮮明化機能、物体検出機能および危険度推定機能を実現させる複数の機能部を有している。

本実施形態において、鮮明化機能は、ＡＩ（Artificial Intelligence）による物体の検出・識別精度、およびユーザによる物体の見やすさの双方を向上させるために入力画像を鮮明化する機能である。また、物体検出機能は、鮮明化された入力画像からＡＩによって物体を検出・識別する機能である。さらに、危険度推定機能は、ＡＩによって検出された物体の危険度を推定する機能である。

記憶手段２は、各種のデータを記憶するとともに、演算処理手段３が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段２は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、図２に示すように、プログラム記憶部２１と、学習済みモデル記憶部２２と、ビデオメモリ２３とを有している。

プログラム記憶部２１には、本実施形態の鮮明化方法を実行するための鮮明化プログラム１ａがインストールされている。そして、演算処理手段３が鮮明化プログラム１ａを実行することにより、鮮明化装置１としてのコンピュータを後述する各構成部として機能させるようになっている。

学習済みモデル記憶部２２は、ＡＩの中核となる学習済みモデルを記憶するものである。本実施形態において、学習済みモデル記憶部２２には、入力画像中に含まれる物体を検出するための物体検出用学習済みモデル２２ａと、検出された物体の種別を識別するための物体識別用学習済みモデル２２ｂとが記憶されている。

物体検出用学習済みモデル２２ａは、入力画像中の背景と物体とを分離し、何らかの物体があることを検出するように機械学習されており、入力画像を入力すると物体の位置を出力するようになっている。また、物体識別用学習済みモデル２２ｂは、様々な物体を撮影した物体画像と、当該物体画像の種別名とで構成される学習用データセットを用いて機械学習されており、物体検出用学習済みモデル２２ａが出力した物体の位置に対応するトリミング画像を入力すると種別名を出力するようになっている。

なお、本実施形態において、物体検出用学習済みモデル２２ａおよび物体識別用学習済みモデル２２ｂは、蒸留(Distillation)、枝刈り(Pruning)、量子化(Quantize)等の手法によって軽量化されており、処理速度が向上されている。蒸留は、学習済みモデルの予測結果を教師データとし、より小さいモデルを学習することで軽量化する。枝刈りは、学習済みモデルの重みやノードを削除することで軽量化する。量子化は、学習済みモデルに含まれるパラーメータを少ないビットで表現することで、ネットワークの構造を変えずに軽量化する。

また、鮮明化プログラム１ａおよび各学習済みモデル２２ａ，２２ｂの利用形態は、上記構成に限られるものではない。例えば、ＵＳＢメモリやＣＤ－ＲＯＭ等のように、コンピュータで読み取り可能な非一時的な記録媒体に鮮明化プログラム１ａや各学習済みモデル２２ａ，２２ｂを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、鮮明化プログラム１ａおよび各学習済みモデル２２ａ，２２ｂをパッケージ化し、スマートフォンやタブレット用のアプリケーションとしてダウンロード可能にしてもよい。さらに、鮮明化プログラム１ａや各学習済みモデル２２ａ，２２ｂを外部サーバ等へ格納しておき、クラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式で利用してもよい。

また、各学習済みモデル２２ａ，２２ｂを機械学習させる手法としては、ディープラーニングを用いた教師あり学習を採用しているが、これに限定されるものではなく、入力データと出力データとの相関関係を学習用データセットから学習できるものであれば、他の学習手法を採用してもよい。

ビデオメモリ２３は、表示手段６に表示される内容を記憶するものである。本実施形態において、ビデオメモリ２３には、鮮明化処理された後の入力画像と、後述する表示データとが一時保存され、鮮明化画像として表示手段６にリアルタイムで出力されるようになっている。

つぎに、演算処理手段３は、ＣＰＵ（Central Processing Unit）等で構成されており、プログラム記憶部２１にインストールされた鮮明化プログラム１ａを実行することにより、図２に示すように、入力画像取得部３１と、入力画像変換部３２と、鮮明化機能を実現する色調調整部３３、輪郭強調部３４および光度調整部３５と、物体検出機能を実現する物体検出部３６、物体識別部３７および境界枠線生成部３８と、危険度推定機能を実現する物体座標特定部３９、危険度判定部４０および表示データ生成部４１と、鮮明化画像出力部４２として機能する。以下、各構成部についてより詳細に説明する。

入力画像取得部３１は、入力画像を取得するものである。本実施形態において、入力画像取得部３１は、撮像手段５によって撮像された動画像をフレームごとに入力画像として取得し、連続的に入力画像変換部３２へ出力する。

入力画像変換部３２は、入力画像をリアルタイムで鮮明化処理し得るように前処理するものである。本実施形態において、入力画像変換部３２は、入力画像取得部３１から連続的に出力される入力画像の画素数および縦横比を予め定めた規定値に変換する。この規定値は、鮮明化装置１や撮像手段５のスペックに応じて、鮮明化画像がリアルタイムで安定して出力される程度の処理速度を担保するように設定される。なお、処理速度が速い鮮明化装置１を使用する場合や、入力画像のサイズが小さい撮像手段５を使用する場合、入力画像変換部３２によって変換処理しても結果的に変わらない。よって、そのような場合は入力画像変換部３２を設けなくてもよい。

色調調整部３３は、入力画像に対し、雪の影響が低減されるように色調を調整するものである。本実施形態において、色調調整部３３は、入力画像に対し、雪やモヤに近い色である白およびグレー系の色の分量を相対的に低くする一方、その他の濃い色の分量を相対的に高くすることにより、入力画像の色調を調整する。これにより、入力画像における雪の影響が低減されるとともに、各物体のオリジナルに近い色調が再現される。

輪郭強調部３４は、入力画像中に含まれる物体の輪郭を強調するものである。本実施形態において、輪郭強調部３４は、入力画像に対して平滑化処理を行って事前にノイズを除去する。その後、輪郭強調部３４は、各画素の一次微分における極大値や極小値に基づいて輪郭を検出し、その輪郭部分を濃くすることで輪郭を強調するようになっている。

光度調整部３５は、入力画像に対し、物体が見え易くなるように光度を調整するものである。本実施形態では、入力画像中の物体が見え易くなる光度を特定するにあたって、様々な時間帯や様々な道路において事前に撮影された複数の吹雪画像を用意する。そして、同一時間（例：３秒間等）内における複数の吹雪画像において、後述する物体検出部３６による物体の検知数が最大となる光度を最適な光度として事前に特定しておく。光度調整部３５は、このように特定された光度に入力画像の光度を調整した後、ビデオメモリ２３へ出力する。

上述した色調調整部３３、輪郭強調部３４および光度調整部３５によって機能する鮮明化機能によって、図３（ａ）に示すような吹雪等によって視界がほぼ奪われた入力画像であっても、図３（ｂ）に示すように、雪の影響が除去され、各物体がオリジナルの色調で識別可能なレベルまでくっきりと鮮明化される。

物体検出部３６は、入力画像中に含まれる物体を物体検出用学習済みモデル２２ａによって検出するものである。本実施形態において、物体検出部３６は、色調調整部３３、輪郭強調部３４および光度調整部３５によって鮮明化された入力画像を、学習済みモデル記憶部２２に記憶されている物体検出用学習済みモデル２２ａに入力し、当該物体検出用学習済みモデル２２ａが出力する物体の位置を取得する。そして、当該物体の位置に対応するトリミング画像を物体識別部３７に出力する。

物体識別部３７は、物体検出部３６によって検出された物体の種別を物体識別用学習済みモデル２２ｂによって識別するものである。本実施形態において、物体識別部３７は、物体検出部３６から取得したトリミング画像を、学習済みモデル記憶部２２に記憶されている物体識別用学習済みモデル２２ｂに入力し、当該物体識別用学習済みモデル２２ｂが出力する物体の種別を表示データ生成部４１に出力する。

境界枠線生成部３８は、物体検出部３６によって検出された物体を取り囲む境界枠線を生成するものである。本実施形態において、境界枠線生成部３８は、図４に示すように、物体検出部３６によって検出された物体の上端、下端、左端および右端のそれぞれに外接する四角形状の枠線を境界枠線として生成し、当該境界枠線を表示データ生成部４１に出力する。なお、境界枠線の形状は四角形状に限定されるものではなく、多角形や円形等であってもよい。また、鮮明化画像において境界枠線が不要な場合は、境界枠線生成部３８を設ける必要はない。

物体座標特定部３９は、物体検出部３６によって検出された物体の物体座標を特定するものである。本実施形態において、物体座標特定部３９は、入力画像の画像座標系における、境界枠線内の一点の座標（ｘ，ｙ）を物体座標として特定する。なお、境界枠線内の一点としては、境界枠線の中心点や、境界枠線上の一点など、適宜設定可能である。また、境界枠線を生成しない場合は、物体の中心点や輪郭線上の一点を物体座標として設定してもよい。

危険度判定部４０は、物体座標が危険区域内にあるか否かに基づいて、物体の危険度を判定するものである。本実施形態では、図４に示すように、入力画像において、車両の前方手前側に相当する台形状の領域が接触する可能性の高い領域であるため、物体の危険度を判定するための危険区域として予め画像座標を用いて設定されている。そして、危険度判定部４０は、物体座標が危険区域内にある場合は、物体が危険な距離に存在するものと推定し、物体のステータスを「危険」と判定する。一方、物体座標が危険区域内にない場合は、物体が安全な距離に存在するものと推定し、物体のステータスを「安全」と判定する。

なお、判定結果としてのステータスは、「危険」または「安全」の二種類に限定されるものではなく、適宜、増減してもよい。例えば、危険区域の外側に一回り大きな警告区域を設定し、物体座標が警告区域内にある場合は、「警告（危険に近い状態）」と判定してもよい。

表示データ生成部４１は、入力画像に重畳させる表示データを生成するものである。本実施形態において、表示データ生成部４１は、物体識別部３７によって識別された物体の種別と、危険度判定部４０によって判定された危険度に応じたステータスと、境界枠線生成部３８によって生成された境界枠線とを含む表示データを生成し、ビデオメモリ２３へ出力する。

物体の種別としては、図４に示すように、人、車、信号、矢羽根（道路と路肩の境界線を示す標識）等のように、識別された物体の名称ラベルが表示データに含まれる。ステータスとしては、図５（ａ），（ｂ）に示すように、危険度判定部４０による判定結果に応じて、赤色ラベルの「DANGER（危険）」、または青色ラベルの「SAFE（安全）」等のステータスが表示データに含まれる。境界枠線としては、図４に示すように、四角形状の枠線が表示データに含まれる。

鮮明化画像出力部４２は、鮮明化画像を表示手段６に出力するものである。本実施形態において、鮮明化画像出力部４２は、色調調整部３３、輪郭強調部３４および光度調整部３５によって鮮明化された入力画像に、表示データ生成部４１によって生成された表示データが重畳された鮮明化画像をビデオメモリ２３から読み出し、リアルタイムで表示手段６に出力する。

つぎに、本実施形態の鮮明化装置１、鮮明化プログラム１ａおよび鮮明化方法による作用について説明する。

本実施形態の鮮明化装置１、鮮明化プログラム１ａおよび鮮明化方法を用いて入力画像を鮮明化する場合、図６に示すように、入力画像取得部３１が、撮像手段５から入力画像を取得する（ステップＳ１：入力画像取得ステップ）。つぎに、入力画像変換部３２が、当該入力画像の画素数および縦横比を規定値に変換する（ステップＳ２：入力画像変換ステップ）。これにより、鮮明化に係る処理速度の遅延が防止され、鮮明化画像がリアルタイムで安定して出力される。

つづいて、色調調整部３３が、入力画像に対し、雪の影響が低減されるように色調を調整する（ステップＳ３：色調調整ステップ）。これにより、入力画像における吹雪や巻き上がる雪の影響が低減されるため、前後方向の位置関係を認識し易くなり、肉眼で見る場合と比較して、前方に存在する物体を視認し易くなる。また、雪以外の物体については、オリジナルに近い色調が再現されるため、物体を一目で認識し易くなる。

つぎに、輪郭強調部３４が、入力画像中に含まれる物体の輪郭を強調する（ステップＳ４：輪郭強調ステップ）。これにより、入力画像中の背景に対して、物体の輪郭が際立たせられるため、物体検出部３６による検出処理や、物体識別部３７による識別処理の精度が向上する。

つづいて、光度調整部３５が、入力画像に対し、物体が見え易くなるように光度を調整する（ステップＳ５：光度調整ステップ）。これにより、光の反射等による目の錯乱が抑制され、入力画像に含まれる物体のユーザによる見やすさが向上する。そして、以上のステップＳ３からステップＳ５の鮮明化処理により、吹雪等による視界不良時の入力画像がオリジナルに近い色調で鮮明化される。このため、ユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度が向上する。

つぎに、物体検出部３６が、入力画像中に含まれる物体を物体検出用学習済みモデル２２ａによって検出する（ステップＳ６：物体検出ステップ）。これにより、入力画像中の背景と物体とが高精度に分離され、入力画像中に何らかの物体があることが検出される。

つづいて、物体識別部３７が、ステップＳ６で検出された物体の種別を物体識別用学習済みモデル２２ｂによって識別する（ステップＳ７：物体識別ステップ）。これにより、入力画像中に含まれる物体の種別が高精度に識別され、その識別された種別の名称等が鮮明化画像に表示される。このため、入力画像のみからでは見分けにくい物体であっても識別可能となる。

つぎに、境界枠線生成部３８が、ステップＳ６で検出された物体を取り囲む境界枠線を生成する（ステップＳ８：境界枠線生成ステップ）。これにより、入力画像中に含まれる各物体が境界枠線によって取り囲まれるため、検出された物体の大きさや位置が一目瞭然となる。

つづいて、物体座標特定部３９が、ステップＳ６で検出された物体の物体座標を特定すると（ステップＳ９：物体座標特定ステップ）、危険度判定部４０が、当該物体座標が危険区域内にあるか否かに基づいて、物体の危険度を判定する（ステップＳ１０：危険度判定ステップ）。

その判定の結果、物体座標が危険区域内にある場合（ステップＳ１０：ＹＥＳ）、当該物体のステータスは「危険」であると判定し（ステップＳ１１）、物体座標が危険区域内にない場合（ステップＳ１０：ＮＯ）、当該物体のステータスは「安全」であると判定する（ステップＳ１２）。これにより、物体の距離に応じた危険度が自動的に推定される。

つぎに、表示データ生成部４１が、入力画像に重畳させる表示データを生成する（ステップＳ１３：表示データ生成ステップ）。これにより、物体識別部３７によって識別された物体の種別と、危険度判定部４０によって判定された危険度に応じたステータスと、境界枠線生成部３８によって生成された境界枠線とを含む表示データが、ビデオメモリ２３へ出力される。

つづいて、鮮明化画像出力部４２が、鮮明化画像を表示手段６に出力する（ステップＳ１４：鮮明化画像出力ステップ）。これにより、表示手段６には、鮮明化処理された入力画像に表示データが重畳された鮮明化画像が表示される。これにより、ユーザは鮮明化画像から直接物体を視認しやすくなるとともに、物体の種別や危険度が補助的に報知されるため、視界不良時であっても確実に障害物や対向車等を感知する。

その後、鮮明化装置１の電源オフ等により、鮮明化処理の終了が指示されない限り（ステップＳ１５：ＮＯ）、上述したステップＳ１からステップＳ１４までの処理が繰り返され、表示手段６には鮮明化画像がリアルタイムで表示され続ける。一方、鮮明化処理の終了が指示されると（ステップＳ１５：ＹＥＳ）、本処理は終了する。

以上のような本実施形態の鮮明化装置１、鮮明化プログラム１ａおよび鮮明化方法によれば、以下のような効果を奏する。
１．視界不良時の画像を鮮明化処理してユーザによる見やすさに加えて、当該鮮明化処理によってＡＩによる物体の検出精度および識別精度を向上するとともに、ＡＩにより識別された物体の種別や危険度をユーザに報知し安全性を高めることができる。
２．視界不良時であっても、車両１０を安定した速度で走行させられるとともに、運転手の心理的負担を軽減することができる。
３．従来、走行が困難であった視界条件（ホワイトアウト等）でも走行を可能とし、作業車両や緊急車両の待機時間や中断時間を削減することができる。
４．光度の調整によって、入力画像中に含まれる物体のユーザによる見やすさを向上することができる。
５．色調の調整によって、入力画像における雪の影響を低減するとともに、オリジナルに近い色調を再現することができる。
６．入力画像の変換によって、リアルタイムでの鮮明化処理を担保することができる。
７．境界枠線によって、検出された物体の大きさや位置を一目で瞬時に判別しやすく表示することができる。

なお、本発明に係る鮮明化装置１、鮮明化プログラム１ａおよび鮮明化方法は、前述した実施形態に限定されるものではなく、適宜変更することができる。

例えば、上述した本実施形態では、撮像手段５および表示手段６が、鮮明化装置１とは別体に構成されているが、この構成に限定されるものではない。例えば、スマートフォンやタブレット等の携帯端末に鮮明化プログラム１ａをインストールし、鮮明化装置１として構成した場合、携帯端末に搭載されたカメラが撮像手段５となり、携帯端末のタッチパネルが表示手段６となるため、全てが一体的に構成されることとなる。

１鮮明化装置
１ａ鮮明化プログラム
２記憶手段
３演算処理手段
５撮像手段
６表示手段
１０車両
２１プログラム記憶部
２２学習済みモデル記憶部
２２ａ物体検出用学習済みモデル
２２ｂ物体識別用学習済みモデル
２３ビデオメモリ
３１入力画像取得部
３２入力画像変換部
３３色調調整部
３４輪郭強調部
３５光度調整部
３６物体検出部
３７物体識別部
３８境界枠線生成部
３９物体座標特定部
４０危険度判定部
４１表示データ生成部
４２鮮明化画像出力部

Claims

撮像手段によって撮像された入力画像を鮮明化する鮮明化装置であって、
ＡＩによる物体の検出・識別精度、およびユーザによる物体の視認し易さの双方を向上させるために入力画像を鮮明化する鮮明化機能と、
鮮明化された入力画像からＡＩによって物体を検出・識別する物体検出機能と、
ＡＩによって検出された物体の危険度を推定する危険度推定機能と、を備え、
前記鮮明化機能は、
前記入力画像に対し、雪の影響が低減されるように色調を調整する色調調整部と、
前記入力画像中に含まれる物体の輪郭を強調する輪郭強調部と、
前記入力画像に対し、前記物体が見え易くなるように光度を調整する光度調整部と、
によって機能し、
前記物体検出機能は、
前記入力画像中に含まれる物体を物体検出用学習済みモデルによって検出する物体検出部と、
前記物体検出部によって検出された前記物体の種別を物体識別用学習済みモデルによって識別する物体識別部と、
によって機能し、
前記危険度推定機能は、
前記物体検出部によって検出された前記物体の物体座標を特定する物体座標特定部と、
前記物体座標が危険区域内にあるか否かに基づいて、前記物体の危険度を判定する危険度判定部と、
前記物体識別部によって識別された物体の種別と、前記危険度判定部によって判定された危険度に応じたステータスとを含む表示データを生成する表示データ生成部と、
によって機能し、
前記色調調整部、前記輪郭強調部および前記光度調整部によって鮮明化された前記入力画像に前記表示データを重畳させた鮮明化画像を表示手段に出力する鮮明化画像出力部を有し、
前記色調調整部は、白およびグレー系の色の分量を相対的に低くする一方、濃い色の分量を相対的に高くすることにより、前記入力画像の色調を調整するとともに、
前記光度調整部は、事前に撮影された同一時間内における複数の吹雪画像において、前記物体検出部による物体の検知数が最大となる光度に、前記入力画像の光度を調整する、鮮明化装置。
前記入力画像の画素数および縦横比を規定値に変換する入力画像変換部を有している、請求項１に記載の鮮明化装置。
前記物体検出部によって検出された前記物体を取り囲む境界枠線を生成する境界枠線生成部を有しており、前記表示データ生成部は、前記境界枠線をさらに含む表示データを生成する、請求項１に記載の鮮明化装置。
請求項１から請求項３のいずれかに記載の鮮明化装置を搭載した車両。
撮像手段によって撮像された入力画像を鮮明化する鮮明化プログラムであって、
コンピュータに、
ＡＩによる物体の検出・識別精度、およびユーザによる物体の視認し易さの双方を向上させるために入力画像を鮮明化する鮮明化機能と、
鮮明化された入力画像からＡＩによって物体を検出・識別する物体検出機能と、
ＡＩによって検出された物体の危険度を推定する危険度推定機能と、を実現させ、
前記鮮明化機能は、
前記入力画像に対し、雪の影響が低減されるように色調を調整する色調調整部と、
前記入力画像中に含まれる物体の輪郭を強調する輪郭強調部と、
前記入力画像に対し、前記物体が見え易くなるように光度を調整する光度調整部と、
によって機能され、
前記物体検出機能は、
前記入力画像中に含まれる物体を物体検出用学習済みモデルによって検出する物体検出部と、
前記物体検出部によって検出された前記物体の種別を物体識別用学習済みモデルによって識別する物体識別部と、
によって機能され、
前記危険度推定機能は、
前記物体検出部によって検出された前記物体の物体座標を特定する物体座標特定部と、
前記物体座標が危険区域内にあるか否かに基づいて、前記物体の危険度を判定する危険度判定部と、
前記物体識別部によって識別された物体の種別と、前記危険度判定部によって判定された危険度に応じたステータスとを含む表示データを生成する表示データ生成部と、
によって機能され、
前記色調調整部、前記輪郭強調部および前記光度調整部によって鮮明化された前記入力画像に前記表示データを重畳させた鮮明化画像を表示手段に出力する鮮明化画像出力部としてコンピュータを機能させ、
前記色調調整部は、白およびグレー系の色の分量を相対的に低くする一方、濃い色の分量を相対的に高くすることにより、前記入力画像の色調を調整するとともに、
前記光度調整部は、事前に撮影された同一時間内における複数の吹雪画像において、前記物体検出部による物体の検知数が最大となる光度に、前記入力画像の光度を調整する、鮮明化プログラム。
撮像手段によって撮像された入力画像を演算処理手段が以下の各ステップを実行することによって鮮明化する鮮明化方法であって、
前記演算処理手段は、
ＡＩによる物体の検出・識別精度、およびユーザによる物体の視認し易さの双方を向上させるために入力画像を鮮明化する鮮明化機能と、
鮮明化された入力画像からＡＩによって物体を検出・識別する物体検出機能と、
ＡＩによって検出された物体の危険度を推定する危険度推定機能と、を実現させ、
前記鮮明化機能は、
前記入力画像に対し、雪の影響が低減されるように色調を調整する色調調整ステップと、
前記入力画像中に含まれる物体の輪郭を強調する輪郭強調ステップと、
前記入力画像に対し、前記物体が見え易くなるように光度を調整する光度調整ステップと、
によって実現され、
前記物体検出機能は、
前記入力画像中に含まれる物体を物体検出用学習済みモデルによって検出する物体検出ステップと、
前記物体検出ステップにおいて検出された前記物体の種別を物体識別用学習済みモデルによって識別する物体識別ステップと、
によって実現され、
前記危険度推定機能は、
前記物体検出ステップにおいて検出された前記物体の物体座標を特定する物体座標特定ステップと、
前記物体座標が危険区域内にあるか否かに基づいて、前記物体の危険度を判定する危険度判定ステップと、
前記物体識別ステップにおいて識別された物体の種別と、前記危険度判定ステップにおいて判定された危険度に応じたステータスとを含む表示データを生成する表示データ生成ステップと、
によって実現され、
前記演算処理手段は、
前記色調調整ステップ、前記輪郭強調ステップおよび前記光度調整ステップにおいて鮮明化された前記入力画像に前記表示データを重畳させた鮮明化画像を表示手段に出力する鮮明化画像出力ステップを実行するとともに、
前記色調調整ステップでは、白およびグレー系の色の分量を相対的に低くする一方、濃い色の分量を相対的に高くすることにより、前記入力画像の色調を調整し、
前記光度調整ステップでは、事前に撮影された同一時間内における複数の吹雪画像において、前記物体検出ステップにおける物体の検知数が最大となる光度に、前記入力画像の光度を調整する、鮮明化方法。