JP7340484B2 - 画像判定装置、画像判定方法、および、プログラム - Google Patents

画像判定装置、画像判定方法、および、プログラム Download PDF

Info

Publication number
JP7340484B2
JP7340484B2 JP2020049440A JP2020049440A JP7340484B2 JP 7340484 B2 JP7340484 B2 JP 7340484B2 JP 2020049440 A JP2020049440 A JP 2020049440A JP 2020049440 A JP2020049440 A JP 2020049440A JP 7340484 B2 JP7340484 B2 JP 7340484B2
Authority
JP
Japan
Prior art keywords
image
determination device
target object
information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020049440A
Other languages
English (en)
Other versions
JP2021149591A (ja
Inventor
隆幸 中村
俊彦 原田
雅稔 井藤
輝 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Comware Corp
Original Assignee
NTT Comware Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=77848945&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP7340484(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NTT Comware Corp filed Critical NTT Comware Corp
Priority to JP2020049440A priority Critical patent/JP7340484B2/ja
Publication of JP2021149591A publication Critical patent/JP2021149591A/ja
Application granted granted Critical
Publication of JP7340484B2 publication Critical patent/JP7340484B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、移動する視点から撮影した画像を処理して、実時間で判定を行う装置に関する。
従来、車にカメラを設置して動画あるいは連続的な静止画といった画像を撮影し、撮影した画像データをニューラルネットワークを用いたAIで分析して、各種の不具合事象の判定を行うという技術があった。
例えば、特許文献1では、道路舗装のひび割れをAIによって検出し、損傷度合いを算出して、算出結果を地図上に描画する装置が開示されている。
特許第6516384号公報
走行する車にカメラを設置し、装置によって実時間で判定処理を行わせることで、車が走行しているその場で対象物を発見し、車を運転する者にその場で通知を行って、対応を促したいという要求がある。
具体的には、例えば、電柱に鳥の巣(営巣)が作られていないかを車を巡回走行してパトロールを行い、もし営巣が発見されれば、漏電など重篤な災害が今すぐ発生する危険があるから、パトロールを行う者は車を停止して、その場で営巣を除去する作業を実施したいという要求がある。
また、例えば、道路の舗装にポットホール(穴)が発生していないかを車を巡回走行してパトロールを行い、もし穴が発見されれば、通行者の転倒など重篤な災害が今すぐ発生する危険があるから、パトロールを行う者は車を停止して、その場で穴を埋める作業を実施したいという要求がある。
また、パトロールの際には、その場で即時に対処作業を行う場合もある一方で、重篤な災害が今すぐ発生する危険が比較的高くないとパトロールを行う者が判断した場合には、パトロール中に発見した結果を持ち帰り、事後に発見した結果をとりまとめて、工事などの対処を専門の部署に対して依頼するという業務も行われており、これに用いるためにパトロール中に発見した結果を持ち帰り事後に結果をとりまとめて確認したいという要求がある。さらに前記結果の確認は、可能な限り、パトロール終了後の短い時間内にて行えることが望ましい。
従来、撮影した画像データをAIによって分析する技術においては、実時間で分析して通知が行えないという問題があった。
実時間で分析が行えない要因の一つは、撮影した画像データを記録媒体として持ち帰り、GPSによる位置情報を記録した媒体と合わせて、分析用装置に入力し、分析を行うという装置構成にあった。このため、車を走行して撮影する業務段階と、走行の事後に当該装置によって分析を行う業務段階とが分かれており、実時間での分析が行えなかった。
また、実時間で分析が行えない要因の別の一つは、分析装置が内部で用いるニューラルネットワークが、計算量を要する処理であり、多数の入力画像に対して処理速度が追い付かず、このため実時間での分析が行えなかった。
また、従来、撮影した画像データをAIによって分析する技術においては、データを持ち帰って分析を開始してから分析が完了するまでに多くの計算量を要するため、時間を要し、このためパトロール終了後の短い時間内に結果を確認することができないという問題があった。
本発明は以上の課題を鑑みたものであり、本発明の目的は、移動する視点から撮影した画像を入力とし、実時間で対象物の判定を行って利用者に通知を行うとともに、判定した結果の一覧を速やかに表示する技術を提供することにある。
本発明の一態様の画像判定装置は、移動しながら撮影した画像を実時間で判定する画像判定装置であって、移動する視点から撮影した時系列順の画像を入力し、前記画像の情報量を削減する画像削減部と、情報量を削減した画像から対象物を検出する第1検出部と、検出した前記対象物の位置に対応する部分画像を情報量を削減する前の画像から得る画像抽出部と、前記部分画像を用いて前記対象物を分類する第2検出部を有し、前記第1検出部は、画像に前記対象物のアノテーションを含む教師データを用いて学習した第1学習モデルを用いて前記対象物を検出し、前記第2検出部は、前記対象物を分類した教師データを用いて学習した第2学習モデルを用いて前記対象物を分類することを特徴とする。
本発明の一態様の画像判定方法は、移動しながら撮影した画像を実時間で判定する画像判定方法であって、コンピュータが実行する、移動する視点から撮影した時系列順の画像を入力するステップと、前記画像の情報量を削減するステップと、情報量を削減した画像から対象物を検出するステップと、検出した前記対象物の位置に対応する部分画像を情報量を削減する前の画像から得るステップと、前記部分画像を用いて前記対象物を分類するステップを有し、前記対象物を検出するステップは、画像に前記対象物のアノテーションを含む教師データを用いて学習した第1学習モデルを用いて前記対象物を検出し、前記対象物を分類するステップは、前記対象物を分類した教師データを用いて学習した第2学習モデルを用いて前記対象物を分類することを特徴とする。
本発明の一態様のプログラムは、移動しながら撮影した画像を実時間で判定する画像判定方法をコンピュータに実行させるプログラムであって、前記コンピュータに、移動する視点から撮影した時系列順の画像を入力する処理と、前記画像の情報量を削減する処理と、情報量を削減した画像から対象物を検出する処理と、検出した前記対象物の位置に対応する部分画像を情報量を削減する前の画像から得る処理と、前記部分画像を用いて前記対象物を分類する処理を実行させ、前記対象物を検出する処理は、画像に前記対象物のアノテーションを含む教師データを用いて学習した第1学習モデルを用いて前記対象物を検出し、前記対象物を分類する処理は、前記対象物を分類した教師データを用いて学習した第2学習モデルを用いて前記対象物を分類することを特徴とする。
本発明によれば、移動する視点から撮影した画像を入力とし、実時間で対象物の判定を行って利用者に通知を行うとともに、判定した結果の一覧を速やかに表示する装置を提供することができる。
実時間画像判定装置の構成を示す構成図である。 第1検出部が用いる第1パラメータの学習に用いる画像の例である。 第2検出部が用いる第2パラメータの学習に用いる画像の例である。 実時間画像判定装置の動作を示すフローチャートである。 対象選択部の動作を示すフローチャートである。 カメラ撮影画像の例である。 第1の検出処理の結果を示す図である。 画像抽出処理の結果を示す図である。 枠描画処理の結果を示す図である。 通知の例を示す図である。 結果表示画面の例を示す図である。 第2の実時間画像判定装置の構成を示す構成図である。
本発明の実施の形態の一つを以下に示す。
<実時間画像判定装置の構成>
図1は、本実施の形態における実時間画像判定装置の構成を示す。
実時間画像判定装置100は、画像削減部112、第1検出部113、対象選択部114、画像抽出部115、第2検出部116、枠描画部117、通知部118、結果記憶部119、および、結果表示部120を備える。
カメラ111は、走行する車に取り付け、前方を撮影するように設置する。実時間画像判定装置100は、カメラ111で撮影した画像を入力とする。
また、GPS装置101を用意し、記録したGPSのログを、実時間画像判定装置100への入力とする。GPSのログは、時刻ごとの緯度および経度が記載された情報である。このようなログを記録するGPS装置は市販されており、あるいは、GPS内蔵ドライブレコーダーを用いてもよい。あるいは、GPS測位機能を実時間画像判定装置100内に具備してもよい。
画像削減部112は、入力された画像を縮小して情報量を削減する。
第1検出部113は、ニューラルネットワーク131に、予め学習させた結果得られる第1パラメータ132を与えて構成され、画像削減部112により情報量が削減された画像から対象物を検出する。
ニューラルネットワーク131には、物体検出ニューラルネットワークを用いる。物体検出ニューラルネットワークとは、深層学習(ディープラーニング)の技術を用いて、与えられた入力画像の中から、予め学習させた物体の1つ以上の存在を検出して、その存在を取り囲む矩形の位置座標を得ることができる手法である。このような手法として、R-CNN、Faster R-CNN、Single Shot MultiBox Detectorなどが公表されており、実装もオープンソース等で利用可能である。
本実施の形態では、実時間画像判定装置100の製造段階において、ニューラルネットワーク131の学習機能に対して検出対象に関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データを第1パラメータ132として実時間画像判定装置100に組み込み、利用する。
図2は、第1検出部113が用いる第1パラメータ132の学習に用いる画像の例である。
画像200は、学習のために準備した画像の例であるが、学習時には、画像200のように、カメラ111が撮影するのと同様の見え方の画像を準備し、これに基づき学習を行う。画像200には、左側の白線201、右側の白線202、車両が走行する車線203が図示されている。車線203の左側に電柱210が立っており、複数本の電線が張られている。画像200の中では特に電柱210を見つけるように学習をさせたいから、当該電柱210を取り囲む矩形211をアノテーション(タグ付け)し、当該アノテーションされた画像200を学習に用いる。これと同様に、様々な電柱の画像にアノテーションを行い学習させることで、第1検出部113は、画像から電柱部分を検出するニューラルネットワークとして機能するようになるので、これを実時間画像判定装置100に組み込み、利用する。
対象選択部114は、対象物の画像上での検出位置または画像上での大きさに基づき、後段の第2検出部116の処理対象とすべき画像および対象物を選択する。
画像抽出部115は、画像削減部112が情報量を削減していない元の画像から、対象選択部114の選択した対象物の部分画像を得る。
第2検出部116は、ニューラルネットワーク141に、予め学習させた結果得られる第2パラメータ142を与えて構成され、対象物のみを取り出した部分画像を入力して、対象物を分類する。
ニューラルネットワーク141には、画像判定ニューラルネットワークを用いる。画像判定ニューラルネットワークとは、深層学習(ディープラーニング)の技術を用いて、与えられた入力画像が、予め学習させた複数の画像クラスのうちいずれのクラスに最も近いかを判定できる手法である。このような手法として、resnet、vgg16などが公表されており、実装もオープンソース等で利用可能である。
本実施の形態では、実時間画像判定装置100の製造段階において、ニューラルネットワーク141の学習機能に対して検出対象に関する様々な画像を入力して学習を行わせ、学習の結果として得られる学習結果データを第2パラメータ142として実時間画像判定装置100に組み込み、利用する。
図3は、第2検出部が用いる第2パラメータの学習に用いる画像の例である。
学習は、検出成功を示すA群と、検出失敗を示すB群の、2つのクラスに分けて行う。画像300はA群の例であり、電柱301を取り囲む矩形範囲を画像の全体として、かつ、当該電柱には営巣302(鳥の巣)ができている特徴をもつ。一方、画像310はB群の例であり、電柱311を取り囲む矩形範囲を画像の全体として、かつ、当該電柱には営巣(鳥の巣)が存在しない。
これと同様に、様々な電柱の画像をA群もしくはB群に分類し学習させることで、第2検出部116は、カメラ撮影画像のうち電柱部分のみを取り出した部分画像を入力されると営巣がある(A群)かない(B群)かを判定するニューラルネットワークとして機能するようになるので、これを実時間画像判定装置100に組み込み、利用する。
枠描画部117は、第2検出部の分類した対象物を枠で囲った画像を生成する。例えば、枠描画部117は、営巣が存在する電柱を枠で囲った画像を生成する。
通知部118は、車の運転者に対して実時間で判定結果を通知する機能を有し、音および振動および画面表示によって通知を行う。
結果記憶部119は、枠描画結果の画像と処理した時点の時刻とを記憶媒体に記憶する。結果記憶部119は、枠描画結果に対象物の位置情報を付与して記憶してもよい。
結果表示部120は、判定結果を地図上に表示する機能を有し、利用者が車の走行を終了した事後に一連の判定結果を後から確認できる。
<実時間画像判定装置の動作>
実時間画像判定装置100は、カメラ111で撮影された画像のデータを入力として、以下に述べる動作を行う。
図4は、実時間画像判定装置100の動作を示すフローチャートである。図5は、対象選択部114の動作を示すフローチャートである。以下では、対象物を電柱として、営巣が存在する電柱を判定する例について説明する。なお、対象物を電柱に限るものではなく、営巣が存在するか否かを判定することに限るものでもない。
カメラ111はその時点での画像を撮影しており、実時間画像判定装置100は、当該画像を入力とする(ステップS1)。なお、カメラ111と実時間画像判定装置100とは隣接して設置してもよいし、あるいは、無線ネットワークを通じて遠隔地に設置してもよい。
図6は、カメラ111で撮影された画像の例である。画像600は、センターラインのある2車線(片側1車線)の道路を走行している状態で撮影されており、電柱610が映っている。電柱610には営巣612が存在する。
画像削減部112は、入力された画像のリサイズを行い、画像を縮小して情報量を削減する(ステップS2)。
第1検出部113は、当該削減された画像を入力として電柱の検出処理を行い、検出された場合には電柱の位置を示す矩形の座標を得る(ステップS3)。なお、物体検出ニューラルネットワークは予め学習させた物体の1つ以上の存在を検出できるから、複数の電柱を検出した場合には、矩形の座標の並びを得る。
図7は、第1の検出処理の結果を示す図である。前記画像削減処理の結果得られた画像700に対し、電柱610を検出して、矩形711を得る。
対象選択部114は、図5のフローチャートの手順により、前記得られた矩形の座標から対象物の同一性を判定し、後段の処理対象とすべき物体のみを選択する。
すなわち、対象選択部114は、前記得られた矩形の座標の並びに対し、X座標が画像全体の一定範囲に全部もしくは一部が存在するような矩形のみを選別する(ステップS41)。もし、並びが空集合となった場合には、選択対象なしとしてサブルーチンを終了する(ステップS42)。
前記一定範囲とは、画角(カメラによる撮影の構図)に応じて予め定めた定数値でもよく、また特に、車の走行に合わせて最初に対象物が現れる点Pと、車の走行に合わせて最後に対象物が撮影範囲外になる点Qとで構成される区間に相当する固定範囲であってもよい。画像700の例では、点Pから点Qの区間に対応するX座標で示される第1範囲を一定範囲としている。
次に、対象選択部114は、前記得られた矩形の座標の並びのうち一番右にある矩形の座標に対し、X座標が画像全体の第2の一定範囲に全部もしくは一部が存在する場合、「処理済み」フラグを0にクリアして、選択対象なしとしてサブルーチンを終了する(ステップS43)。
前記第2の一定範囲とは、前記一定範囲内の一部の範囲であって、特に、車の走行に合わせて最初に対象物が現れる点Pもしくはそれに近い側において設定される一定の範囲のことであってもよく、例えば、前記点Pと前記点Qとを1対2の比率で区分する点Rに対して、点Pから点Rまでで構成される区間に相当する固定範囲であってもよい。画像700の例では、点Pから点Rの区間に対応するX座標で示される第2範囲を第2の一定範囲としている。
次に、対象選択部114は、前記得られた矩形の座標の並びのうち一番右にある矩形の座標に対し、「処理済み」フラグが1であった場合には、選択対象なしとしてサブルーチンを終了する(ステップS44)。
次に、対象選択部114は、「処理済み」フラグを1にして、かつ、前記得られた矩形の座標の並びのうち一番右にある矩形の座標を選択対象として、サブルーチンを終了する(ステップS45)。
なお、対象選択部114が用いる「処理済み」フラグは、実時間画像判定装置100の起動時に、0にクリアしておくものとする。
ここで、対象選択処理における上記一連の手順の意味について述べる。対象選択処理は、走行する車から撮影した画像を実時間で連続的に繰り返し処理する際、対象を発見した旨の通知はカメラの撮影がもっとも鮮明にできている箇所すなわち有効撮影範囲の中央付近に対象物が来た際に行われ、かつ、通知は同一対象物の発見に関して一回のみ行うこととしたいため、左記要求をステップS41からステップS45によって実現できる。
ステップS41からステップS42では、検出対象とする電柱は道路の左側に映っているもののみとし、かつ、遠近法に基づく撮影画像で最初は遠方の消失点付近に映っていたものが、徐々に近づいて大きな画像となっていくような対象物に対して、処理対象とすることを意図している。
そして、ステップS43では、対象物が画像の中央付近に来た時点で、初めて、後続の処理を行わせることを意図している。中央付近とは、ここでは画像を左と中央と右の大きく3分割し、対象物が右区間を越えて中央区間に差し掛かった際に一度だけ処理すれば、撮影した画像を実時間で連続的に繰り返し処理する際に発生する一回の一連の処理あたりの計算時間がある程度所要し、それに起因して対象物が中央区間に差し掛かった直後に撮影されたカメラ画像を処理することが叶わず、対象物が中央区間に差し掛かってある程度時間が経過した後に撮影されたカメラ画像を処理することとなったとしても、対象物は中央区間の範囲内のいずれかに存在した状態で撮影されたカメラ画像を処理することができるから、前記述べた画像の中央付近に来た時点で初めて後続の処理を行わせるという意図を実現することができる。
そして、ステップS44では、一つの対象物に対して一回のみ後続の処理を行わせることを意図している。車が走行すると道路の左側にある対象物は画像においてより左へと流れていくから、図7の第1範囲にある間は一度だけ処理すればよく、「処理済み」フラグによって二度目の処理を行わないことにより達成する。一方、新たな対象物が映り込んでいれば、それは画角における消失点に近い位置、すなわち、図7の第2範囲に出現するから、「処理済み」フラグを0にクリアすることで、当該対象物が次に前記中央区間の範囲内に入った際に後続の処理の対象とすることができる。なお、対象物の画像上での大きさに基づいて後続の処理を行わせてもよい。具体的には、「処理済み」フラグが0にクリアされた後、対象物の画像上での大きさが所定の大きさ以上になったときに、その対象物を選択するとともに、「処理済み」フラグを1にする。
このように、対象選択処理によって、通知を最も適切な一回のみ行うことができるという効果が得られ、またさらに、処理対象の画像のサイズが大きいため処理時間を要する第2検出部116におけるニューラルネットワークの処理回数を少なく抑えることができるので、全体の処理時間を削減する効果も得ることができる。
第1検出部113におけるニューラルネットワークの処理には、前もって、画像削減部112によって画像のサイズを小さくしているため、第2検出部116での処理に比べて1回あたりの処理時間は大幅に短くて済む。このように、ステップS1からステップS4までの処理は多数繰り返すため短い処理時間で済むような構成とし、それ以降の処理は比較的少ない回数のみ実行するため比較的長い処理時間がかかるような構成とすることで、装置全体としての処理回数の総数を多くすることが可能となり、実時間での画像判定という本装置の趣旨を充足することができる。
一方、本実施の形態においては、電柱は見分けがつきやすい対象であり、画像削減部112によって画像のサイズを小さくリサイズしていたとしても十分高い精度で判別することが可能であるため、検出精度の観点からも本実施の形態は本装置の趣旨を十分達成することができる。
なお、本実施の形態では、画像削減部112を具備するものとしたが、本発明の範囲はこれに限るものではなく、画像削減部112を持たず、第1検出部113は前記入力画像をそのまま処理する構成としてもよい。
画像抽出部115は、ステップS1で入力した画像に対して、対象選択処理で選択した矩形の座標に対応する位置の画素を切り出し、部分画像を得る(ステップS5)。
図8は、画像抽出処理の結果を示す図である。ステップS2によってリサイズして画像サイズを小さくした画像700における矩形711の範囲に対して、リサイズ前の元の画像600から同等の矩形範囲を切り出した部分画像が、画像800である。
第2検出部116は、前記得られた部分画像を入力として営巣の検出処理を行い、営巣の有無を判定する(ステップS6)。
例えば、画像800であれば、営巣が存在するから、第2検出部116は予め学習した内容に従って当該画像がA群のクラス、すなわち営巣が存在すると判定する。
実時間画像判定装置100は、営巣が存在すると判定した場合には、以下の処理を行う。
枠描画部117は、判定した営巣の範囲を枠で囲った画像を生成する(ステップS7)。
図9は、枠描画処理の結果を示す図である。
画像900の生成には、リサイズ前の画像600を用いる。例えば、リサイズ前の元の画像600に対して、ステップS2によってリサイズして画像サイズを小さくした画像700における矩形711の範囲と同等の矩形を、色付きの太い枠線で描画して、画像900を得る。記号911は、前記描画した枠を示す。
通知部118は、車の運転者に対して音および振動および画面表示によって判定した結果の通知を行うとともに(ステップS8)、結果記憶部119は、前記枠描画結果の画像と処理した時点の時刻とを記憶媒体に記憶する(ステップS9)。
図10は、通知の例を示す図である。画面1000上に、対象物の部分画像1010と、対象物を発見した旨を示すメッセージ1020を表示する。通知画面は、枠描画結果の画像900にメッセージを重ねた画面でもよい。
通知部118が、車の運転者に対して音および振動によって通知を行うことで、運転者はパトロール業務における車の運転中であっても、対象物が発見されたことを安全に知ることができるという利点が得られる。また、車の運転者に対して画面表示によって通知を行うことで、運転者はパトロール業務において車を停止させた後、当該画面表示によって、どの電柱にどのように営巣が存在していたかを画面上で確認することができるため、その後の除去作業を容易に行うことができるという利点が得られる。
実時間画像判定装置100は、ステップS1に戻り、上記述べた処理を繰り返す。
さらに、結果表示部120は、GPS装置101が記録したGPSのログを、SDメモリカードあるいはUSB接続あるいはネットワーク通信あるいはその他の手段を用いて読み取り、当該ログに記されている時刻ごとの緯度および経度が記載された情報を用いて、結果記憶部119が記憶している対象物を判定した時点の時刻と突合して画像と位置との対応関係を求め、対象物が存在する緯度および経度を取得し、判定結果を地図上に表示する。なお、実時間画像判定装置100の結果表示部120が行う上記の処理手順には、ニューラルネットワークを用いた計算量の多い複雑な処理を伴わないから、迅速に結果を表示することができる。
図11は、結果表示画面の例を示す図である。結果表示画面1100は、地図表示領域1110、判定画像表示領域1120、および、全景画像表示領域1130を備える。地図表示領域1110には、地図上に、車の走行経路に沿って対象物を判定した複数の箇所がピン1111A~1111Cで表示される。対象物の判定結果に応じてピン1111A~1111Cの表示態様を変えてもよい。また、マウスやタブレットやタッチパネル等の操作によって利用者がいずれかのピン1111A~1111Cを指示すると、当該ピン1111A~1111Cに対応する結果表示部120が記憶する枠描画結果の画像を判定画像表示領域1120と全景画像表示領域1130に表示する。判定画像表示領域1120には、対象物を切り出した部分画像が表示される。全景画像表示領域1130には、カメラ撮影画像が表示される。
本実施の形態では、実時間画像判定装置100が通知部118を具備する。本発明の範囲はこれに限るものではなく、通知部118の一部または全部の機能を別装置としてもよい。また、その際、実時間画像判定装置100の処理結果を、ネットワークを通じて通知装置に入力してもよい。例えば、撮影の現場では音声による通知のみを行い、ネットワークを通じて遠隔地にある点検センターに情報を送信し、点検センターに設置した前記通知装置に画像を表示してもよい。
本実施の形態では、実時間画像判定装置100が結果表示部120を具備する。本発明の範囲はこれに限るものではなく、結果表示部120を別装置としてもよい。また、その際、実時間画像判定装置100の結果記憶部119が記憶するデータを、ネットワークまたは記録媒体を通じて表示装置に入力してもよい。
本実施の形態では、実時間画像判定装置100は、GPS装置101が計測した緯度および経度の情報と、カメラで撮影した画像との対応関係を求める処理は、撮影時ではなく撮影後に結果表示部120によって結果を表示する段階で行った。本発明の範囲はこれに限るものではなく、GPS測位機能を実時間画像判定装置100内に具備して、撮影時に行ってもよい。また、その際、結果記憶部119は、少なくとも画像と緯度および経度の情報とを記憶してもよい。また、通知部118は、枠描画結果の画像だけでなく、当該地点の地図も画面に表示してよい。
上記一連の説明では、GPS装置101および実時間画像判定装置100は緯度および経度の情報を扱うこととしたが、地理上の位置を示す別の形式の情報であってもよい。
本実施の形態では、実時間画像判定装置100は、ステップS1からステップS9までの処理を間断なく繰り返すこととしたが、処理の休止を適宜含めてもよい。例えば、GPS測位機能を実時間画像判定装置100内に具備して、一定の距離(例えば50cm等)を走行するまでは前記処理の休止を行うこととしてもよい。
本実施の形態では、ニューラルネットワーク141は、画像判定ニューラルネットワークを用いた。本発明の範囲はこれに限るものではなく、必要な機能を実現するほかのニューラルネットワークを用いてもよく、例えば、物体検出ニューラルネットワークを用いてもよい。
その場合、第2パラメータ142を得るための学習には、営巣が存在しない(B群に相当する)画像を用いず、営巣が存在する画像のみを用いてよい。さらに、電柱を取り囲む矩形範囲のみを抽出した画像ではなく、カメラで撮影した画角の画像を用いて、当該画像における営巣の位置のみをアノテーションし、同様のアノテーション済み画像を多数準備して、学習させることにより、第2パラメータ142を得てもよい。さらに、画像抽出部115が部分画像を得るステップS5は、省略してもよい。さらに、枠描画部117が枠を描画するステップS7は、ニューラルネットワーク141が物体を検出した矩形範囲に対して枠を描画してよい。また、ニューラルネットワーク131とニューラルネットワーク141がいずれも物体検出ニューラルネットワークであれば、ニューラルネットワークを実現するコンピュータプログラムは同一のサブルーチンを利用し、第1パラメータ132を与えて第1検出部113を構成し、第2パラメータ142を与えて第2検出部116を構成してもよい。
本実施の形態では、ニューラルネットワーク131は、物体検出ニューラルネットワークを用いた。本発明の範囲はこれに限るものではなく、必要な機能を実現するほかのニューラルネットワークを用いてもよい。
本実施の形態では、カメラ111は、走行する車の前方を撮影するように設置し、実時間画像判定装置100はそのような画角の画像を入力として動作するものとした。また、画像の中で、道路の左側に存在する電柱のみを判定対象とするものとした。本発明の範囲はこれに限るものではなく、例えば、カメラを真横、あるいは、斜め前、あるいは、斜め前かつ少し上向きに設置し、ズーム倍率を標準より若干、望遠に設定して撮影し、そのような画角で撮影された画像を入力として動作するようにしてもよい。その場合、例えば、カメラを右に90度回転して縦長の画像を撮影するように設置し、カメラの向きを例えば左に30度、かつ、例えば上に30度傾け、ズーム倍率を例えば1.5倍ないし2.5倍にしてもよい。画角が変更された場合、ステップS42およびステップS43で用いる範囲は画角に合わせて変更してよく、その際、車の走行に合わせて最初に対象物が現れる点Pと、車の走行に合わせて最後に対象物が撮影範囲外になる点Qとに基づいて前記範囲を設定してもよい。また、特に遠近法における消失点が存在しないような画角での撮影を行った場合には、点Pは消失点ではなく画像の端になることが起こりうるから、前記設定の結果としては、点Pが画面の右端になってもよく、また同様に、点Qが画面の左端になってもよい。この際、点Pが画面の右端であり、かつ、点Qが画面の左端であれば、ステップS41において全ての候補が常に選択されることとなり冗長であるから、ステップS41およびステップS42は省略してもよい。また、カメラを右に90度回転して縦長の画像を撮影するように設置した場合、実時間画像判定装置100はそのような画角の画像を入力として、ステップS1において、入力画像を90度回転してから、以降の処理を行ってもよい。また、道路の右側にある対象物を処理対象としてもよく、あるいは、カメラを車両の後方を撮影するように設置してもよく、さらに、その際には上記一連の処理における「左」および「右」を左右逆に読み替えて本発明を実施してもよい。また、実時間画像判定装置100の具備する機能部の一部または全部を多重に具備し、あるいは時間多重によって複数の処理を行わせることで、左右の対象物を一度に処理する実時間画像判定装置の実施としてもよい。
本実施の形態では、実時間画像判定装置100の対象選択部114が実行する対象選択処理は、上記述べたステップS41からステップS45によって実現することとした。本発明の範囲はこれに限るものではなく、同等の目的を達成する他の処理手順を用いて実時間画像判定装置を構成してもよい。
例えば、対象選択部114は、複数の画像および座標位置情報を記憶できる一時記憶領域を具備し、ステップS41によって選択した矩形の座標の並びのうち一番右にある矩形の座標に対し、当該座標並びに対応する画像を前記一時記憶領域に記憶するとともに、対象選択処理の複数回の実行によって当該座標が右から左に変化することを前記一時記憶領域の記憶内容から判定し、一時記憶領域の記憶内容のうちで最も中央に座標が位置する画像を、対象選択処理における選択対象として、サブルーチンを終了する構成としてもよい。このような構成を採用した場合、一時記憶領域に一連の画像を記憶して後から当該画像を対象として選択するため、最も座標位置が適切な画像を選択できるという利点がある。一方、記憶して後から選択するという仕組みに起因して、その後の処理が一瞬遅れ、ひいてはユーザへの通知のタイミングが一瞬遅れるという問題があるが、車で走行している場合には高々1秒程度の通知の遅れであると考えられるから、本装置の目的に照らし合わせて十分許容できると考えることができる。
本実施の形態では、実時間画像判定装置100はまずステップS1によって、その時点でカメラが撮影している画像を入力として、以降の処理を行い、ステップS9まで一連の処理を行った後、再度ステップS1に戻って、再度その時点でカメラが撮影している画像を入力として処理を行うこととした。本実施の形態はこれに限るものではなく、前記まずステップS1を行ってから前記再度ステップS1を行うまでの間に撮影されていた画像を、前記再度ステップS1を行った際に、その時点でカメラが撮影している画像の代わりに入力としてもよい。
例えば、実時間画像判定装置100は画像を保持する一定サイズのリングバッファを備え、カメラ111が撮影しているその時点の画像を、撮影した時刻の情報とともに前記リングバッファに継続的に蓄積する。実時間画像判定装置100は、まずステップS1を行う際、前記リングバッファが保持する最新の画像を取得して、入力とし、以降の処理を行う。また、このときの前記画像を取得したリングバッファの位置を記憶しておく。さらに、実時間画像判定装置100は、ステップS9までの一連の処理を行った後、再度ステップS1に戻って処理を行う際、前記記憶している前回処理した際のリングバッファの位置と、その時点での最新のリングバッファの位置を比較する。両者の位置が一定値以内であるとき、すなわち、前回の画像入力処理から一定程度以下の時間しか経過していない際には、ステップS1としてリングバッファが保持する最新の画像を取得して、入力とし、以降の処理を行う。一方、両者の位置が一定値以上であるとき、すなわち、前回の画像入力処理から一定程度以上の時間が経過している際には、ステップS1としてリングバッファが保持する情報のうち前記前回の画像入力処理の際の位置から前記一定値だけ未来に進んだ位置のリングバッファ内に保持する画像を取得して、入力とし、以降の処理を行う。
上記一連の手順を行うことによって、ステップS1からS9までの一連の処理に偶発的に長い処理時間を要した場合に、前回の入力と今回の入力との間に一定以上の時間間隔が開くことを防ぐことができるから、走行する車両等から撮影した映像において、目的とする対象物が通り過ぎてしまい検出漏れが発生するという問題を防ぐことができる利点が得られる。
<第2の実時間画像判定装置>
上記述べた装置の構成を一部変更あるいは簡略化することにより、他の対象物を判定する第2の実時間画像判定装置を構成することもできる。本発明の実施の形態の別の一つを以下に示す。
図12は、第2の実時間画像判定装置の構成を示す。
第2の実時間画像判定装置1200は、実時間画像判定装置100に対して、画像抽出部115を持たず、第2検出部116を持たない。画像抽出部115ならびに第2検出部116を持たない構成については、第2検出部116は常に検出成功するものとして、上述の説明を読み替えて第2の実時間画像判定装置1200を構成すればよい。
さらに、本実施の形態において、第2の実時間画像判定装置1200は、第1検出部113を構成する第1パラメータ132の学習に際して、道路上の穴(ポットホール)をアノテーションした学習データ群を用い、これによって第1検出部113は、画像からポットホールを検出するニューラルネットワークとして機能するようになるので、これを第2の実時間画像判定装置1200に組み込み、利用する。
以下、図4に沿って第2の実時間画像判定装置1200の動作を簡単に説明する。第2の実時間画像判定装置1200は、カメラ111を進行方向に向けて道路を撮影した画像を入力し(ステップS1)、画像削減部112は、入力した画像を縮小して情報量を削減し(ステップS2)、第1検出部113は画像からポットホールを検出する(ステップS3)。
対象選択部114は、適切な位置で検出されたポットホールを以降の処理対象として選択する(ステップS4)。具体的には、図5のステップS42およびステップS43において、X座標ではなく、Y座標の範囲を用いて、前記一定範囲ならびに前記第2の一定範囲を指定するものとする。カメラ111を進行方向に向けて道路を撮影した画像では、ポットホールは遠方から手前に移動する。つまり、画像上でポットホールは上から下に移動する。画像上で下方にあるポットホールは走行位置に近く、大きく映る。Y座標を用いて一定範囲を指定し、一定範囲の上方の範囲を第2の一定範囲に指定する。第1検出部113が第2の一定範囲においてポットホールを検出した後、検出したポットホールが第2の一定範囲を出て下方に移動した時点で、そのポットホールを後段の処理対象として選択する。
第2の実時間画像判定装置1200は、画像抽出部115ならびに第2検出部116を持たないので、ステップS4で選択対象ありと判定されると、ステップS5,S6の処理を実行せずに常に検出成功するものとして、枠描画処理(ステップS7)、結果通知処理(ステップS8)、および、結果記憶処理(ステップS9)を実行する。
以上述べた第2の実時間画像判定装置1200について、動作の意図を以下に述べる。道路のパトロールを行う際、ポットホールは自転車の転倒など重篤な事故の原因になりうるから、見逃さずその場で発見してパトロール者が適切な対処を行えるようにするとともに、対処しきれなかったポットホールも含めて後日報告をまとめたいという要請がある。第2の実時間画像判定装置1200は、そのようなパトロール車両に設置してパトロール者に適切な情報を提示できる。道路を走行していると、ポットホールがあった場合、最初は遠方に見えており、走行につれて徐々に手前に見えてくるから、画像の座標で表現すればY座標が上方から下方に移動すると表現できる。市民にとって危険なほど大きく破損したポットホールは、見た目も大きく破損しており、画像削減部112によって画像サイズを小さくしたリサイズ後の画像であってもニューラルネットワークを用いて十分な精度で発見することができる。また、ポットホールには種別を分類したいという特段の要請はなく、また特に、特別な種類のポットホールの場合だけ通知を受けたいといった特段の要請がないから、第2検出部116によってポットホールがいずれのクラスに属するかをさらに詳細に判定する必要はなく、このため第2の実時間画像判定装置1200は第2検出部116ならびにその入力を生成する機能部である画像抽出部115は割愛できる。
上記では、実時間画像判定装置100として電柱の営巣を判定する装置の実施を、さらに、第2の実時間画像判定装置1200として道路舗装のポットホールを判定する装置の実施を、それぞれ示した。本発明の範囲はこれに限るものではなく、移動する視点から撮影した画像を実時間で連続的に判定して通知を行う様々な用途に用いることができる。
例えば、実時間画像判定装置100は、対象物として、電力線、通信線、交通信号機、および交通標識のうち少なくともいずれかを設置する電柱もしくは電柱に類する道路周辺構造物を検出し、構造物の表面のひび割れやコンクリートの剥がれや鉄筋の露出や金属のサビや浮遊物の付着(ロープや凧など)を判定できる。また、第2の実時間画像判定装置1200は、道路の舗装のヒビ、落下物、岩石(落石等)、土砂(土砂崩れ等)、動物(死骸等を含む)を判定できる。また、カメラは乗用車に搭載するだけでなく、自転車、バイク、固定軌道を走行する車両(鉄道等)、歩行者、その他の移動する物体に搭載して撮影してもよい。さらに、これらに限ることなく、ニューラルネットワークの学習を適切に行うことで、本発明の装置はさまざまな用途へと転用が可能である。
本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。具体的には、上記説明した実時間画像判定装置100,1200には、例えば、CPU(Central Processing Unit、プロセッサ)と、メモリと、ストレージ(HDD:Hard Disk Drive、SSD:Solid State Drive)と、通信装置と、入力装置と、出力装置とを備える汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、CPUがメモリ上にロードされた実時間画像判定装置100用のプログラムを実行することにより、実時間画像判定装置100,1200の各機能が実現される。また、実時間画像判定装置100,1200用のプログラムは、HDD、SSD、USBメモリ、CD-ROM、DVD-ROM、MOなどのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
また、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
100,1200…実時間画像判定装置
101…GPS装置
111…カメラ
112…画像削減部
113…第1検出部
114…対象選択部
115…画像抽出部
116…第2検出部
117…枠描画部
118…通知部
119…結果記憶部
120…結果表示部
131…ニューラルネットワーク
132…第1パラメータ
141…ニューラルネットワーク
142…第2パラメータ

Claims (9)

  1. 移動しながら撮影した画像を実時間で判定する画像判定装置であって、
    移動する視点から撮影した時系列順の画像を入力し、前記画像の情報量を削減する画像削減部と、
    情報量を削減した画像から対象物を検出する第1検出部と、
    検出した前記対象物の位置に対応する部分画像を情報量を削減する前の画像から得る画像抽出部と、
    前記部分画像を用いて前記対象物を分類する第2検出部を有し、
    前記第1検出部は、画像に前記対象物のアノテーションを含む教師データを用いて学習した第1学習モデルを用いて前記対象物を検出し、
    前記第2検出部は、前記対象物を分類した教師データを用いて学習した第2学習モデルを用いて前記対象物を分類すること
    を特徴とする画像判定装置。
  2. 請求項に記載の画像判定装置であって、
    前記時系列順の画像から同一の前記対象物を1回のみ選択する対象選択部を有し、
    前記第2検出部は、前記対象選択部が選択した対象物を分類すること
    を特徴とする画像判定装置。
  3. 請求項1または2に記載の画像判定装置であって、
    前記第2検出部の分類結果を通知する通知部を有すること
    を特徴とする画像判定装置。
  4. 請求項1ないしのいずれかに記載の画像判定装置であって、
    前記第2検出部の分類結果を記憶する結果記憶部と、
    前記結果記憶部に記憶した分類結果を表示する結果表示部を有すること
    を特徴とする画像判定装置。
  5. 請求項に記載の画像判定装置であって、
    前記結果記憶部は、前記分類結果に前記対象物の位置の情報もしくは位置を得るための情報を付与して記憶し、
    前記結果表示部は、前記分類結果および前記分類結果の位置情報を用いて、地図上に前記分類結果に応じた態様で前記対象物を表示すること
    を特徴とする画像判定装置。
  6. 請求項1ないしのいずれかに記載の画像判定装置であって、
    前記対象物は、電力線、通信線、交通信号機、および交通標識のうち少なくともいずれか1つ以上を設置する構造物であり、
    前記第2検出部は、前記構造物に、営巣、表面のひび割れ、コンクリートの剥がれ、鉄筋の露出、金属のサビ、および浮遊物の付着のうち少なくともいずれか1つ以上が存在するか否かを分類すること
    を特徴とする画像判定装置。
  7. 請求項1ないしのいずれかに記載の画像判定装置であって、
    前記第1検出部の処理と前記第2検出部の処理は繰り返して実行されること
    を特徴とする画像判定装置。
  8. 移動しながら撮影した画像を実時間で判定する画像判定方法であって、
    コンピュータが実行する、
    移動する視点から撮影した時系列順の画像を入力するステップと、
    前記画像の情報量を削減するステップと、
    情報量を削減した画像から対象物を検出するステップと、
    検出した前記対象物の位置に対応する部分画像を情報量を削減する前の画像から得るステップと、
    前記部分画像を用いて前記対象物を分類するステップを有し、
    前記対象物を検出するステップは、画像に前記対象物のアノテーションを含む教師データを用いて学習した第1学習モデルを用いて前記対象物を検出し、
    前記対象物を分類するステップは、前記対象物を分類した教師データを用いて学習した第2学習モデルを用いて前記対象物を分類すること
    を特徴とする画像判定方法。
  9. 移動しながら撮影した画像を実時間で判定する画像判定方法をコンピュータに実行させるプログラムであって、
    前記コンピュータに、
    移動する視点から撮影した時系列順の画像を入力する処理と、
    前記画像の情報量を削減する処理と、
    情報量を削減した画像から対象物を検出する処理と、
    検出した前記対象物の位置に対応する部分画像を情報量を削減する前の画像から得る処理と、
    前記部分画像を用いて前記対象物を分類する処理を実行させ、
    前記対象物を検出する処理は、画像に前記対象物のアノテーションを含む教師データを用いて学習した第1学習モデルを用いて前記対象物を検出し、
    前記対象物を分類する処理は、前記対象物を分類した教師データを用いて学習した第2学習モデルを用いて前記対象物を分類すること
    を特徴とするプログラム。
JP2020049440A 2020-03-19 2020-03-19 画像判定装置、画像判定方法、および、プログラム Active JP7340484B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020049440A JP7340484B2 (ja) 2020-03-19 2020-03-19 画像判定装置、画像判定方法、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020049440A JP7340484B2 (ja) 2020-03-19 2020-03-19 画像判定装置、画像判定方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2021149591A JP2021149591A (ja) 2021-09-27
JP7340484B2 true JP7340484B2 (ja) 2023-09-07

Family

ID=77848945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020049440A Active JP7340484B2 (ja) 2020-03-19 2020-03-19 画像判定装置、画像判定方法、および、プログラム

Country Status (1)

Country Link
JP (1) JP7340484B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7464263B2 (ja) 2020-04-08 2024-04-09 日本電気通信システム株式会社 検出装置、検出方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008070A (ja) 2009-10-20 2013-01-10 Panasonic Corp 標識認識装置及び標識認識方法
WO2019059091A1 (ja) 2017-09-25 2019-03-28 株式会社日立国際電気 電柱管理システム
JP2019116220A (ja) 2017-12-27 2019-07-18 株式会社東海理化電機製作所 車両用視認装置
JP2019174989A (ja) 2018-03-27 2019-10-10 富士通株式会社 画像圧縮方法及び画像圧縮装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013008070A (ja) 2009-10-20 2013-01-10 Panasonic Corp 標識認識装置及び標識認識方法
WO2019059091A1 (ja) 2017-09-25 2019-03-28 株式会社日立国際電気 電柱管理システム
JP2019116220A (ja) 2017-12-27 2019-07-18 株式会社東海理化電機製作所 車両用視認装置
JP2019174989A (ja) 2018-03-27 2019-10-10 富士通株式会社 画像圧縮方法及び画像圧縮装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NTT西日本,NTT西日本研究開発センタにおけるAIを用いたデータ解析の取り組み,NTT技術ジャーナル,2017年04月,第29巻, 第4号 ,pp.46-49

Also Published As

Publication number Publication date
JP2021149591A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
JP6006215B2 (ja) 既存の静止画像内における映像の可視化
JP7070683B2 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
KR102001002B1 (ko) 딥러닝 기반 번호 인식 시스템
CN110580808B (zh) 一种信息处理方法、装置、电子设备及智能交通系统
CN104952123A (zh) 安装在车辆中的车载设备及相关设备与方法
JP6653361B2 (ja) 路面標示画像処理装置、路面標示画像処理方法及び路面標示画像処理プログラム
CN110032947B (zh) 一种监控事件发生的方法及装置
JP3817631B2 (ja) 道路表示等検出警告装置
JP5962898B2 (ja) 運転評価システム、運転評価方法、及び運転評価プログラム
US11557133B1 (en) Automatic license plate recognition
JP7340484B2 (ja) 画像判定装置、画像判定方法、および、プログラム
EP3934232A1 (en) Imaging system
JP7356383B2 (ja) 画像判定装置、画像判定方法、および、プログラム
JP6387838B2 (ja) 交通違反管理システムおよび交通違反管理方法
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
JP6419260B1 (ja) 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム
JP2019192201A (ja) 自律走行のための学習対象イメージ抽出装置及び方法
JP7293174B2 (ja) 道路周辺物監視装置、道路周辺物監視プログラム
CN114913470A (zh) 一种事件检测方法及装置
JP4697761B2 (ja) 待ち行列検出方法及び待ち行列検出装置
KR102340902B1 (ko) 스쿨존을 모니터링하는 장치 및 방법
JP6934269B1 (ja) 路面診断装置、路面診断方法、及び、プログラム
KR102633425B1 (ko) 교통사고 현장 재구성 리포트를 만드는 장치
CN116958684A (zh) 道路异常检测方法、模型训练方法及相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230828

R150 Certificate of patent or registration of utility model

Ref document number: 7340484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150