JP2024048563A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2024048563A
JP2024048563A JP2022154537A JP2022154537A JP2024048563A JP 2024048563 A JP2024048563 A JP 2024048563A JP 2022154537 A JP2022154537 A JP 2022154537A JP 2022154537 A JP2022154537 A JP 2022154537A JP 2024048563 A JP2024048563 A JP 2024048563A
Authority
JP
Japan
Prior art keywords
information
image
shooting
road
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022154537A
Other languages
English (en)
Inventor
慎 冨永
悠介 今井
和俊 鷺
裕三 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2022154537A priority Critical patent/JP2024048563A/ja
Priority to US18/226,732 priority patent/US20240104680A1/en
Publication of JP2024048563A publication Critical patent/JP2024048563A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30192Weather; Meteorology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させる。【解決手段】情報処理システム100は、機械学習用画像を収集するための情報処理システムであって、生成部122と、保存処理部123と、を備える。生成部122は、道路を撮影した画像を処理し、画像の撮影に関わる状況を示す撮影状況情報を生成する。保存処理部123は、撮影状況情報に基づいて、画像を保存するための処理を実行する。【選択図】図1

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
道路を撮影した画像を分析する装置が種々提案されている。
例えば、特許文献1に記載の情報処理装置は、所定の道路の交通状態を継続的に撮影するカメラからの映像データを取得し、当該映像データから、道路の交通についての統計情報を生成する。
また例えば、特許文献2には、車両に搭載される映像出力システムが開示されている。映像出力システムは、インタフェース装置とカメラとを備える。
特許文献2に記載のインタフェース装置は、条件格納部と、カメラから受信する映像を出力する映像出力部とを備える。条件格納部は、車載蔵置から記録条件が入力されると、この記録条件に対応する記録条件IDを記録条件テーブルから特定してカメラに出力する。
特許文献2に記載のカメラは、車両の周囲を撮影して撮影映像を生成する映像生成部、認識部、比較部、及び、撮影映像をインタフェース装置に出力するカメラ演算部として機能する。
認識部は、歩行者、車両、二輪車、標識、道路区画線などの対象物や、昼間、夜間、逆光状態などの環境を認識対象として認識処理を行う。認識部は、認識対象の対象物や環境を処理対象のフレーム内で認識した場合には、識別情報及び付加情報を出力する。比較部は、認識部が特定の対象物や環境を認識した撮影画像のフレームについて、記録条件を満たすか否かを判断する。
カメラ演算部は、認識部が識別情報及び付加情報を出力し、かつ比較部が記録条件を満たすと判断した場合には、撮影映像に識別情報及び付加情報を付加してインタフェース装置に出力する。カメラ演算部は、認識部が識別情報及び付加情報を出力しない場合や、比較部が記録条件を満たさないと判断した場合には、識別情報及び付加情報を付加せず、撮影映像のみをインタフェース装置に出力する。
国際公開第2019/187291号 国際公開第2018/047393号
特許文献1は、道路の交通についての統計情報の精度を向上させるための技術を開示していない。特許文献2は、認識処理において認識対象を認識する精度を向上させるための技術を開示していない。
本発明の目的の一例は、上述した課題を鑑み、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることを解決する情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することにある。
本発明の一態様によれば、
機械学習用画像を収集するための情報処理システムであって、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況を示す撮影状況情報を生成する生成手段と、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行する保存処理手段とを備える
情報処理システムが提供される。
本発明の一態様によれば、
機械学習用画像を収集するための情報処理装置であって、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成する生成手段と、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行する保存処理手段とを備える
情報処理装置が提供される。
本発明の一態様によれば、
1つ以上のコンピュータが機械学習用画像を収集するための情報処理方法であって、
前記1つ以上のコンピュータが、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成し、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行することを含む
情報処理方法が提供される。
本発明の一態様によれば、
1つ以上のコンピュータに機械学習用画像を収集させるためのプログラムであって、
前記1つ以上のコンピュータに、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成し、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行することを
実行させるためのプログラムが提供される。
本発明の一態様によれば、道路を撮影した画像について学習モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1に係る情報処理システムの概要を示す図である。 実施形態1に係る情報処理装置の概要を示す図である。 実施形態1に係る情報処理の概要を示すフローチャートである。 実施形態1に係る情報処理システムの構成例を示す図である。 実施形態1に係る画像情報の構成例を示す図である。 実施形態1に係る第1情報処理装置の機能的な構成例を示す図である。 撮影状況情報の例を示す図である。 実施形態1に係る生成部の機能的な構成例を示す図である。 実施形態1に係る学習部の機能的な構成を示す図である。 実施形態1に係る撮影装置の物理的な構成例を示す図である。 実施形態1に係る第1情報処理装置の物理的な構成例を示す図である。 実施形態1に係る撮影処理の一例を示すフローチャートである。 撮影される道路Rの一例を示す図である。 図13に例示する道路Rを撮影したフレーム画像IM1を含む画像情報IMDの一例を示す図である。 実施形態1に係る第1情報処理の一例を示すフローチャートである。 実施形態1に係る生成処理の一例を示すフローチャートである。 実施形態1に係る設定情報の一例である。 実施形態1に係る記録処理の一例を示すフローチャートである。 実施形態1に係る第2情報処理の一例を示すフローチャートである。 監視情報を表示する監視画面の例を示す図である。 実施形態1に係る学習処理の一例を示すフローチャートである。 実施形態2に係る第1情報処理装置の機能的な構成例を示す図である。 実施形態2に係る保存処理部の機能的な構成例を示す図である。 実施形態2に係る第1情報処理の一例を示すフローチャートである。 実施形態3に係る第1情報処理装置の機能的な構成例を示す図である。 実施形態3に係る保存処理部の機能的な構成例を示す図である。 実施形態3に係る第1情報処理の一例を示すフローチャートである。 変形例3に係る情報処理システムの構成例を示す図である。
以下、本発明の実施形態1について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
<実施形態1>
(概要)
図1は、実施形態1に係る情報処理システム100の概要を示す図である。
情報処理システム100は、機械学習用画像を収集するための情報処理システムであって、生成部122と、保存処理部123と、を備える。生成部122は、道路を撮影した画像を処理し、画像の撮影に関わる状況を示す撮影状況情報を生成する。保存処理部123は、撮影状況情報に基づいて、画像を保存するための処理を実行する。
この情報処理システム100によれば、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
図2は、実施形態1に係る情報処理装置102の概要を示す図である。
情報処理装置102は、機械学習用画像を収集するための情報処理装置であって、生成部122と、保存処理部123と、を備える。生成部122は、道路を撮影した画像を処理し、画像の撮影に関わる状況を示す撮影状況情報を生成する。保存処理部123は、撮影状況情報に基づいて、画像を保存するための処理を実行する。
この情報処理装置102によれば、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
図3は、実施形態1に係る情報処理の概要を示すフローチャートである。
生成部122は、道路を撮影した画像を処理し、画像の撮影に関わる状況を示す撮影状況情報を生成する(ステップS122)。保存処理部123は、撮影状況情報に基づいて、画像を保存するための処理を実行する(ステップS123)。
この情報処理によれば、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
以下、実施形態1に係る情報処理システム100の詳細例について説明する。
(詳細)
図4は、実施形態1に係る情報処理システム100の構成例を示す図である。情報処理システム100は、機械学習用画像を収集するためのシステムである。本実施形態では、道路を監視するためのシステムに、機械学習用画像を収集するための機能が組み込まれる例を用いて説明する。
図4に示すように、情報処理システム100は、撮影装置101_1~101_Mと、第1情報処理装置102と、記録装置103と、第2情報処理装置104とを備える。ここで、Mは、1以上の整数である。
撮影装置101_1~101_Mの各々、第1情報処理装置102、記録装置103及び第2情報処理装置104は、例えば、有線、無線又はこれらを組み合わせて構成されたネットワークNを介して互いに接続されており、ネットワークNを介して互いに情報を送受信することができる。
(撮影装置101_1~101_Mの機能的な構成例)
撮影装置101_1~101_Mは、道路上の所定の撮影範囲を撮影する。撮影装置101_1~101_Mは、各々が撮影する範囲(撮影範囲)が互いに異なる。なお、撮影装置101_1~101_Mそれぞれが生成する複数の撮影範囲の一部が、他の撮影範囲と同じ範囲を含んでもよい。
撮影装置101_1~101_Mの各々の機能は、同様であってよい。そのため、撮影装置101_1~101_Mを区別しない場合、以下、「撮影装置101」とも表記する。
撮影装置101は、撮影範囲を撮影すると、撮影範囲を移した画像を生成する。そして、撮影装置101は、生成した画像を含む画像情報を生成し、第1情報処理装置102へ送信する。
例えば、撮影装置101は、所定の頻度(フレームレート)で撮影を行う。この場合の画像は、例えば、所定のフレームレートで撮影されたフレーム画像である。なお、画像は、カラーとモノクロのいずれであってもよく、その画素数は適宜選定されるとよい。
図5は、実施形態1に係る画像情報の構成例を示す図である。画像情報は、撮影装置101が生成した画像に、画像付随情報が関連付けられた情報である。画像付随情報は、例えば、画像識別情報、撮影装置識別情報、撮影時刻、撮影場所などである。
画像識別情報は、画像情報を識別するための情報である。画像識別情報は、以下、「画像ID(Identification)」とも称する。
撮影装置識別情報は、撮影装置101を識別するための情報である。撮影装置識別情報は、以下、「撮影ID」とも称する。
撮影時刻は、撮影した時刻を示す情報である。撮影時刻は、例えば、年月日及び時刻から構成される。時刻は、1/10秒、1/100秒などの所定の刻みで表されてよい。
撮影場所は、撮影した場所を示す情報である。撮影場所は、例えば、撮影装置101が設置されている場所を示す情報であり、当該場所を示す緯度及び経度から構成される。撮影場所は、例えば、撮影装置101が位置検知機能を備えている場合には当該位置検知機能を用いて取得されてもよく、設置者などによって予め設定されてもよい。位置検知機能は、GPS(Global Positioning System)などを用いて、撮影装置101の位置を検知する機能である。
なお、撮影場所は、撮影装置101の設置場所に限らず、例えば、撮影装置101の撮影範囲を示す情報であってもよく、この場合例えば、撮影範囲を示す緯度及び経度から構成されてもよい。また、画像情報は、道路を撮影した画像を含めばよく、画像付随情報を含まなくてもよい。さらに、画像付随情報を含む場合、画像付随情報は、上述の例に限られず、画像識別情報、撮影装置識別情報、撮影時刻、撮影場所などの少なくとも1つを含めばよい。
(第1情報処理装置102の機能的な構成例)
図6は、実施形態1に係る第1情報処理装置102の機能的な構成例を示す図である。第1情報処理装置102は、道路を撮影した画像を処理することにより、撮影状況情報を生成し、当該生成した撮影状況情報を保存させるための装置である。
この第1情報処理装置102は、上述の「情報処理装置102」に相当する。
図6に示すように、第1情報処理装置102は、画像取得部121と、生成部122と、保存処理部123と、監視情報送信部124と、学習部125とを含む。
画像取得部121は、画像を含む画像情報を撮影装置101から取得する。
なお、撮影装置101が複数である場合、画像取得部121は、複数の撮影装置101の各々から画像情報を取得するとよい。また、複数の画像に対する処理は、各画像に対して同様の処理が行われるとよい。
生成部122は、道路を撮影した画像を処理して、撮影状況情報を生成する。本実施形態では、生成部122は、道路を撮影した画像を処理し、その処理結果を用いて撮影状況情報を生成する。
(撮影状況情報)
図7は、撮影状況情報の例を示す図である。以下、撮影状況情報の例について説明するが、撮影状況情報は、ここで説明する例に限られない。
撮影状況情報は、処理対象である画像の撮影に関わる状況(撮影状況)を示す情報である。撮影状況情報は、例えば、(1)撮影時期、(2)撮影条件、(3)装置情報及び(4)道路情報などの少なくとも1つを含むとよい。
(1)撮影時期は、撮影した時期を示す情報である。
例えば、撮影時期は、(1-1)時刻、(1-2)時間区分、(1-3)週区分、(1-4)月区分、(1-5)年区分などの少なくとも1つであってもよい。
時間区分は、予め定められた時間帯に対応付けられた区分である。例えば、時間区分は、朝、昼、夕方、夜などであってもよい。週区分は、週を構成する日に対応付けられた区分である。例えば、週区分は、曜日、平日、休日(例えば、土日祝日)などであってもよい。月区分は、月を構成する期間に対応付けられた区分である。例えば、月区分は、月を概ね10日ずつの期間に対応付けた上旬、中旬、下旬であってもよい。年区分は、年を構成する期間に対応付けられた区分である。例えば、年区分は、年を3ヶ月ずつの期間に対応付けた春夏秋冬であってもよい。
(2)撮影条件は、撮影に関する条件を示す情報である。
例えば、撮影条件は、画像に映る撮影範囲の光に関する条件を示す情報である。詳細には例えば、撮影条件は、(2-1)照射状態、(2-2)天気、(2-3)露出情報、(2-4)画像の明るさ情報などの少なくとも1つであってもよい。
(2-1)照射状態は、撮影範囲を照らす光の状態を示す情報である。
例えば、照射状態は、日照状態、人工光状態などの少なくとも1つであってもよい。日照状態は、撮影範囲に照射する日光の状態を示す情報である。人工光状態は、撮影範囲に照射する電灯などの人工光の状態を示す情報である。日光と人工光とは、例えば、光の色の違いで判別されてもよい。
詳細には例えば、日照状態と人工光状態との各々は、逆光、順光、斜光などであてもよい。日照状態は、例えば、朝日、西日などであってもよい。
(2-2)天気は、撮影範囲の天気を示す情報である。例えば、天気は、晴れ、曇り、雨、雪、強風などであってもよい。強風は、撮影範囲における風速が所定値以上であることである。
(2-3)露出情報は、撮影における露出を示す情報である。例えば、露出情報は、シャッタースピードと絞り値との組み合わせであってもよい。
(2-4)画像の明るさ情報は、画像における画素値を処理した値に関する情報である。例えば、画像の明るさ情報は、画素値を統計処理した値であってもよく、統計処理した値の例として、画素値の平均値、画素値の分布を示す値などを挙げることができる。
(3)装置情報は、画像を撮影した撮影装置101に関連する情報である。
例えば、装置情報は、(3-1)撮影装置101の撮影範囲、(3-2)撮影装置101の撮影ID、(3-3)撮影装置101の撮影方向の俯角などの少なくとも1つであってもよい。例えば、撮影装置101の撮影範囲は、撮影範囲を示す緯度及び経度で表されてもよい。
(4)道路情報は、画像に映る道路に関する情報である。
道路情報は、例えば、(4-1)道路状態、(4-2)道路で発生した事象、(4-3)道路固有情報の少なくとも1つであってもよい。
(4-1)道路状態は、道路上の物体の状態を示す情報である。(4-1)道路状態は、例えば、画像を処理することで検知されるとよい。
道路上の物体は、例えば、車両、落下物などの1つ又は複数である。車両は、例えば、乗用車、トラック、トレーラ、工事用車両、緊急車両、バイク、自転車などの1つ又は複数である。落下物は、車両などから道路に落ちた物、風などで道路上に飛来した物などである。
道路状態は、道路上の物体の有無を含んでもよい。道路上に物体がある場合、道路状態は、各物体の物体識別情報及び物体状態を含んでもよい。なお、道路上の物体の有無は、当該有無を示すフラグ、道路上の物体の数などで表されてもよく、物体識別情報が道路状態に含まれるか否かによって表されてもよい。
物体識別情報は、道路上の物体を識別するための情報である。物体識別情報は、以下、「物体ID」とも称する。物体状態は、各物体の状態である。
物体状態に含まれる項目は、物体の種類ごとに、一部又は全部が異なっていてもよい。例えば、車両についての物体状態(車両状態)は、車両の位置、車両の走行方向、車両の速度、車両の動線(移動した軌跡)、車両の属性などの1つ又は複数である。車両の属性は、例えば、車両の種類、車両のサイズ、車両の色、ナンバプレートに記載された車両ナンバなどの1つ又は複数である。車両の種類は、例えば、上述した乗用車、トラック、トレーラ、工事用車両、緊急車両、バイク、自転車などの1つ又は複数である。
例えば、落下物についての物体状態(落下物状態)は、落下物の位置、移動方向、移動速度、動線、落下物の属性などの1つ又は複数である。落下物の属性は、例えば、落下物の種類、落下物のサイズ、落下物の色などの1つ又は複数である。落下物の種類は、例えば、木材、梱包物などの1つ又は複数である。
(4-2)事象は、予め定められるとよく、例えば、(A)車両の渋滞、(B)車両の逆走、(C)車両の低速走行、(D)車両の停止、(E)落下物、(F)蛇行走行の1つ又は複数である。(4-2)事象は、例えば、画像を処理することで検知されるとよい。
(A)渋滞は、例えば、低速走行をする車両又は停止発進を繰り返す車両から構成される車列が、所定距離以上の長さであり、かつ、所定の時間長さ以上継続していることであることを条件として検知される。ここでの低速走行は、所定速度以下での走行である。
(B)車両の逆走は、例えば、以下の(B-1)及び(B-2)から構成される条件を用いて検知される。(B-1)は、対象となる道路又は当該道路を構成する各車線に走行方向が予め定められていることである。(B-2)は、車両の走行方向と、当該車両が走行している道路又は車線の走行方向と、が所定の角度(例えば、90度)を越えて異なることである。(B-1)及び(B-2)の両方が満たされる場合に車両の逆走が検知され、(B-1)及び(B-2)の少なくとも一方が満たされない場合に車両の逆走は検知されない。
(C)車両の低速走行は、例えば、車両が所定速度以下で所定の時間長さ以上継続して走行していることを条件として検知される。ここでの所定速度は、(A)渋滞での低速走行を定める所定速度と同じであってもよく、異なっていてもよい。
(D)車両の停止は、例えば、車両が所定の時間長さ以上継続して停止している(車両位置が所定範囲内である)ことを条件として検知される。
(E)落下物は、例えば、(E-1)道路上に車両以外の物があること、(E-2)所定台数以上の車両が、共通の範囲に対して一時的な車線変更を行うこと、の一方又は両方を条件として検知される。(E-1)及び(E-2)のいずれか一方が満たされる場合に落下物が検知され、(E-1)及び(E-2)の両者が満たされない場合に落下物が検知されない。
一時的な車線変更とは、車線を変更した後に、所定の距離内又は所定の時間内に元の車線に戻ることである。一般的に、車両は落下物を避けて走行するため、複数の車両が共通して避ける範囲に落下物があると推定される。そのため、(E-2)を用いて落下物を検知することができる。
(F)蛇行走行は、例えば、車両が一時的な車線変更を所定の回数以上繰り返すことを条件として検知される。一時的な車線変更とは、上述したように、車線を変更した後に、所定の距離内又は所定の時間内に元の車線に戻ることである。
(4-3)道路固有情報は、道路に関して予め定められた情報である。
例えば、道路固有情報は、道路の走行方向、道路の名称、道路の区間を識別するための情報、道路の車線を識別するための情報の少なくとも1つであってもよい。例えば、道路の走行方向は、法律などで予め定められたものであってもよく、道路に車線の区別がない場合には、その道路全体の走行方向であってもよく、道路に車線の区別がある場合には、各車線の走行方向であってもよい。
本実施形態では、撮影状況情報が、上述した(1)撮影時期、(2)撮影条件、(3)装置情報及び(4)道路情報の一部を含む例を用いて説明する。
具体的には、図7に示すように、(1)撮影時期が、朝、昼、夕方、夜の時間区分である例を用いて説明する。(2)撮影条件が、照射状態及び天気を含む例を用いて説明する。(3)装置情報が、撮影ID、及び撮影方向の俯角を含む例を用いて説明する。(4)道路情報が、道路状態、事象、及び道路固有情報を含む例を用いて説明する。また、道路固有情報が、走行方向である例を用いて説明する。
図8は、実施形態1に係る生成部122の機能的な構成例を示す図である。生成部122は、第1分析部122aと、第2分析部122bと、設定情報保持部122cと、外部情報取得部122dと、情報生成部122eとを含む。
第1分析部122aは、画像取得部121が取得した画像を処理することによって、撮影条件を取得する。
第2分析部122bは、画像取得部121が取得した画像を処理することによって、道路情報を取得する。
このような第1分析部122aと第2分析部122bとの各々は、画像を処理して、撮影状況情報を生成する手段の例である。
第1分析部122a及び第2分析部122bの各々が画像を処理する方法には、パターンマッチング、機械学習モデルなどの一般的な技術が用いられてよい。本実施形態では、機械学習モデルを用いる例により説明する。
すなわち、本実施形態に係る第1分析部122aは、画像取得部121が取得した画像(すなわち、道路を撮影した画像)を入力として、第1分析モデルを用いて、撮影条件を取得する。第1分析モデルは、道路を撮影した画像を処理して撮影条件を取得するための学習をした機械学習モデルである。
また、本実施形態に係る第2分析部122bは、画像取得部121が取得した画像(すなわち、道路を撮影した画像)を入力として、第2分析モデルを用いて、道路情報を取得する。第2分析モデルは、道路を撮影した画像を処理して道路情報を取得するための学習をした機械学習モデルである。
第1分析モデルと第2分析モデルとは、ニューラルネットワークを用いて構成される。本実施形態では第1分析モデルと第2分析モデルとが、互いに独立したニューラルネットワークを用いて構成される例により説明する。
なお、第1分析モデルと第2分析モデルとは、共通のニューラルネットワークを用いて構成されてもよい。この場合の分析モデルは、例えば、道路を撮影した画像を処理して撮影条件及び道路情報を取得するための学習をした機械学習モデルである。この場合の第1分析部122a及び第2分析部122bは、例えば、画像取得部121が取得した画像(すなわち、道路を撮影した画像)を入力として、共通の分析モデルを用いて、撮影条件及び道路情報を取得するとよい。
設定情報保持部122cは、設定情報を保持する。設定情報は、画像を処理するために設定される情報である。
設定情報は、適宜の方法で設定されればよく、例えば、ユーザの入力により設定情報保持部122cに設定される。なお、撮影装置101に対して複数の設定情報のパターン(設定パターン)が準備されてもよい。そして、設定情報は、複数の設定パターンのいずれかをユーザが選択することによって設定されてもよい。
外部情報取得部122dは、外部装置から外部情報を取得する。詳細には例えば、外部情報取得部122dは、図示しない外部装置からネットワークNを介して外部情報を取得する。
情報生成部122eは、撮影状況情報を生成する。本実施形態に係る情報生成部122eは、撮影条件、道路情報、画像情報、設定情報及び外部情報を用いて、撮影状況情報を生成する。
図6を再び参照する。
保存処理部123は、撮影状況情報に基づいて、画像を保存するための処理を実行する。
本実施形態に係る保存処理部123は、学習用情報を生成し、生成した学習用情報を記録装置103に記憶させる。
学習用情報は、画像取得部121が取得した画像情報に含まれる画像を、機械学習用画像として含む。また、学習用情報は、撮影状況情報を含む。撮影状況情報に含まれる撮影状況情報は、情報生成部122eが生成した撮影状況情報のすべてであってもよく、撮影状況情報のうちの予め定められた一部であってもよい。すなわち、学習用情報は、撮影状況情報の少なくとも一部を含む。
本実施形態に係る保存処理部123は、機械学習用画像として画像と、情報生成部122eが生成した撮影状況情報の少なくとも一部を関連付ける。これによって、保存処理部123は、画像と撮影状況情報の少なくとも一部とを関連付けた学習用情報を生成する。
そして、保存処理部123は、生成した学習用情報を記録装置103へ送信することで、学習用情報を記録装置103に記憶させる。
監視情報送信部124は、道路を監視するために用いられる監視情報を第2情報処理装置104へ送信する。監視情報は、例えば、画像情報、撮影条件、道路情報、設定情報、外部情報などの少なくとも1つを含む情報である。監視情報と学習用情報とは、情報の用途が異なるため、異なる情報を含んでもよいが、同じであってもよい。
学習部125は、学習用情報に含まれる画像(機械学習用画像)に正解ラベルを付した教師データを用いて、学習モデルに学習させる。
本実施形態では学習部125は、例えば、第1分析モデルと第2分析モデルの各々に学習させる。なお、学習部125が学習させる機械学習モデルは、第1分析モデル及び第2分析モデルに限られなくてもよい。
図9は、実施形態1に係る学習部125の機能的な構成を示す図である。学習部125は、第1学習部125aと、第2学習部125bとを含む。
第1学習部125aは、画像に正解ラベルを付した教師データを用いて、第1分析モデルに学習させる。
第2学習部125bは、画像に正解ラベルを付した教師データを用いて、第2分析モデルに学習させる。
第1学習部125aが学習に用いる画像は、学習用情報に含まれる画像すなわち、機械学習用画像である。また、教師データを作成する方法には、一般的な手法又は技術が採用されてよい。例えば、ユーザは、第1学習部125a、第2学習部125b、その他の適宜の装置などを用いて、機械学習用画像に正解ラベルを付けるとよい。第1分析モデルと第2分析モデルとが、本実施形態のように互いに独立している場合、それぞれの学習に用いられる教師データにおいて、正解ラベルは、異なっていてもよい。
図4を再び参照する。
記録装置103は、機械学習用画像を記憶するための装置であり、学習用情報記憶手段に相当する。本実施形態に係る記録装置103は、機械学習用画像を含む学習用情報を第1情報処理装置102から取得すると、学習用情報を記憶する。
第2情報処理装置104は、道路を監視するための画像を表示する。
詳細には例えば、第2情報処理装置104は、監視情報を第1情報処理装置102から取得すると、監視情報を表示部に表示する。
これまで、実施形態1に係る情報処理システム100の機能的な構成例について主に説明した。ここから、実施形態1に係る情報処理システム100の物理的な構成例について説明する。
(情報処理システム100の物理的な構成例)
情報処理システム100は、物理的に例えば、撮影装置101と、第1情報処理装置102と、記録装置103と、第2情報処理装置104とを備える。
なお、情報処理システム100の物理的な構成は、これに限られない。例えば、本実施形態で説明した撮影装置101、2つの情報処理装置102,104及び記録装置103が備える機能は、物理的に、1つの装置に備えられてもよく、本実施形態とは異なる態様で複数の装置の各々に分割して備えられてもよい。本実施形態に係る装置101~104の間でネットワークNを介して情報を送信又は受信する機能は、物理的に共通の装置に組み込まれる場合、ネットワークNの代わりに、内部バスなどを介して情報を送信又は取得してもよい。
(撮影装置101の物理的な構成例)
図10は、実施形態1に係る撮影装置101の物理的な構成例を示す図である。撮影装置101は物理的に、例えば、バス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、ユーザインタフェース1060及びカメラ1070を有する。
バス1010は、プロセッサ1020、メモリ1030、ストレージデバイス1040、ネットワークインタフェース1050、ユーザインタフェース1060及びカメラ1070が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1020などを互いに接続する方法は、バス接続に限定されない。
プロセッサ1020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などで実現されるプロセッサである。
メモリ1030は、RAM(Random Access Memory)などで実現される主記憶装置である。
ストレージデバイス1040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)などで実現される補助記憶装置である。ストレージデバイス1040は、撮影装置101の各機能を実現するためのプログラムモジュールを記憶している。プロセッサ1020がこれら各プログラムモジュールをメモリ1030に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
ネットワークインタフェース1050は、撮影装置101をネットワークNに接続するためのインタフェースである。
ユーザインタフェース1060は、ユーザが情報を入力するためのインタフェースとしてのタッチパネル、キーボード、マウスなど、及び、ユーザに情報を提示するためのインタフェースとしての液晶パネル、有機EL(Electro-Luminescence)パネルなどである。
カメラ1070は、道路などの被写体を撮影して、当該被写体の画像を生成する。撮影装置101は、例えば、カメラ1070が道路上の所定の場所を撮影できるように、道路脇、道路上方などに設置される。
なお、撮影装置101は、ネットワークNに接続された外部の装置(例えば、第1情報処理装置102、第2情報処理装置104など)を介して、ユーザからの入力を受け付けてもよく、ユーザに情報を提示してもよい。この場合、撮影装置101は、ユーザインタフェース1060を備えなくてもよい。
(第1情報処理装置102、記録装置103、第2情報処理装置104の物理的な構成例)
図11は、実施形態1に係る第1情報処理装置102の物理的な構成例を示す図である。第1情報処理装置102は物理的に、例えば、撮影装置101と同様のバス1010、プロセッサ1020、メモリ1030、ストレージデバイス1040及びネットワークインタフェース1050を有する。第1情報処理装置102は物理的に、例えば、入力インタフェース2060及び出力インタフェース2070をさらに有する。
ただし、第1情報処理装置102のストレージデバイス1040は、第1情報処理装置102の各機能を実現するためのプログラムモジュールを記憶している。また、第1情報処理装置102のネットワークインタフェース1050は、第1情報処理装置102をネットワークNに接続するためのインタフェースである。
入力インタフェース2060は、ユーザが情報を入力するためのインタフェースであり、例えば、タッチパネル、キーボード、マウスなどを含む。出力インタフェース2070は、ユーザに情報を提示するためのインタフェースであり、例えばとしての液晶パネル、有機ELパネルなどを含む。
実施形態1に係る記録装置103と第2情報処理装置104との各々は物理的に、例えば、第1情報処理装置102と同様に構成されるとよい。ただし、記録装置103と第2情報処理装置104とのストレージデバイス1040は、それぞれ、記録装置103と第2情報処理装置104との各機能を実現するためのプログラムモジュールを記憶している。また、記録装置103と第2情報処理装置104とのネットワークインタフェース1050は、記録装置103と第2情報処理装置104とのそれぞれをネットワークNに接続するためのインタフェースである。
これまで、実施形態1に係る情報処理システム100の構成例について説明した。ここから、実施形態1に係る情報処理システム100の動作例について説明する。
(情報処理システム100の動作例)
情報処理システム100は、機械学習用画像を収集するための情報処理を実行する。本実施形態に係る情報処理は、例えば、撮影処理と、第1情報処理と、記録処理と、第2情報処理と、学習処理とを含む。これらの処理について、図を参照して説明する。
(実施形態1に係る撮影処理の例)
図12は、実施形態1に係る撮影処理の一例を示すフローチャートである。撮影処理は、道路を撮影するための処理である。撮影装置101は、例えば、第2情報処理装置104を介してユーザの開始指示を受け付けると、ユーザの終了指示を受け付けるまで、所定の頻度で撮影処理を繰り返し実行する。なお、撮影処理を開始又は終了する方法は、これらに限られない。
撮影装置101は、道路を撮影し、画像情報を生成する(ステップS101)。
詳細には例えば、撮影装置101は、カメラ1070が道路上の所定の場所を撮影すると、この撮影によって得られる画像を含む画像情報を生成する。
図13は、撮影される道路Rの一例を示す図である。
道路Rは、道路Rの両脇に沿って設けられた路側帯RS1及びRS2と、概ね中央に道路に沿って設けられた分離帯SZとを含む。道路Rは、さらに、路側帯RS1と分離帯SZとの間に設けられた車線L1及びL2と、路側帯RS2と分離帯SZとの間に設けられた車線L3及びL4と、を含む。道路Rの側部には、車線L1~L4のそれぞれを照らす道路灯M1~M4が設けられている。
図13において点線で表された矢印は、各車線について定められた走行方向を示す。道路Rでは、車両C1,C2,C3及びC4が走行している。図13において実線の矢印は、車両の走行方向を示す。
図14は、図13に例示する道路Rを撮影したフレーム画像IM1を含む画像情報IMDの一例を示す図である。図14に例示する画像情報IMDは、フレーム画像IM1に画像付随情報を関連付ける。図14に例示する画像付随情報は、画像ID「P1」、撮影ID「CM1」、撮影時期「T1」、撮影場所「L1」を関連付ける。
「P1」は、フレーム画像IM1に付与された画像IDである。撮影装置101は、例えば、予め定められた規則に従って画像IM1の画像IDを付与し、当該画像IDを画像情報IMDに設定するとよい。
「CM1」は、撮影装置101の撮影IDである。撮影装置101は、例えば、第2情報処理装置104を介してユーザが予め設定する撮影IDを保持し、当該撮影IDを画像情報IMDに設定するとよい。
「T1」は、フレーム画像IM1の撮影時期を撮影した時期を示す。撮影装置101は、例えば、計時機能を備え、撮影時の時刻を撮影時期として画像情報IMDに設定するとよい。
「L1」は、撮影装置101が撮影する場所を示す情報である。撮影装置101は、例えば、第2情報処理装置104を介してユーザが予め設定する撮影場所(例えば、撮影装置101の設置場所)を予め保持し、当該撮影場所を画像情報IMDに設定するとよい。
再び図12を参照する。
撮影装置101は、ステップS101で生成した画像情報を第1情報処理装置102へ送信し(ステップS102)、ステップS101へ戻る。
このような撮影処理によれば、映像(すなわち、所定のフレームレートで撮影される画像の各々)を概ねリアルタイムで第1情報処理装置102へ送信することができる。
なお、ステップS102は、撮影された画像の一部について画像情報を送信するように予め設定された時間間隔で実行されてもよい。また、映像は、リアルタイムで送信されなくてもよく、例えば撮影装置101は、画像情報を記憶し、予め定められたタイミングに複数の画像を含む画像情報を送信してもよい。
(実施形態1に係る第1情報処理の例)
図15は、実施形態1に係る第1情報処理の一例を示すフローチャートである。第1情報処理は、撮影状況情報を生成して保存させるための処理である。第1情報処理装置102は、例えば撮影装置101と同様に、第2情報処理装置104を介してユーザの開始指示を受け付けると、ユーザの終了指示を受け付けるまで、第1情報処理を繰り返し実行する。なお、第1情報処理を開始又は終了する方法は、これらに限られない。
画像取得部121は、ステップS102にて送信された画像情報を取得する(ステップS121)。
生成部122は、道路を撮影した画像を処理して、撮影状況情報を生成する(ステップS122)。
図16は、実施形態1に係る生成処理(ステップS122)の一例を示すフローチャートである。
第1分析部122aは、ステップS121にて取得した画像情報に含まれる画像を処理することによって、撮影条件を取得する(ステップS122a)。
詳細には例えば、第1分析部122aは、ステップS121にて取得した画像(すなわち、道路を撮影した画像)を入力として、第1分析モデルを用いて、照射状態を取得する。この照射状態は、例えば逆光、順光、斜光などである。
第2分析部122bは、ステップS121にて取得した画像情報に含まれる画像を処理することによって、道路情報を取得する(ステップS122b)。
詳細には例えば、第2分析部122bは、ステップS121にて取得した画像(すなわち、道路を撮影した画像)を入力として、第2分析モデルを用いて、道路状態及び事象を取得する。このとき、第2分析部122bは、必要に応じて、設定情報保持部122cが保持する設定情報を用いてもよい。
図17は、実施形態1に係る設定情報の一例である。設定情報は、例えば、装置IDと、撮影方向と、画角と、道路位置と、走行方向と、実距離情報とを含む。なお、設定情報は、これに限られない。
図17に示す設定情報は、装置ID「CM1」に、装置ID「CM1」を用いて識別される撮影装置101の撮影方向と、画角と、道路位置と、走行方向と、実距離情報とが関連付けられている例である。
撮影方向は、例えば、予め定められた基準方向に対する角度を示す情報である。図17の例では、撮影方向が、パン方向、チルト方向、ロール方向それぞれの角度(X°,Y°,Z°)で表される例を示す。チルト方向の角度は、例えば、撮影装置101の撮影方向の俯角に相当する。
画角は、撮影装置101から見た、撮影範囲の角度を示す情報である。画角は、例えば、撮影装置101に搭載される撮像素子の対角方向における撮影範囲の角度である。なお、画角の代わりに、又は画角とともに、撮影装置101にレンズの焦点距離が採用されてもよい。
道路位置は、撮影装置101が撮影方向及び画角に応じて撮影した画像における道路の位置を示す情報である。走行方向は、道路における走行方向を示す情報であり、例えば、撮影装置101が撮影方向及び画角に応じて撮影した画像における方向を示すベクトルで表される。図17の例では、道路Rの道路位置が画像における位置(直線)で表され、走行方向が道路Rを構成する車線L1~L4の各々に対応付けられた矢印で表されている。
実距離情報は、画像中の基準点間の実距離を示す情報である。図17の例では、実距離D[km]は、説明のために画像の例の中に付した基準点RP1,RP2の間の実際の距離を示す。基準点RP1,RP2は、適宜設定されるとよい。
図16を再び参照する。
情報生成部122eは、設定情報保持部122cから設定情報を取得する(ステップS122c)。
外部情報取得部122dは、外部装置から外部情報を取得する(ステップS122d)。
詳細には例えば、外部情報は、撮影装置101の撮影範囲における天気を含むとよい。
情報生成部122eは、ステップS121,S122a~S122dで取得した画像情報、撮影条件、道路情報、設定情報及び外部情報を用いて、撮影状況情報を生成する(ステップS122e)。
詳細には例えば、本実施形態に係る撮影状況情報は、図7を参照して説明した通り、(1)朝、昼、夕方、夜の時間区分、(2)照射状態及び天気、(3)撮影ID、及び撮影方向の俯角、(4)道路状態、事象、及び走行方向を含む。
(1)時間区分について、情報生成部122eは、朝、昼、夕方、夜のそれぞれに対応して予め定められた時間帯を保持し、ステップS121で取得した画像付随情報に含まれる撮影時刻が属する時間帯を特定することによって取得する。
(2)照射状態及び天気について、情報生成部122eは、ステップS122aにて取得した照射状態と、ステップS122dにて取得した天気とを用いる。
(3)撮影ID、及び撮影方向の俯角について、情報生成部122eは、ステップS121で取得した画像付随情報に含まれる撮影IDと、ステップS122cにて取得した設定情報に含まれるチルト方向の角度とを用いる。
(4)道路状態、事象、及び走行方向について、情報生成部122eは、ステップS122bにて取得した道路状態及び事象と、ステップS122cにて取得した設定情報に含まれる道路における走行方向を用いる。
そして、情報生成部122eは、時間区分、照射状態、天気、撮影ID、撮影方向の俯角、道路状態、事象、及び走行方向を含む撮影状況情報を生成する。
図15を再び参照する。
保存処理部123は、ステップS122にて生成された撮影状況情報に基づいて、画像を保存するための処理を実行する(ステップS123)。
詳細には例えば、保存処理部123は、ステップS121で取得した画像と、ステップS122eにて生成された撮影状況情報と、を関連付けることによって、学習用情報を生成する。保存処理部123は、生成した学習用情報を記録装置103へ送信する。これにより、保存処理部123は、学習用情報を記録装置103に記憶させる。
なお、保存処理(ステップS123)は、所定数の画像ごとに実行されるなど、ステップS121にて取得された画像情報のうちの一部に対してのみ実行されてもよい。これにより、処理負荷を軽減することができる。
この場合、保存処理部123は、ステップS121の処理対象となった画像について生成された撮影状況情報を、当該処理対象となった画像の前又は後に連続して取得された所定数の画像群に共通に関連付けて学習用情報を生成してもよい。
監視情報送信部124は、ステップS121で取得した画像を含む監視情報を第2情報処理装置104へ送信し(ステップS124)、第1情報処理を終了する。
詳細には例えば、監視情報送信部124は、ステップS121で取得した画像と、ステップS122bにて取得した道路状態及び事象と、を関連付ける。これによって、監視情報送信部124は、画像、道路状態及び事象を関連付けた監視情報を生成する。監視情報送信部124は、生成した監視情報を第2情報処理装置104へ送信する。
このような第1情報処理を実行することで、撮影状況情報が関連付けられた画像を記録装置103に記憶させることができる。また、監視情報を生成して、第2情報処理装置104に表示させることができる。
(実施形態1に係る記録処理の例)
図18は、実施形態1に係る記録処理の一例を示すフローチャートである。記録処理は、学習用情報を保存する処理である。記録装置103は、例えば撮影装置101と同様に、第2情報処理装置104を介してユーザの開始指示を受け付けると、ユーザの終了指示を受け付けるまで、第1情報処理を繰り返し実行する。なお、記録処理を開始又は終了する方法は、これらに限られない。
記録装置103は、ステップS124にて送信された学習用情報を取得する(ステップS131)。
記録装置103は、ステップS131にて取得された学習用情報を記憶し(ステップS132)、記録処理を終了する。
詳細には例えば、記録装置103は、自身のストレージデバイス1040などから構成される記憶部(不図示)を備える。記録装置103は、ステップS131にて取得された学習用情報を記憶部に記憶させる。
このような記録処理を実行することで、道路を撮影した画像と、当該画像に関する撮影状況情報と、が関連付けられた学習用情報を記録装置103に保存することができる。
(実施形態1に係る第2情報処理の例)
図19は、実施形態1に係る第2情報処理の一例を示すフローチャートである。第2情報処理は、ユーザが監視情報を用いて道路を監視するための処理である。
第2情報処理装置104は、例えば、ユーザの開始指示を受け付けると、撮影装置101、第1情報処理装置102及び記録装置103へ開始指示を送信するとともに、第1情報処理を開始する。そして、第2情報処理装置104は、例えば、ユーザの終了指示を受け付けると、撮影装置101、第1情報処理装置102及び記録装置103へ終了指示を送信するとともに、監視処理を終了する。すなわち、第2情報処理装置104は、例えば、ユーザの開始指示を受け付けると、ユーザの終了指示を受け付けるまで、第2情報処理を繰り返し実行する。なお、第2情報処理を開始又は終了する方法は、これらに限られない。
第2情報処理装置104は、ステップS124にて送信された監視情報を取得する(ステップS141)。
第2情報処理装置104は、ステップS141にて取得された監視情報を表示し(ステップS142)、第2情報処理を終了する。
詳細には例えば、第2情報処理装置104は、自身の出力インタフェース2070などから構成される表示部(不図示)を備える。第2情報処理装置104は、監視情報を第1情報処理装置102から取得すると、監視情報を表示部に表示させる。
図20は、監視情報を表示する監視画面の例を示す図である。
図20に示す監視画面は、フレーム画像IM1と、フレーム画像IM1を撮影した撮影装置101の装置IDと、フレーム画像IM1の撮影時期及び撮影場所とを含む。また、図20に示す監視画面は、フレーム画像IM1に含まれる物体の各々を識別するための指標である枠Fを含む。枠Fは、フレーム画像IM1に含まれる物体である車両C1~C4の各々を囲むように、フレーム画像IM1に重ねて示されている。また、事象は検知されていないため、図20に示す画面では、事象に関する情報の例である物体ID及び事象の種類は、空欄である。
第2情報処理装置104は、図20に例示する画面を継続して表示部に表示させる。そして、例えば当該画面中の「閉じる」ボタンにカーソルを当ててマウスのボタンを押下するなど所定の操作が行われると、第2情報処理装置104は、監視画面の表示を終了させて、第2情報処理を終了する。
なお、監視画面を表示する画面は、これに限られず、例えば監視画面に含まれる情報などは適宜変更されてよい。また例えば、撮影装置101が複数である場合、上述の通り、複数の撮影装置101は道路の異なる場所を撮影する。そのため、第2情報処理装置104は、道路に沿って隣接する撮影範囲が映る画像が連続するように、又は互いに近くに位置するように配置された監視画面を表示してもよい。
このような第2情報処理を実行することで、ユーザは、監視情報を見て、道路を監視することができる。
(実施形態1に係る学習処理の例)
図21は、実施形態1に係る学習処理の一例を示すフローチャートである。第2情報処理は、機械学習用画像(すなわち、学習用情報に含まれる画像)を用いて、機械学習モデルに学習させるための処理である。ここでは、第2分析モデルに学習させるための学習処理の例について説明する。
第2学習部125bは、記録装置103に記憶された学習用情報の中から、ユーザが撮影状況に関して指定する選択条件を満たす学習用情報を選択する(ステップS151)。
詳細には例えば、ユーザは、第2分析モデルの学習が十分ではない可能性が高い撮影状況を選択条件として指定する。
一般的に、雪の日の画像など、データ量が少ない撮影状況の画像については、第2分析モデルの学習が十分ではない可能性が高い。また、俯角が浅い画像など、解析が困難な画像については、第2分析モデルの学習が十分ではない可能性が高い。さらに、第2分析モデルから分析結果(本実施形態では、道路状態及び事象)とともに出力される信頼度が低い撮影状況の画像については、第2分析モデルの学習が十分ではない可能性が高い。ユーザは、このような画像の撮影状況を選択条件として指定するとよい。なお、ここでの学習が十分ではない可能性が高い撮影状況は、例示であって、これらに限られない。
第2学習部125bは、指定された選択条件を満たす学習用情報を、記録装置103に記憶された学習用情報の中から選択する。これにより、選択条件を満たす画像を選択することができる。
第2学習部125bは、ステップS151にて選択された学習用情報を記録装置103から取得する。そして、第2学習部125bは、ユーザの入力に従って、当該取得した学習用情報に含まれる画像(機械学習用画像)に正解ラベルを付すことによって、教師データを作成する(ステップS152)。
詳細には例えば、第2学習部125bは、ユーザの入力に従って、ステップS151にて取得された機械学習用画像に正解ラベルを付すことで、教師データを作成する。
第2分析モデルの学習のための教師データを作成する場合、ユーザは、例えば、機械学習用画像を参照して、当該機械学習用画像に含まれる物体の各々の正解ラベルを入力する。正解ラベルは、例えば、機械学習用画像に含まれる物体の中心等の所定箇所の画像内の座標、当該物体の水平サイズや垂直サイズ、当該物体の種類などである。物体の種類は、例えば、車両、物体などであり、物体が車両である場合には車両の種類などであってもよい。
第2学習部125bは、例えば学習を開始する指示をユーザから受け付けると、ステップS152にて作成された教師データを用いて、第2分析モデルの学習を行い(ステップS153)、学習処理を終了する。
このような学習処理によれば、撮影状況を用いて画像を選択することができる。そのため、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。
ここでは、第2分析モデルの学習を例に説明したが、第1分析モデルについても同様の学習処理に従って学習させることができる。詳細には、上述の学習処理の説明において、「第2学習部125b」及び「第2分析モデル」を、それぞれ、「第1学習部125a」及び「第1分析モデル」に置き換えた処理が実行されるとよい。ただし、第2分析モデルの学習のために機械学習用画像に付される正解ラベルは、例えば、機械学習用画像についての撮影条件であり、本実施形態では逆光、順光、斜光などの照射状態である。なお、第1分析モデル及び第2分析モデルに限られず、この学習処理は、道路を撮影した画像を分析するための他の機械学習モデルの学習に適用することができる。
(作用・効果)
以上、実施形態1によれば、情報処理システム100は、機械学習用画像を収集するための情報処理システムであって、生成部122と、保存処理部123と、を備える。生成部122は、道路を撮影した画像を処理し、画像の撮影に関わる状況を示す撮影状況情報を生成する。保存処理部123は、撮影状況情報に基づいて、画像を保存するための処理を実行する。
これにより、例えば撮影状況を用いて画像を選択することなどにより、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、撮影状況情報は、撮影時期、撮影条件、画像を撮影した撮影装置に関連する装置情報、画像に映る道路に関する道路情報の少なくとも1つを含む。
これにより、これらの項目を含む撮影状況を用いて画像を適切に選択することができるので、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、撮影条件は、照射状態、天気、露出情報、画像の明るさ情報の少なくとも1つを含む。装置情報は、撮影範囲、撮影装置を識別するための情報、撮影装置の撮影方向の俯角の少なくとも1つを含む。道路情報は、道路の状態を示す道路状態、道路で発生した事象、道路に関して予め定められた情報である道路固有情報の少なくとも1つを含む。
これにより、これらの項目を含む撮影状況を用いて画像を適切に選択することができるので、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、生成部122は、第1分析部122aと第2分析部122bとの少なくとも1つと、情報生成部122eとを含む。
第1分析部122aは、画像を入力として、道路を撮影した画像を処理して撮影条件を取得するための学習をした第1分析モデルを用いて、撮影条件を取得する。第2分析部122bは、画像を入力として、道路を撮影した画像を処理して道路情報を取得するための学習をした第2分析モデルを用いて、道路情報を取得する。情報生成部122eは、撮影条件と道路情報との少なくとも1つを用いて、撮影状況情報を生成する。
これにより、第1分析モデルを用いて得られる撮影条件と、第2分析モデルを用いて得られる道路情報との少なくとも1つを含む撮影状況を用いて画像を適切に選択することができるので、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、情報処理システム100は、画像を含む画像情報を撮影装置101から取得する画像取得部121をさらに備える。
生成部122は、設定情報保持部122cと外部情報取得部122dとの少なくとも1つをさらに含む。設定情報保持部122cは、画像を処理するために設定される設定情報を保持する。外部情報取得部122dは、外部装置から外部情報を取得する。
情報生成部122eは、撮影条件と道路情報との少なくとも1つと、画像情報と、設定情報及び外部情報の少なくとも1つと、を用いて、撮影状況情報を生成する。
これにより、画像情報と、設定情報及び外部情報の少なくとも1つと、をさらに含む撮影状況を用いて画像を適切に選択することができるので、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、第1分析モデルと第2分析モデルとは、互いに独立したニューラルネットワークを用いて構成される。
これにより、第1分析モデルと第2分析モデルとが独立に構成されるため、これらが共通のニューラルネットワークを用いて構成される場合よりも、不具合が発生したときにその原因を特定して修正することが容易になる。従って、情報処理システム100のメンテナンスを容易にすることが可能になる。
また、必要に応じて、第1分析部122aと第2分析部122bとを別個の装置に実装するなど、情報処理システム100を必要に応じて柔軟に構成することができる。従って、情報処理システム100の構成の柔軟性を向上させることが可能になる。
実施形態1によれば、保存処理部123は、画像と撮影状況情報の少なくとも一部とを関連付けた学習用情報を記録装置103に記憶させる。
これにより、撮影状況を用いて画像を選択することができるので、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、情報処理システム100は、画像に正解ラベルを付した教師データを用いて、第1分析モデルに学習させる第1学習部125aをさらに備える。
これにより、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、第1分析モデルに学習をさせることができる。従って、道路を撮影した画像について第1分析モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、情報処理システム100は、画像に正解ラベルを付した教師データを用いて、第2分析モデルに学習させる第2学習部125bをさらに備える。
これにより、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、第2分析モデルに学習をさせることができる。従って、道路を撮影した画像について第2分析モデルを用いて分析した結果の精度を向上させることが可能になる。
実施形態1によれば、第2情報処理装置104は、機械学習用画像を収集するための情報処理装置であって、生成部122と、保存処理部123と、を備える。生成部122は、道路を撮影した画像を処理し、画像の撮影に関わる状況を示す撮影状況情報を生成する。保存処理部123は、撮影状況情報に基づいて、画像を保存するための処理を実行する。
これにより、例えば、撮影状況を用いて画像を選択することができるので、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
(変形例1)
生成部122の機能的な構成は、種々変更されてもよい。また、情報生成部122eが撮影状況情報を生成するために用いる情報は、生成部122の機能的な構成などに応じて、種々変更されてもよい。
例えば、生成部122は、第1分析部122aと第2分析部122bとの少なくとも1つを含めばよい。また例えば、生成部122は、設定情報保持部122c及び外部情報取得部122dを含まなくてもよい。この場合の情報生成部122eは、撮影条件と道路情報との少なくとも1つを用いて、撮影状況情報を生成するとよい。
さらに、生成部122は、設定情報保持部122c及び外部情報取得部122dの少なくとも1つをさらに含んでもよい。この場合の情報生成部122eは、撮影条件と道路情報との少なくとも1つと、設定情報及び外部情報の少なくとも1つと、を用いて、撮影状況情報を生成するとよい。
さらに、情報生成部122eは、画像情報をさらに用いて、撮影状況情報を生成してもよい。例えば、画像情報が付随情報を含む場合、情報生成部122eは、画像及び付随情報の少なくとも1つをさらに用いて、撮影状況情報を生成してもよい。
本変形例1によっても、実施形態1と同様の効果を奏する。
(変形例2)
撮影状況情報に含まれる情報が、時間区分、逆光、順光、斜光などの照射状態、天気、撮影ID、撮影方向の俯角、道路状態、事象、及び走行方向に限られないことは、実施形態1で説明した通りである。また、撮影状況情報を生成するために用いる情報及びその取得方法は、実施形態1にて説明した方法に限られず、種々変更されてもよい。
例えば、情報生成部122eは、画像情報、撮影条件、道路情報、設定情報及び外部情報の少なくとも1つを用いて、撮影状況情報を生成してもよい。
例えば、第1分析部122aは、画像取得部121が取得した画像を処理することによって、撮影装置101の撮影範囲における天気を取得してもよい。この場合例えば、第1分析部122aは、ステップS121にて取得した画像(すなわち、道路を撮影した画像)を入力として、第1分析モデルを用いて、当該天気をさらに取得するとよい。
例えば、情報生成部122eは、画像付随情報に含まれる撮影時刻と天気とに基づいて、朝日、西日などの照射状態を取得してもよい。
例えば、画像付随情報は露出情報を含み、情報生成部122eは、この画像付随情報に基づいて、露出情報を取得してもよい。
例えば、情報生成部122eは、画像取得部121が取得した画像を処理することによって、画像の明るさ情報を取得してもよい。この処理は、例えば、統計処理であってもよく、第1分析モデルを用いた処理であってもよい。
例えば、情報生成部122eは、画像付随情報に含まれる撮影場所と、設定情報に含まれる撮影方向及び画角とに基づいて、撮影範囲を示す緯度及び経度を取得してもよい。
例えば、第1分析部122aは、画像取得部121が取得した画像を処理することによって、撮影装置101の撮影方向の俯角を取得してもよい。この場合例えば、第1分析部122aは、ステップS121にて取得した画像(すなわち、道路を撮影した画像)を入力として、第1分析モデルを用いて、当該俯角をさらに取得するとよい。
例えば、画像付随情報又は設定情報は、予め設定された道路の名称、道路の区間を識別するための情報、及び道路の車線を識別するための情報の一部又は全部を含んでもよい。情報生成部122eは、この画像付随情報又は設定情報に基づいて、道路の名称、道路の区間を識別するための情報、道路の車線を識別するための情報を取得してもよい。
本変形例によっても、実施形態1と同様の効果を奏する。
<実施形態2>
実施形態1では、機械学習モデルに学習させる際に、記録装置103に記憶された学習用情報から、撮影状況に基づいて機械学習用画像を選択する例を説明した。しかし、すべての画像を記録装置103に記憶させると、データ量が膨大になるおそれがある。実施形態2では、撮影状況に基づいて選択された画像を記録装置103に記憶させる例を説明する。
本実施形態では説明を簡潔にするため、実施形態1と同様の構成については、その説明を適宜省略する。
(実施形態2に係る情報処理システムの構成例)
実施形態2に係る情報処理システムは、機能的に、実施形態1に係る第1情報処理装置102に代わる第1情報処理装置202を備える。これを除いて、情報処理システムは、実施形態1に係る情報処理システム100と同様に構成されるとよい。
図22は、実施形態2に係る第1情報処理装置202の機能的な構成例を示す図である。第1情報処理装置202は、実施形態1に係る保存処理部123に代わる保存処理部223を含む。これを除いて、第1情報処理装置202は、実施形態1に係る第1情報処理装置102と同様に構成されるとよい。
保存処理部223は、実施形態1に係る保存処理部123と同様に、撮影状況情報に基づいて、画像を保存するための処理を実行する。
本実施形態に係る保存処理部123は、撮影状況情報と保存条件とに基づいて画像を保存すると判断した場合に、記録装置103に画像を記憶させる。
保存条件は、保存対象となる画像を決定するための条件である。
本実施形態に係る保存条件は、例えばユーザが設定する。ユーザは、例えば実施形態1に係る選択条件と同様に、第1分析モデル、第2分析モデルなどの学習を行う機械学習モデルの学習が十分ではない可能性が高い撮影状況を保存条件として指定するとよい。
保存条件は、例えば、撮影状況情報に含まれる各項目に対して設定されるとよく、撮影時期、撮影条件、前記画像を撮影した撮影装置に関連する装置情報、前記画像に映る道路に関する道路情報の少なくとも1つに関する条件を含む。
図23は、実施形態2に係る保存処理部223の機能的な構成例を示す図である。保存処理部223は、保存判断部223aと、保存制御部223bとを含む。
保存判断部223aは、撮影状況情報と保存条件とに基づいて、画像を保存するか否かを判断する。
保存制御部223bは、画像を保存すると判断された場合に、記録装置103に画像を記憶させる。
これまで、実施形態2に係る情報処理システムの機能的な構成例について主に説明した。物理的には、本実施形態に係る情報処理システムは、実施形態1に係る情報処理システム100と同様に構成されるとよい。ここから、実施形態2に係る情報処理システムの動作例について説明する。
(実施形態2に係る情報処理システムの動作例)
実施形態2に係る情報処理システムは、実施形態1に係る情報処理システム100と同様に、機械学習用画像を収集するための情報処理を実行する。本実施形態に係る情報処理は、実施形態1と同様の撮影処理、記録処理及び第2情報処理を含む。また、本実施形態に係る情報処理は、実施形態1とは異なる第1情報処理を含む。
(実施形態2に係る第1情報処理の例)
図24は、実施形態2に係る第1情報処理の一例を示すフローチャートである。本実施形態に係る第1情報処理は、実施形態1に係る保存処理(ステップS123)に代わる保存処理(ステップS223)を含む。
ステップS122に続けて、保存処理部223は、実施形態1に係るステップS123と同様に、ステップS122eにて生成された撮影状況情報に基づいて、画像を保存するための処理を実行する(ステップS223)。保存処理(ステップS223)の詳細が、実施形態1に係る保存処理(ステップS123)とは異なる。
保存判断部223aは、ステップS122eにて生成された撮影状況情報と、保存条件と、に基づいて、画像を保存するか否かを判断する(ステップS223a)。
詳細には例えば、保存判断部223aは、ステップS122eにて生成された撮影状況情報が保存条件を満たす場合に、ステップS121にて取得された画像を保存すると判断する。保存判断部223aは、ステップS122eにて生成された撮影状況情報が保存条件を満たさない場合に、ステップS121にて取得された画像を保存しないと判断する。
画像を保存しないと判断した場合(ステップS223a;No)、実施形態1と同様のステップS124が実行される。これにより、保存条件を満たさない撮影状況に対応する画像は、記録装置103に保存されない。
画像を保存すると判断した場合に(ステップS223a;Yes)、保存制御部223bは、ステップS121にて取得された画像を記録装置103に記憶させ(ステップS223b)、続けて、実施形態1と同様のステップS124が実行される。
詳細には例えば、保存制御部223bは、ステップS121で取得した画像と、ステップS122eにて生成された撮影状況情報と、を関連付けることによって、学習用情報を生成する。保存制御部223bは、生成した学習用情報を記録装置103へ送信する。これにより、保存制御部223bは、学習用情報を記録装置103に記憶させる。
このような第1情報処理を実行することで、保存条件を満たす撮影状況に対応する画像を記録装置103に記憶させることができる。
そのため、学習処理において、ステップS151は実行されなくてもよい。この場合、ステップS152では、第2学習部125bは、記録装置103から学習用情報を取得し、ユーザの入力に従って当該取得した学習用情報に含まれる画像(機械学習用画像)に正解ラベルを付すことによって、教師データを作成するとよい。
なお、本実施形態においても、撮影状況情報が画像に関連付けられているので、実施形態1と同様に、ステップS151が実行されてもよい。これにより、保存条件を満たす撮影状況に対応する画像の中から、さらに絞り込んだ画像(機械学習用画像)を用いて第2分析モデルに学習させることができる。
(作用・効果)
実施形態2によれば、保存処理部223は、保存判断部223aと保存制御部223bとを含む。保存判断部223aは、撮影状況情報と保存条件とに基づいて、画像を保存するか否かを判断する。保存制御部223bは、画像を保存すると判断された場合に、機械学習用画像を記憶するための記録装置103に画像を記憶させる。
これにより、保存条件を満たす撮影状況に対応する画像を記録装置103に記憶させることができる。従って、保存条件を満たすか否かにかかわらず画像を記録装置103に記憶させるよりも、記録装置103に記憶させるデータ量を減らすことが可能になる。
<実施形態3>
実施形態2では、保存条件を満たす撮影状況に対応する画像を、特に制限を設けずに記録装置103に記憶させる例を説明した。しかしながら、保存条件を満たす撮影状況に対応する画像であっても、ある程度のデータ量の画像が記憶されていれば、機械学習モデルの学習には十分である可能性が高い。実施形態3では、記録装置103に記憶させる画像をデータ量によって制限する例を説明する。
本実施形態では説明を簡潔にするため、他の実施形態と同様の構成については、その説明を適宜省略する。
(実施形態3に係る情報処理システムの構成例)
実施形態3に係る情報処理システムは、機能的に、実施形態1に係る第1情報処理装置102に代わる第1情報処理装置302を備える。これを除いて、情報処理システムは、実施形態1に係る情報処理システム100と同様に構成されるとよい。
図25は、実施形態3に係る第1情報処理装置302の機能的な構成例を示す図である。第1情報処理装置302は、実施形態1に係る保存処理部123に代わる保存処理部323を含む。これを除いて、第1情報処理装置202は、実施形態1に係る第1情報処理装置102と同様に構成されるとよい。
保存処理部323は、実施形態1に係る保存処理部123と同様に、撮影状況情報に基づいて、画像を保存するための処理を実行する。また、保存処理部323は、実施形態2に係る保存処理部223と同様に、撮影状況情報と保存条件とに基づいて画像を保存すると判断した場合に、記録装置103に画像を記憶させる。
図26は、実施形態3に係る保存処理部323の機能的な構成例を示す図である。保存処理部323は、実施形態2に係る保存判断部223aに代わる保存判断部323aと、実施形態2と同様の保存制御部223bとを含む。
保存判断部323aは、実施形態2に係る保存判断部223aと同様に、撮影状況情報と保存条件とに基づいて、画像を保存するか否かを判断する。
本実施形態に係る保存条件は、実施形態2に係る保存条件とは異なり、対象撮影条件と画像量条件とが関連付けられた条件を含む。
対象撮影条件は、保存対象となる画像が満たすべき撮影条件を定める。対象撮影条件は、実施形態2に係る保存条件と同様でよい。すなわち、対象撮影条件は、例えば、撮影状況に含まれる各項目に対して設定されるとよく、撮影時期、撮影条件、前記画像を撮影した撮影装置に関連する装置情報、前記画像に映る道路に関する道路情報の少なくとも1つに関する条件を含む。
画像量条件は、画像のデータ量に関する条件である。画像量条件は、前記画像の数、前記画像から構成される映像の時間、前記画像のデータ量の少なくとも1つを用いて規定される。画像量条件は、期間に関する条件を含んでもよく、この場合例えば、予め定められた期間(例えば、1年以内)に保存された画像のデータ量に関する条件であってもよい。
このような保存条件は、本実施形態においても、例えばユーザが設定するとよい。
本実施形態に係る保存判断部323aは、撮影状況情報と対象撮影条件と画像量条件と基づいて、画像を保存するか否かを判断する。
図26に示すように、保存判断部323aは、第1判断部323a_1と、第2判断部323a_2とを含む。
第1判断部323a_1は、画像について生成された撮影状況情報が対象撮影条件を満たすか否かを判断する。
第2判断部323a_2は、対象撮影条件を満たすと判断された場合に、対象撮影条件を満たす機械学習用画像のデータ量と、画像量条件とに基づいて、画像を保存するか否かを判断する。ここで、対象撮影条件を満たす機械学習用画像は、記録装置103に記憶された画像のうち、対象撮影条件を満たすものである。
これまで、実施形態3に係る情報処理システムの機能的な構成例について主に説明した。物理的には、本実施形態に係る情報処理システムは、実施形態1に係る情報処理システム100と同様に構成されるとよい。ここから、実施形態3に係る情報処理システムの動作例について説明する。
(実施形態3に係る情報処理システムの動作例)
実施形態3に係る情報処理システムは、実施形態1に係る情報処理システム100と同様に、機械学習用画像を収集するための情報処理を実行する。本実施形態に係る情報処理は、実施形態1と同様の撮影処理、記録処理及び第2情報処理を含む。また、本実施形態に係る情報処理は、実施形態1とは異なる第1情報処理を含む。
(実施形態3に係る第1情報処理の例)
図27は、実施形態3に係る第1情報処理の一例を示すフローチャートである。本実施形態に係る第1情報処理は、実施形態1に係る保存処理(ステップS123)に代わる保存処理(ステップS323)を含む。
ステップS122に続けて、保存処理部323は、実施形態1に係るステップS123と同様に、ステップS122eにて生成された撮影状況情報に基づいて、画像を保存するための処理を実行する(ステップS323)。保存処理(ステップS323)の詳細が、実施形態1に係る保存処理(ステップS123)とは異なる。
第1判断部323a_1は、ステップS122eにて生成された撮影状況情報が対象撮影条件を満たすか否かを判断する(ステップS323a)。
対象撮影条件を満たさないと判断した場合(ステップS323a;No)、第1判断部323a_1は、第1情報処理を終了する。これにより、対象撮影条件を満たさない撮影状況に対応する画像は、保存されない。
対象撮影条件を満たすと判断された場合(ステップS323a;Yes)、第2判断部323a_2は、画像を保存するか否かを判断する(ステップS323b)。
詳細には例えば、第2判断部323a_2は、対象撮影条件を満たす機械学習用画像のデータ量が、当該対象撮影条件に関連付けられた画像量条件以下である場合に、ステップS121にて取得された画像を保存すると判断する。また、第2判断部323a_2は、対象撮影条件を満たす機械学習用画像のデータ量が、当該対象撮影条件に関連付けられた画像量条件よりも多い場合に、ステップS121にて取得された画像を保存しないと判断する。
画像を保存しないと判断した場合(ステップS323b;No)、実施形態1と同様のステップS124が実行される。これにより、対象撮影条件を満たす機械学習用画像のデータ量が、画像量条件に規定された所定量を越えている場合、対象撮影条件を満たす画像であっても、記録装置103に保存されない。
画像を保存すると判断した場合に(ステップS323b;Yes)、実施形態2と同様のステップS223bが実行されて、続けて、実施形態1と同様のステップS124が実行される。
このような第1情報処理を実行することで、対象撮影条件を満たす撮影状況に対応する画像を、画像量条件に規定された所定量になるまで記録装置103に記憶させることができる。また、対象撮影条件を満たす撮影状況に対応する画像が、画像量条件に規定された所定量を越えて記憶されることがなくなる。
(作用・効果)
実施形態3によれば、保存条件は、保存対象となる画像が満たすべき撮影条件を定める対象撮影条件と、画像のデータ量に関する画像量条件と、が関連付けられた条件を含む。
保存判断部323aは、第1判断部323a_1と、第2判断部323a_2とを含む。第1判断部323a_1は、画像について生成された撮影状況情報が対象撮影条件を満たすか否かを判断する。第2判断部323a_2は、対象撮影条件を満たすと判断された場合に、対象撮影条件を満たす機械学習用画像のデータ量と、画像量条件とに基づいて、画像を保存するか否かを判断する。
これにより、対象撮影条件を満たす撮影状況に対応する画像を、画像量条件に規定された所定量になるまで記録装置103に記憶させることができる。そのため、学習が十分ではない可能性が高い撮影状況の画像を保存し、それを用いて機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
また、対象撮影条件を満たす撮影状況に対応する画像が、画像量条件に規定された所定量を越えて記憶されることを抑えることができる。従って、記録装置103に記憶させるデータ量の増加を抑制することが可能になる。
実施形態3によれば、画像量条件は、画像の数、画像から構成される映像の時間、画像のデータ量の少なくとも1つを用いて規定される。
これにより、画像量条件を適切に設定することができる。従って、上述のように、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。また、記録装置103に記憶させるデータ量の増加を抑制することが可能になる。
実施形態3によれば、対象撮影条件は、撮影時期、撮影条件、画像を撮影した撮影装置に関連する装置情報、画像に映る道路に関する道路情報の少なくとも1つに関する条件を含む。
これにより、撮影状況情報と同様の項目に対して、対象撮影条件を適切に設定し、学習が十分ではない可能性が高い撮影状況の画像を重点的に用いて、機械学習モデルに学習をさせることができる。従って、道路を撮影した画像について機械学習モデルを用いて分析した結果の精度を向上させることが可能になる。
(変形例3)
各実施形態では、情報処理システムが、1つの第1情報処理装置102を備える例を用いて説明した。しかし、情報処理システムは、複数の第1情報処理装置102を備えてもよい。
図28は、変形例3に係る情報処理システムの構成例を示す図である。本変形例に係る情報処理システムは、複数の撮影装置101_1_1~101_1_M1,101_X_1~101_X_MXと、1つ又は複数の第1情報処理装置102_1~102_Xと、記録装置103と、第2情報処理装置104とを備える。M1,MXの各々は、1以上の整数である。Xは、2以上の整数である。
撮影装置101_i_1~101_i_Mi(iは整数であり、1≦i≦X。Miは1以上の整数。)の各々と、第1情報処理装置102_iとは、実施形態1と同様のネットワークNを介して互いに接続されるとよい。また、第1情報処理装置102_iは、記録装置103と第2情報処理装置104との各々と、ネットワークNを介して互いに接続されるとよい。なお、これに限られず、情報処理システムを構成する任意の装置間が、ネットワークNを介して互いに接続されてもよい。
第1情報処理装置102_iは、実施形態に係る第1情報処理装置102,202,302に相当する。第1情報処理装置102_iに接続された撮影装置101_i_1~101_i_Miは、実施形態1に係る撮影装置101_1~101_Mに相当する。
本変形例は、各実施形態などに適用することができ、適用される各実施形態などと同様の効果を奏する。
以上、図面を参照して本発明の実施形態及び変形例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、実施の形態の各々で実行される工程の実行順序は、その記載の順番に制限されない。実施形態の各々では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の実施形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
機械学習用画像を収集するための情報処理システムであって、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況を示す撮影状況情報を生成する生成手段と、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行する保存処理手段とを備える
情報処理システム。
2.
前記撮影状況情報は、撮影時期、撮影条件、前記画像を撮影した撮影装置に関連する装置情報、前記画像に映る道路に関する道路情報の少なくとも1つを含む
1.に記載の情報処理システム。
3.
前記撮影条件は、照射状態、天気、露出情報、前記画像の明るさ情報の少なくとも1つを含み、
前記装置情報は、撮影範囲、前記撮影装置を識別するための情報、前記撮影装置の撮影方向の俯角の少なくとも1つを含み、
前記道路情報は、前記道路の状態を示す道路状態、前記道路で発生した事象、前記道路に関して予め定められた情報である道路固有情報の少なくとも1つを含む
2.に記載の情報処理システム。
4.
前記生成手段は、
前記画像を入力として、道路を撮影した画像を処理して撮影条件を取得するための学習をした第1分析モデルを用いて、前記撮影条件を取得する第1分析手段と、前記画像を入力として、道路を撮影した画像を処理して道路情報を取得するための学習をした第2分析モデルを用いて、前記道路情報を取得する第2分析手段と、の少なくとも1つと、
前記撮影条件と前記道路情報との少なくとも1つを用いて、前記撮影状況情報を生成する情報生成手段とを含み、
1.から3.のいずれか1つに記載の情報処理システム。
5.
前記画像を含む画像情報を撮影装置から取得する画像取得手段をさらに備え、
前記生成手段は、
前記画像を処理するために設定される設定情報を保持する設定情報保持手段と、
外部装置から外部情報を取得する外部情報取得手段と、の少なくとも1つをさらに含み、
前記情報生成手段は、前記撮影条件と前記道路情報との少なくとも1つと、前記画像情報と、前記設定情報及び前記外部情報の少なくとも1つと、を用いて、前記撮影状況情報を生成する
4.に記載の情報処理システム。
6.
前記第1分析モデルと前記第2分析モデルとは、互いに独立したニューラルネットワークを用いて構成される
4.又は5.に記載の情報処理システム。
7.
前記保存処理手段は、前記画像と前記撮影状況情報の少なくとも一部とを関連付けた学習用情報を学習用情報記憶手段に記憶させる
4.から6.のいずれか1つに記載の情報処理システム。
8.
前記保存処理手段は、
前記撮影状況情報と保存条件とに基づいて、前記画像を保存するか否かを判断する保存判断手段と、
前記画像を保存すると判断された場合に、前記機械学習用画像を記憶するための学習用情報記憶手段に前記画像を記憶させる保存制御手段とを含む
1.から7.のいずれか1つに記載の情報処理システム。
9.
前記保存条件は、保存対象となる画像が満たすべき撮影条件を定める対象撮影条件と、画像のデータ量に関する画像量条件と、が関連付けられた条件を含み、
前記保存判断手段は、
前記画像について生成された前記撮影状況情報が前記対象撮影条件を満たすか否かを判断する第1判断手段と、
前記対象撮影条件を満たすと判断された場合に、前記対象撮影条件を満たす前記機械学習用画像のデータ量と、前記画像量条件とに基づいて、前記画像を保存するか否かを判断する第2判断手段とを含む
8.に記載の情報処理システム。
10.
前記画像量条件は、前記画像の数、前記画像から構成される映像の時間、前記画像のデータ量の少なくとも1つを用いて規定される
9.に記載の情報処理システム。
11.
前記対象撮影条件は、撮影時期、撮影条件、前記画像を撮影した撮影装置に関連する装置情報、前記画像に映る道路に関する道路情報の少なくとも1つに関する条件を含む
9.又は10.に記載の情報処理システム。
12.
前記画像に正解ラベルを付した教師データを用いて、前記第1分析モデルに学習させる第1学習手段をさらに備える
4.から11.のいずれか1つに記載の情報処理システム。
13.
前記画像に正解ラベルを付した教師データを用いて、前記第2分析モデルに学習させる第2学習手段をさらに備える
5.から12.のいずれか1つに記載の情報処理システム。
14.
機械学習用画像を収集するための情報処理装置であって、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成する生成手段と、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行する保存処理手段とを備える
情報処理装置。
15.
1つ以上のコンピュータが機械学習用画像を収集するための情報処理方法であって、
前記1つ以上のコンピュータが、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成し、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行することを含む
情報処理方法。
16.
1つ以上のコンピュータに機械学習用画像を収集させるためのプログラムであって、
前記1つ以上のコンピュータに、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成し、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行することを
実行させるためのプログラム。
17.
1つ以上のコンピュータに機械学習用画像を収集させるためのプログラムが記録された記録媒体であって、
前記1つ以上のコンピュータに、
道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成し、
前記撮影状況情報に基づいて、前記画像を保存するための処理を実行することを
実行させるためのプログラムが記録された記録媒体。
100 情報処理システム
101.101_1~101_M,101_1_1~101_1_M1,101_i_1~101_i_Mi,101_X_1~101_X_MX 撮影装置
102 情報処理装置
102,102_1~102_X,102_i,202,302 第1情報処理装置
103 記録装置
104 第2情報処理装置
121 画像取得部
122 生成部
122a 第1分析部
122b 第2分析部
122c 設定情報保持部
122d 外部情報取得部
122e 情報生成部
123,223,323 保存処理部
124 監視情報送信部
125 学習部
125a 第1学習部
125b 第2学習部
223a,323a 保存判断部
223b 保存制御部
323a_1 第1判断部
323a_2 第2判断部

Claims (10)

  1. 機械学習用画像を収集するための情報処理システムであって、
    道路を撮影した画像を処理し、前記画像の撮影に関わる状況を示す撮影状況情報を生成する生成手段と、
    前記撮影状況情報に基づいて、前記画像を保存するための処理を実行する保存処理手段とを備える
    情報処理システム。
  2. 前記撮影状況情報は、撮影時期、撮影条件、前記画像を撮影した撮影装置に関連する装置情報、前記画像に映る道路に関する道路情報の少なくとも1つを含む
    請求項1に記載の情報処理システム。
  3. 前記撮影条件は、照射状態、天気、露出情報、前記画像の明るさ情報の少なくとも1つを含み、
    前記装置情報は、撮影範囲、前記撮影装置を識別するための情報、前記撮影装置の撮影方向の俯角の少なくとも1つを含み、
    前記道路情報は、前記道路の状態を示す道路状態、前記道路で発生した事象、前記道路に関して予め定められた情報である道路固有情報の少なくとも1つを含む
    請求項2に記載の情報処理システム。
  4. 前記生成手段は、
    前記画像を入力として、道路を撮影した画像を処理して撮影条件を取得するための学習をした第1分析モデルを用いて、前記撮影条件を取得する第1分析手段と、前記画像を入力として、道路を撮影した画像を処理して道路情報を取得するための学習をした第2分析モデルを用いて、前記道路情報を取得する第2分析手段と、の少なくとも1つと、
    前記撮影条件と前記道路情報との少なくとも1つを用いて、前記撮影状況情報を生成する情報生成手段とを含み、
    請求項1から3のいずれか1項に記載の情報処理システム。
  5. 前記画像を含む画像情報を撮影装置から取得する画像取得手段をさらに備え、
    前記生成手段は、
    前記画像を処理するために設定される設定情報を保持する設定情報保持手段と、
    外部装置から外部情報を取得する外部情報取得手段と、の少なくとも1つをさらに含み、
    前記情報生成手段は、前記撮影条件と前記道路情報との少なくとも1つと、前記画像情報と、前記設定情報及び前記外部情報の少なくとも1つと、を用いて、前記撮影状況情報を生成する
    請求項4に記載の情報処理システム。
  6. 前記保存処理手段は、
    前記撮影状況情報と保存条件とに基づいて、前記画像を保存するか否かを判断する保存判断手段と、
    前記画像を保存すると判断された場合に、前記機械学習用画像を記憶するための学習用情報記憶手段に前記画像を記憶させる保存制御手段とを含む
    請求項1から3のいずれか1項に記載の情報処理システム。
  7. 前記保存条件は、保存対象となる画像が満たすべき撮影条件を定める対象撮影条件と、画像のデータ量に関する画像量条件と、が関連付けられた条件を含み、
    前記保存判断手段は、
    前記画像について生成された前記撮影状況情報が前記対象撮影条件を満たすか否かを判断する第1判断手段と、
    前記対象撮影条件を満たすと判断された場合に、前記対象撮影条件を満たす前記機械学習用画像のデータ量と、前記画像量条件とに基づいて、前記画像を保存するか否かを判断する第2判断手段とを含む
    請求項6に記載の情報処理システム。
  8. 機械学習用画像を収集するための情報処理装置であって、
    道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成する生成手段と、
    前記撮影状況情報に基づいて、前記画像を保存するための処理を実行する保存処理手段とを備える
    情報処理装置。
  9. 1つ以上のコンピュータが機械学習用画像を収集するための情報処理方法であって、
    前記1つ以上のコンピュータが、
    道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成し、
    前記撮影状況情報に基づいて、前記画像を保存するための処理を実行することを含む
    情報処理方法。
  10. 1つ以上のコンピュータに機械学習用画像を収集させるためのプログラムであって、
    前記1つ以上のコンピュータに、
    道路を撮影した画像を処理し、前記画像の撮影に関わる状況に関する撮影状況情報を生成し、
    前記撮影状況情報に基づいて、前記画像を保存するための処理を実行することを
    実行させるためのプログラム。
JP2022154537A 2022-09-28 2022-09-28 情報処理装置、情報処理システム、情報処理方法及びプログラム Pending JP2024048563A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022154537A JP2024048563A (ja) 2022-09-28 2022-09-28 情報処理装置、情報処理システム、情報処理方法及びプログラム
US18/226,732 US20240104680A1 (en) 2022-09-28 2023-07-26 Information processing system, information processing method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022154537A JP2024048563A (ja) 2022-09-28 2022-09-28 情報処理装置、情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2024048563A true JP2024048563A (ja) 2024-04-09

Family

ID=90359496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022154537A Pending JP2024048563A (ja) 2022-09-28 2022-09-28 情報処理装置、情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20240104680A1 (ja)
JP (1) JP2024048563A (ja)

Also Published As

Publication number Publication date
US20240104680A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
EP4123616A1 (en) On-demand roadway stewardship system
US8447112B2 (en) Method for automatic license plate recognition using adaptive feature set
US10255804B2 (en) Method for generating a digital record and roadside unit of a road toll system implementing the method
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
WO2020041178A1 (en) Camera assessment techniques for autonomous vehicles
JP7444613B2 (ja) 道路管理システム、道路管理方法、及びプログラム
CN101923784A (zh) 交通信号灯调整系统及方法
CN110837800A (zh) 一种面向港口恶劣天气的目标检测和识别的方法
WO2020007589A1 (en) Training a deep convolutional neural network for individual routes
CN109916415B (zh) 道路类型确定方法、装置、设备及存储介质
WO2020048116A1 (zh) 经济地理要素后处理分析与挖掘方法及系统
CN113903008A (zh) 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法
CN113903012A (zh) 碰撞预警方法及装置、车载设备及存储介质
CN115690750A (zh) 一种驾驶员分心检测方法和装置
CN113743163A (zh) 交通目标识别模型训练方法、交通目标定位方法、装置
KR102562757B1 (ko) 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
CN113392817A (zh) 一种基于多列卷积神经网络的车辆密度估计的方法及装置
CN113673527A (zh) 一种车牌识别方法及系统
JP2024048563A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN110708843A (zh) 一种智慧城市单行道灯群控制方法、服务器及存储介质
Nayak et al. Reference Test System for Machine Vision Used for ADAS Functions
CN115146830A (zh) 一种智能识别路人打车意图的方法、系统及其车辆
CN102722724A (zh) 具有目标识别功能的车载夜视系统及其目标标识方法
JP7375659B2 (ja) 情報処理装置、車両、情報処理システム、プログラム及び情報処理方法
US20230056092A1 (en) Road installation check system