JP7231996B2 - 情報処理方法および情報処理システム - Google Patents

情報処理方法および情報処理システム Download PDF

Info

Publication number
JP7231996B2
JP7231996B2 JP2018146203A JP2018146203A JP7231996B2 JP 7231996 B2 JP7231996 B2 JP 7231996B2 JP 2018146203 A JP2018146203 A JP 2018146203A JP 2018146203 A JP2018146203 A JP 2018146203A JP 7231996 B2 JP7231996 B2 JP 7231996B2
Authority
JP
Japan
Prior art keywords
imaging
learning data
object detection
images
selection process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018146203A
Other languages
English (en)
Other versions
JP2020021372A (ja
Inventor
和史 石川
拓也 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2018146203A priority Critical patent/JP7231996B2/ja
Priority to CN201910670434.5A priority patent/CN110795985A/zh
Priority to US16/526,236 priority patent/US11023775B2/en
Priority to EP19189120.9A priority patent/EP3605395A1/en
Publication of JP2020021372A publication Critical patent/JP2020021372A/ja
Application granted granted Critical
Publication of JP7231996B2 publication Critical patent/JP7231996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、学習用データとする画像を選択する情報処理方法および情報処理システムに関する。
特許文献１には、複数の種類のセンサのうち、あるセンサの検出結果を教師データとして別のセンサの出力から物体の認識を実行するための機械学習の教師あり学習データを自動的に収集するデータベース構築システムが開示されている。
特開２０１７－１０２８３８号公報
しかしながら、特許文献１の技術では、教師データとなるセンサの検出結果の精度又は正確性（以下、単に精度とも称する。）が低い場合には当該センサの検出結果が学習用データとして採用されないため、学習用データが得られるかどうかはセンサの精度の高さに依存してしまう。このため、特許文献１の技術では、学習用データを安定的に得ることが難しい。
そこで本開示では、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる情報処理方法および情報処理システムを提供することを目的とする。
本開示に係る情報処理方法は、コンピュータを用いて、同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、前記学習用データ選択処理は、前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、前記共通領域における前記複数の物体検出結果の間の一致度を判定し、前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示に係る情報処理方法および情報処理システムは、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる。
図１は、実施の形態１に係る情報処理システムの外観図を示す図である。 図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図３は、実施の形態１に係る車両のハードウェア構成の一例を示すブロック図である。 図４は、実施の形態１に係る情報処理システムの機能構成の一例を示すブロック図である。 図５は、第１データの構成の一例を示す図である。 図６は、上方から見た図であり、特定の撮像装置と撮像範囲が重複する他の撮像装置との関係の一例を示す図である。 図７Ａは、複数の撮像装置において同一のタイミングでそれぞれ撮像された複数の画像を示す。 図７Ｂは、複数の画像と、同一のタイミングにおける複数の撮像装置の位置および撮像方向とを用いて得られる物体位置モデルの一例を示す図である。 図７Ｃは、算出した共通領域を、複数の画像のそれぞれに投影した複数の投影画像を示す。 図８Ａは、学習用データとなる画像の選択方法の第１の例について説明するための図である。 図８Ｂは、学習用データとなる画像の選択方法の第２の例について説明するための図である。 図９は、実施の形態に係る情報処理システムにおける動作の一例を示すシーケンス図である。 図１０は、実施の形態に係る情報処理装置における学習用データ選択処理の詳細の一例を示すフローチャートである。 図１１は、変形例１に係る情報処理システムの機能構成の一例を示すブロック図である。 図１２は、変形例１に係る情報処理システムにおける動作の一例を示すシーケンス図である。
（本発明の基礎となった知見）
近年、自動運転、監視カメラ、ロボットなどの分野において、カメラによって撮像された画像に対する、ディープラーニングなどの機械学習を用いた物体検出が活用されている。このような物体検出には、機械学習に用いる教師データが大量に必要となる。このため、さまざまなカメラで撮像された大量の画像が収集され、収集された画像に対して、人が正解を付与することで教師データを生成している。
しかしながら、人が画像に対して正解を付与することにはコストがかかるため、単純に得られた全ての大量の画像から教師データを生成することは好ましくない。また、コストを考慮することなく、大量の画像の全てに対して正解を付与した教師データが得られたとしても、得られた大量の教師データについて機械学習を実行する必要があるため、機械学習にかかる処理負荷が大きくなり、また、処理時間も長くなる。よって、効率よく機械学習を行うためには、大量の画像の中から機械学習に有効な画像を選択することが必要である。
ここで、機械学習には利用される大量の画像は、互いに異なるさまざまな状況で撮像された複数の画像により構成されること、つまり、多様性のある複数の画像により構成されることが必要である。言い換えると、互いに似た状況で撮像された複数の画像を用いるよりも、互いに異なる状況で撮像された複数の画像を用いる方が、効率のよい機械学習を実現するために効果的である。
上述したように、特許文献１のデータベース構築システムでは、第一のセンサの出力データに基づく信頼度の高い物体の認識データを教師データと、第二のセンサにより得られた出力データである入力データとを対応付けることで教師あり学習データを収集している。
しかしながら、第一のセンサの出力データに基づく物体の認識データの信頼度が高くない場合には、誤った教師データを生成するおそれがある。例えば、物体の認識データの信頼度は、第一のセンサの品質に依存するため、第一のセンサには一定以上の品質が要求されることとなる。つまり、従来技術では、精度が高いセンサによる検出結果が必要となり、コストがより多くかかってしまう。また、特許文献１では、第一センサの検出結果の品質が低い場合には第一センサの検出結果が学習用データとして採用されないため、学習用データが得られるかどうかも第一センサの品質に依存してしまう。このため、学習用データを安定的に得ることが難しい。
このような問題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータを用いて、同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、前記学習用データ選択処理は、前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、前記共通領域における前記複数の物体検出結果の間の一致度を判定し、前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含む。
このため、複数の撮像装置が、互いに共通する物体を撮像している場合には、当該共通する物体への複数の物体検出処理による複数の物体検出結果を得ることができる。これにより、共通する物体についての複数の物体検出結果の間の一致度に応じて、例えば、一致しない物体検出結果の物体検出処理の対象となった画像を学習用データとなる画像として選択することができる。よって、情報処理方法では、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる。
また、さらに、前記複数の撮像装置のうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、前記学習用データ選択処理を実行するか否かを判定し、前記学習用データ選択処理を実行すると判定した場合に、前記学習用データ選択処理を実行してもよい。
このため、物体検出結果の精度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
また、前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置は、前記特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置であってもよい。
このため、特定の撮像装置を基準として、他の撮像装置を選択することができる。したがって、一致度の判定に有効な物体検出結果を得ることができる。
また、前記他の撮像装置は、前記特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置であってもよい。
このため、特定の撮像装置が撮影する物体と同じ物体を撮影する可能性が高い他の撮像装置を選択することができる。
また、さらに、前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置に撮像を実行させてもよい。
このため、特定の撮像装置と他の撮像装置とで撮像条件を揃えることができる。例えば、撮像時間を同一とみなされる時間に揃えることができる。
また、前記特定の物体検出結果は、物体検出結果についての尤度を含み、前記学習用データ選択処理を実行するか否かの判定では、前記尤度が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定してもよい。
このため、尤度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
また、前記学習用データ選択処理を実行するか否かの判定では、前記複数の画像の撮像時間、前記撮像により画像を生成した撮像装置の位置、及び、前記複数の物体検出処理において検出した物体の属性又は態様の少なくとも１つの情報の統計情報を取得し、取得した前記統計情報を用いて、前記学習用データ選択処理を実行するか否かを判定してもよい。
このため、撮像条件又は撮像内容が統計的に学習に適している場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
また、前記統計情報は、前記少なくとも１つの情報の希少性を示す希少性情報を含み、前記学習用データ選択処理を実行するか否かの判定では、前記希少性情報が示す前記希少性が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定してもよい。
このため、希少性が所定の条件を満たす場合に学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、希少性が所定の条件を満たさない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
また、前記学習用データ選択処理では、前記複数の物体検出結果の間で一致しないものがある場合、前記複数の画像の中から学習用データとなる画像を選択してもよい。
このため、誤検出した又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
また、前記複数の撮像装置間の性能が互いに同じであり、かつ、前記複数の物体検出処理間の性能が互いに同じである場合、前記複数の物体検出結果のうち一致している数または割合に応じて、前記複数の画像の中から学習用データとなる画像を選択してもよい。
このため、例えば、物体検出結果が一致している数が所定数より少ない、または、物体検出結果が一致している割合が所定の割合より低い画像を学習用データとして選択することができる。
また、前記複数の撮像装置間の性能が互いに異なる、または、前記複数の物体検出処理間の性能が互いに異なる場合、前記複数の撮像装置の性能の高さ、または、前記複数の物体検出処理の性能の高さに応じて、前記学習用データ選択処理のパラメタを決定し、決定した前記パラメタを用いた前記学習用データ選択処理を実行してもよい。
このため、複数の撮像装置間の性能、または、複数の物体検出処理間の性能が互いに異なる場合であっても、各性能を考慮するため、誤検出又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る情報処理方法および情報処理システムについて、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態）
以下、図１～図１０を用いて、実施の形態１を説明する。
［１－１．構成］
図１は、実施の形態１に係る情報処理システムの外観図を示す図である。
具体的には、図１において、情報処理装置１００、撮像装置２００ａ、２００ｂ、通信ネットワーク３００および移動通信システムの基地局３１０が示されている。例えば、情報処理システム１は、これらの構成要素のうち、情報処理装置１００および撮像装置２００ａ、２００ｂを備える。なお、図１では、撮像装置２００ａ、２００ｂは、カメラ２０５を備える車両が示されているが、車両に限らずに、監視カメラなど他の撮像装置であってもよい。また、撮像装置２００ａ、２００ｂは、２台が示されているが、３台以上であってもよい。
情報処理装置１００は、撮像装置２００ａ、２００ｂにより撮像された複数の画像を取得し、取得した複数の画像の中から機械学習のための学習用データを選択する装置である。情報処理装置１００は、例えば、サーバである。
撮像装置２００ａ、２００ｂのそれぞれは、カメラ２０５を備え、例えば、カメラ２０５により得られた画像データを用いて得られる物体検出または物体認識の結果を用いて、自動運転または運転支援を行う車両である。なお、撮像装置２００ａ、２００ｂのそれぞれは、カメラ２０５を備えていればよく、必ずしも自動運転または運転支援を行う機能を有していなくてもよい。
通信ネットワーク３００は、インターネットなどの汎用のネットワークであってもよいし、専用のネットワークであってもよい。基地局３１０は、例えば、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される基地局である。
次に、情報処理装置１００のハードウェア構成の具体例について図２を用いて説明する。
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
図２に示すように、情報処理装置１００は、ハードウェア構成として、プロセッサ１０１と、メインメモリ１０２と、ストレージ１０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４とを備える。
プロセッサ１０１は、ストレージ１０３等に記憶された制御プログラムを実行するプロセッサである。
メインメモリ１０２は、プロセッサ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
ストレージ１０３は、制御プログラム、または、画像データ、点群データなどの各種データを保持する不揮発性の記憶領域である。
通信ＩＦ１０４は、通信ネットワークを介して撮像装置２００ａ、２００ｂなどと通信する通信インタフェースである。通信ＩＦ１０４は、例えば、有線ＬＡＮインタフェースである。なお、通信ＩＦ１０４は、無線ＬＡＮインタフェースであってもよい。また、通信ＩＦ１０４は、ＬＡＮインタフェースに限らずに、通信ネットワークとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。
次に、撮像装置２００ａ、２００ｂなどのハードウェア構成の具体例について図３を用いて説明する。
図３は、実施の形態１に係る車両のハードウェア構成の一例を示すブロック図である。
図３に示すように、撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれは、ハードウェア構成として、プロセッサ２０１と、メインメモリ２０２と、ストレージ２０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０４と、カメラ２０５と、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）２０６と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）２０７とを備える。撮像装置２００ａ、２００ｂなどのそれぞれは、互いに同様の構成を備えるため、以下では、撮像装置２００ａについて説明し、その他の撮像装置２００ｂ、２００ｃなどの構成の説明を省略する。
プロセッサ２０１は、ストレージ２０３等に記憶された制御プログラムを実行するプロセッサである。プロセッサ２０１は、撮像装置２００ａの自動運転または運転支援を行うためのＥＣＵに用いられるプロセッサを含んでいてもよい。
メインメモリ２０２は、プロセッサ２０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
ストレージ２０３は、制御プログラム、または、画像データ、点群データなどの各種データを保持する不揮発性の記憶領域である。
通信ＩＦ２０４は、通信ネットワーク３００を介して情報処理装置１００と通信する通信インタフェースである。つまり、通信ＩＦ２０４は、通信ネットワーク３００に通信接続できる通信インタフェースであればよい。具体的には、通信ＩＦ２０４は、移動通信システムの基地局３１０との通信接続により、通信ネットワーク３００と通信接続する通信インタフェースである。通信ＩＦ２０４は、例えば、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよい。また、通信ＩＦ２０４は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよく、図示しないルータ（例えば、モバイル無線ＬＡＮルータ）との通信接続により、通信ネットワーク３００と通信接続する通信インタフェースであってもよい。
カメラ２０５は、撮像装置２００ａに保持され、レンズなどの光学系およびイメージセンサを有する光学センサであり、第１センサの一例である。
ＩＭＵ２０６は、加速度センサおよびジャイロセンサを含むセンサ機器である。加速度センサは、撮像装置２００ａの異なる３方向のそれぞれにかかる加速度を検出するセンサである。ジャイロセンサは、撮像装置２００ａの異なる３方向を軸とした３軸周りそれぞれの回転における角速度を検出するセンサである。
ＧＮＳＳ２０７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星を含む人工衛星から当該ＧＮＳＳ２０７の位置を示す情報を受信する。つまり、ＧＮＳＳ２０７は、撮像装置２００ａの現在位置を検出する。
次に、情報処理システム１の機能構成について図４を用いて説明する。
図４は、実施の形態に係る情報処理システムの機能構成の一例を示すブロック図である。なお、図４では、図１における通信ネットワーク３００および基地局３１０を省略している。
まず、撮像装置２００ａの機能構成について説明する。
撮像装置２００ａは、機能構成として、検出部２１０と、記憶部２２０と、物体検出部２３０と、送信部２４０とを備える。他の撮像装置２００ｂ、２００ｃなども、撮像装置２００ａと同様の機能構成を備える。
検出部２１０は、撮像装置２００ａのカメラ２０５により撮像された画像を検出する。また、検出部２１０は、カメラ２０５の撮像により画像を生成したときの、撮像装置２００ａの位置および撮像方向を検出する。撮像により画像を生成したときの撮像装置２００ａの位置および撮像方向には、画像が撮像されたタイミングに最も近いタイミングで検出された位置および撮像方向が採用されてもよいし、画像が撮像されたタイミングにおいて検出されている複数の位置および複数の撮像方向のうち最新の位置および最新の撮像方向が採用されてもよい。例えば、撮像装置２００ａの位置は、ＧＮＳＳ２０７により検出される。例えば、撮像装置２００ａの撮像方向は、ＩＭＵ２０６による検出値を用いて検出されてもよいし、ＧＮＳＳ２０７による検出値を用いて検出されてもよいし、ＩＭＵ２０６およびＧＮＳＳ２７０による検出値の組み合わせを用いて検出されてもよい。また、撮像装置２００ａが地磁気センサを有している場合には、撮像方向は、地磁気センサによる検出値を用いて検出されてもよい。
撮像方向は、カメラ２０５の撮像方向であり、撮像装置２００ａに予め定められた方向である。カメラ２０５が、撮像装置２００ａとしての車両に撮像方向が固定された状態で配置されている場合には、カメラ２０５が向いている車両に対する方向が撮像方向である。例えば、カメラ２０５が車両の前方を撮像する場合には、車両の前方の方向が撮像方向となる。
検出部２１０は、複数の画像を、複数の画像を構成する複数のフレーム、または、複数の静止画像のそれぞれと、当該フレームまたは当該静止画像を撮像した時刻である撮像タイミングとを対応付けて記憶部２２０に記憶させる。また、検出部２１０は、複数の位置のそれぞれと、当該位置を検出した時刻である検出タイミングとを対応付けて記憶部２２０に記憶させる。同様に、検出部２１０は、複数の撮像方向のそれぞれと、当該撮像方向を検出した時刻である検出タイミングとを対応付けて記憶部２２０に記憶させる。複数の画像と、複数の位置および複数の撮像方向との、検出タイミングに応じた対応付けでは、画像が得られたタイミングに最も近いタイミングで得られた位置および撮像方向を対応付けてもよいし、所定の時間間隔内において検出された複数の画像と、複数の位置および複数の撮像方向とを対応付けてもよい。
検出部２１０は、例えば、カメラ２０５、ＩＭＵ２０６、ＧＮＳＳ２０７などの組み合わせにより実現される。
記憶部２２０は、検出部２１０により検出された複数の画像を、複数の画像のそれぞれの撮像タイミングと共に記憶する。また、記憶部２２０は、検出部２１０により検出された複数の位置および複数の撮像方向を、複数の位置および複数の撮像方向のそれぞれの検出タイミングと共に記憶する。また、記憶部２２０は、画像に対する物体検出部２３０による物体検出処理により検出された物体検出結果を、当該画像と対応付けて記憶する。記憶部２２０は、例えば、ストレージ２０３により実現される。
物体検出部２３０は、検出部２１０により検出された複数の画像のそれぞれについて、所定の物体検出モデルを用いた物体検出処理を実行することで当該画像に含まれる物体を検出する。物体検出部２３０は、例えば、記憶部２２０に記憶されている複数の画像について物体検出処理を実行してもよいし、検出部２１０において検出された複数の画像について物体検出処理を実行してもよい。物体検出部２３０は、例えば、画像に対して物体検出処理を実行することで、画像に含まれる物体の属性または態様を認識する。物体の属性は、例えば、人、車両などであり、さらに、人の性別、年齢など、車両の車体の種別などであってもよい。物体の態様は、物体が人である場合には、立っている、座っている、寝ている、歩いている、走っているなどを示し、物体が車両である場合には、走行している、徐行している、停止しているなどを示す。物体検出部２３０は、物体の属性を認識する場合、例えば、複数種類の物体の属性のそれぞれについて、検出した物体が当該属性に属することの尤度を評価し、評価した尤度に基づいて検出した物体の属性を認識する。物体検出部２３０は、例えば、評価した尤度が最大であり、かつ、他の尤度よりも所定の差分値以上大きい尤度である属性を、物体の属性として認識してもよい。尤度は、物体検出の正確性、信頼性、スコアなどであり、値が高いほど物体検出結果の評価が高いことを示す。このように、物体検出結果には、尤度が含まれていてもよい。
物体検出部２３０は、画像に対して物体検出処理を実行することにより得られた物体検出結果を、当該画像に対応付けて記憶部２２０に記憶させる。物体検出結果の画像への対応付けは、物体検出結果に当該画像を識別する識別子を付与することで行ってもよいし、物体検出結果に当該画像と共通する識別子を付与することで行ってもよい。
物体検出部２３０は、例えば、プロセッサ２０１、メインメモリ２０２およびストレージ２０３の組合せにより実現される。
送信部２４０は、図５に示すような、記憶部２２０に記憶された複数の画像、複数の位置、複数の撮像方向および複数の物体検出結果を含む第１データを情報処理装置１００に送信する。送信部２４０は、例えば、１日毎、１週間毎などのように、定期的に検出部２１０により検出されることで得られた第１データを情報処理装置１００に送信してもよい。また、送信部２４０は、例えば、撮像装置２００ａである車両がドライバーの自宅などの当該車両の保管場所に駐車されているときに、駐車までの間の車両の走行により得られた第１データを、例えば自宅に備えられる無線ＬＡＮルータを介して情報処理装置１００に送信してもよい。また、送信部２４０は、このときに、以前に検出され、まだ情報処理装置１００に送信していない第１データがあれば、当該第１データを、情報処理装置１００に送信してもよい。なお、図５は、第１データの構成の一例を示す図である。
送信部２４０は、例えば、プロセッサ２０１、メインメモリ２０２、ストレージ２０３、通信ＩＦ２０４などにより実現される。
次に、情報処理装置１００の機能構成について説明する。
情報処理装置１００は、機能構成として、取得部１１０と、実行判定部１２０と、実行部１３０とを備える。
取得部１１０は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれから第１データを取得する。これにより、取得部１１０は、撮像により生成された複数の画像と、当該撮像により複数の画像それぞれを生成した複数の撮像装置２００ａ、２００ｂ、２００ｃなどの位置および撮像方向と、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおける複数の物体検出処理によりそれぞれ得られる複数の物体検出結果とを取得する。
実行判定部１２０は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、実行部１３０による学習用データ選択処理を実行するか否かを判定する。実行判定部１２０は、例えば、特定の撮像装置による物体検出結果に含まれる尤度が所定の条件を満たす場合、学習用データ選択処理を実行すると判定してもよい。つまり、特定の撮像装置は、複数の物体検出結果のうちで、所定の条件を満たす物体検出結果を出力した撮像装置である。
所定の条件を満たす物体検出結果とは、例えば、評価した複数の属性それぞれについての尤度のうち最大の尤度との差分値が所定の差分値未満の尤度を有することである。つまり、物体検出結果が、物体の属性または態様を複数の属性または複数の態様のうちの１つの属性または１つの態様に定めることが難しい結果である場合であり、検出結果の精度に自信がない場合である。具体的には、第１の属性の尤度と第２の属性の尤度とにほとんど差がなく、物体検出結果としての物体の属性を第１の属性とするか第２の属性とするかを決定できない場合である。なお、物体の態様についても同様である。
また、所定の条件を満たす物体検出結果とは、例えば、最大の尤度が他の尤度よりも所定の差分値以上の尤度を有する、または、所定の尤度を超えている尤度を有することである。つまり、物体検出結果が、物体の属性または態様を複数の属性または複数の態様のうちの１つの属性または１つの態様に定めることが容易な結果である場合であり、検出結果の精度に自信がある場合である。
また、実行判定部１２０は、複数の画像の撮像時間と、撮像により画像を生成した撮像装置の位置と、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおける複数の物体検出処理において検出した物体の属性または態様との少なくとも１つの画像属性を示す画像属性情報の統計情報を取得し、取得した統計情報を用いて、学習用データ選択処理を実行するか否かを判定してもよい。なお、統計情報は、画像属性情報の希少性を示す希少性情報を含んでいてもよい。実行判定部１２０は、希少性情報が示す希少性が所定の条件を満たす場合、学習用データ選択処理を実行すると判定してもよい。希少性情報が示す希少性が所定の条件を満たすとは、第１データに、希少性を有する画像属性が含まれることである。ここで、画像属性が希少性を有するとは、撮像時間、撮像装置の位置、物体の属性または態様のいずれか１つ、または、これら２以上の組み合わせにおいて、既に、学習用データとして既に選択した複数の画像の複数の画像属性に対する、対象画像の画像属性の逸脱度（または、外れ値）が所定の閾値より大きいことである。
実行部１３０は、取得部１１０において取得された複数の第１データを用いて、学習用データ選択処理を実行する。実行部１３０は、実行判定部１２０において学習用データ選択処理を実行すると判定された場合に、学習用データ選択処理を実行してもよい。
実行部１３０は、具体的には、算出部１３１と、一致度判定部１３２と、選択部１３３とを有する。
算出部１３１は、学習用データ選択処理において、複数の第１データのうちで、所定のタイミングにおける複数の撮像装置２００ａ、２００ｂ、２００ｃなどそれぞれの位置および撮像方向から、当該複数の画像それぞれに共通的に映る共通領域を算出する。算出部１３１は、例えば、取得部１１０により取得された複数の第１データから、所定のタイミングにおいて撮像された複数の画像を含む複数の第１データを抽出する。所定のタイミングは、同一とみなされる時間である。つまり、所定のタイミングは、必ずしも同一時間でなくてもよく、ある１タイミングを基準とする所定の時間幅に含まれる全てのタイミングを含んでいてもよい。所定の時間幅は、例えば、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれにおける画像を撮像する撮像間隔に基づく時間であってもよく、例えば、撮像間隔の１～１０倍の時間である。
また、本実施の形態では、複数の撮像装置２００ａ、２００ｂ、２００ｃなどは、車両であるため、移動する。よって、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにより撮像された複数の画像は、共通領域を有していないことの方が多い。このため、算出部１３１は、取得部１１０により取得された複数の第１データの全てに対して、共通領域を算出する処理を実行すると効率が悪いため、共通領域を算出する処理の前に、互いに共通領域を有する複数の画像を含む複数の第１データを抽出する処理を実行してもよい。
算出部１３１は、例えば、複数の第１データの撮像装置の位置および撮像方向を解析することで、互いに重複する範囲を撮像可能な複数の撮像装置２００ａ、２００ｂ、２００ｃなどにより撮像された複数の第１データを抽出し、抽出した複数の第１データを互いに対応付けることで第２データを生成する。よって、算出部１３１は、実行判定部１２０における判定において学習用データ選択処理を実行する対象となる画像を撮像した特定の撮像装置以外の他の撮像装置であって、特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置により得られた第１データを抽出する。このため、取得部１１０が撮像範囲が重複しない複数の撮像装置からも第１データを取得する場合であっても、算出部１３１は、共通領域の算出を容易にできる。
なお、算出部１３１は、複数の第１データの撮像装置の位置および撮像方向の解析することで撮像範囲が重複する複数の撮像装置を選択する場合、特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置を選択する。算出部１３１は、例えば、図６に示すように、特定の撮像装置２００ａの前方に距離Ｄ１だけ離れた基準地点Ｂ１から半径Ｒ１の範囲に位置する撮像装置２００ｂ、２００ｃを、特定の撮像装置２００ａと撮像範囲が重複する他の撮像装置２００ｂ、２００ｃとして選択する。なお、図６は、上方から見た図であり、特定の撮像装置と撮像範囲が重複する他の撮像装置との関係の一例を示す図である。
ここで、共通領域の算出方法の具体例について図７Ａ～図７Ｃを用いて説明する。
図７Ａ～図７Ｃは、共通領域の算出方法の具体例について説明するための図である。
図７Ａは、撮像装置２００ａ、２００ｂ、２００ｃにおいて同一のタイミングでそれぞれ撮像された複数の画像Ｐ１０、Ｐ２０、Ｐ３０を示す。複数の画像Ｐ１０、Ｐ２０、Ｐ３０は、例えば、互いに共通する物体４００を含む画像である。
図７Ｂは、複数の画像Ｐ１０、Ｐ２０、Ｐ３０と、上記の同一のタイミングにおける撮像装置２００ａ、２００ｂ、２００ｃの位置および撮像方向とを用いて得られる物体位置モデルの一例を示す図である。図７Ｂは、上方からみた物体位置モデルを示している。
算出部１３１は、具体的には、画像Ｐ１０および撮像装置２００ａの位置および撮像方向を用いて、撮像範囲４１０および物体範囲４１１を算出する。具体的には、撮像範囲４１０は、画像Ｐ１０を撮像した撮像装置２００ａの位置および撮像方向から推定される撮像範囲を示す。また、物体範囲４１１は、画像Ｐ１０内の物体４００の領域と、撮像範囲４１０とから得られる物体４００が存在する範囲を示す。
同様に、算出部１３１は、画像Ｐ２０および撮像装置２００ｂの位置および撮像方向から、撮像範囲４２０および物体範囲４２１を算出する。撮像範囲４２０は、画像Ｐ２０を撮像した撮像装置２００ｂの位置および撮像方向から推定される撮像範囲を示す。また、物体範囲４２１は、画像Ｐ２０内の物体４００の領域と、撮像範囲４２０とから得られる物体４００が存在する範囲を示す。
同様に、算出部１３１は、画像Ｐ３０および撮像装置２００ｃの位置および撮像方向から、撮像範囲４３０および物体範囲４３１を算出する。撮像範囲４３０は、画像Ｐ３０を撮像した撮像装置２００ｃの位置および撮像方向から推定される撮像範囲を示す。また、物体範囲４３１は、画像Ｐ３０内の物体４００の領域と、撮像範囲４３０とから得られる物体４００が存在する範囲を示す。
なお、算出部１３１は、物体４００が複数の画像Ｐ１０、Ｐ２０、Ｐ３０において共通して撮像されている物体であることを判断することで、物体範囲４１１、４２１、４３１を算出する。算出部１３１は、物体範囲４１１、４２１、４３１を算出しなくてもよい。
次に、算出部１３１は、算出した、撮像範囲４１０、４２０、４３０を用いて、これらの共通領域４０１を算出する。そして、算出部１３１は、図７Ｃに示すように、算出した共通領域４０１を、画像Ｐ１０、Ｐ２０、Ｐ３０のそれぞれに投影した投影画像Ｐ１１、Ｐ２１、Ｐ３１を生成する。
一致度判定部１３２は、共通領域における複数の物体検出結果の間の一致度を判定する。一致度判定部１３２は、例えば、複数の物体検出結果の間の一致度を、複数の物体検出結果を互いに比較することで判定してもよい。なお、共通領域における物体検出結果とは、例えば、共通領域に重なる画像上の領域において検出した物体である。
選択部１３３は、一致度判定部１３２により判定された一致度に応じて複数の画像の中から学習用データとなる画像を選択する。選択部１３３は、第２データに含まれる複数の物体検出結果の間で一致しない物がある場合、当該第２データに含まれる複数の画像の中から学習用データとなる画像を選択する。
例えば、選択部１３３は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのカメラ２０５間の撮像性能が互いに同じであり、かつ、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの物体検出処理間の処理性能が互いに同じである場合、第２データに含まれる複数の物体検出結果のうち一致している数または割合に応じて、複数の画像の中から学習用データとなる画像を選択する。
図８Ａおよび図８Ｂを用いて、学習用データとなる画像を選択する例について説明する。
図８Ａおよび図８Ｂは、学習用データとなる画像の選択方法の例について説明するための図である。
一致度判定部１３２は、図８Ａの第１の例に示すように、投影画像Ｐ１１の共通領域４０１における物体検出結果が車両であり、投影画像Ｐ２１、Ｐ３１の共通領域４０１における物体検出結果がない場合、多数決により、共通領域４０１における物体検出結果がないことが正解であると判定し、投影画像Ｐ１１での物体検出結果に誤検出が含まれる可能性が高いと判定してもよい。また、一致度判定部１３２は、図８Ｂの第２の例に示すように、投影画像Ｐ１１、Ｐ３１の共通領域４０１における物体検出結果が車両であり、投影画像Ｐ２１の共通領域４０１における物体検出結果がない場合、多数決により、共通領域４０１における物体検出結果が車両であることが正解であると判定し、投影画像Ｐ２１での物体検出結果に誤検出が含まれる可能性が高いと判定してもよい。そして、選択部１３３は、一致度判定部１３２における判定結果に応じて、物体検出結果に誤検出が含まれる可能性が高いと判定された画像を学習用データとなる画像として選択する。なお、選択部１３３は、共通領域４０１における複数の物体検出結果の間で異なる結果が含まれる場合、当該複数の物体検出結果を検出する対象となった全ての複数の画像を学習用データとなる画像として選択してもよい。
また、例えば、選択部１３３は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのカメラ２０５間の撮像性能が互いに異なる、または、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの物体検出処理間の処理性能が互いに異なる場合、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの撮像性能の高さ、または、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの物体検出処理の処理性能の高さに応じて、複数の画像の中から学習用データとなる画像を選択する選択処理のパラメタを決定し、決定したパラメタにおける選択処理を実行する。選択部１３３は、例えば、複数の撮像装置２００ａ、２００ｂ、２００ｃなどの撮像性能の高さ、または、物体検出処理の処理性能の高さに応じて、各性能の高さが高いほど大きい重み付けがされた物体検出結果ほど精度がよい物体検出結果と考えて、精度がよい物体検出結果と異なる物体検出結果に対応する画像を学習用データとする画像として選択してもよい。つまり、選択部１３３は、各性能の高さが高いほど大きい係数が物体検出結果に乗算されることで得られた評価値が所定の閾値以上の物体検出結果と異なる物体検出結果に対応する画像を学習用データとする画像として選択する。
［１－２．動作］
次に、実施の形態に係る情報処理システム１の動作について説明する。
図９は、実施の形態に係る情報処理システムにおける動作の一例を示すシーケンス図である。
まず、撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれでは、検出部２１０が画像と、当該画像を撮像したタイミングにおける撮像装置の位置及び撮像方向とを検出し（Ｓ１１）、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向とを記憶部２２０に記憶させる。
次に、撮像装置の物体検出部２３０は、検出部２１０において検出された画像に対して物体検出処理を実行することにより物体を検出し、物体検出結果を得る（Ｓ１２）。得られた物体検出結果は、物体検出処理の対象となった画像と対応付けられた状態で記憶部２２０に記憶される。これにより、撮像装置では、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向と、物体検出結果とが対応付けられた第１データが生成される。
そして、撮像装置の送信部２４０は、生成された第１データを情報処理装置１００に送信する（Ｓ１３）。
情報処理装置１００では、取得部１１０が撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれから送信された第１データを取得する（Ｓ２１）。
次に、情報処理装置１００の実行判定部１２０は、複数の撮像装置２００ａ、２００ｂ、２００ｃなどのうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、実行部１３０による学習用データ選択処理を実行するか否かを判定する（Ｓ２２）。
そして、実行判定部１２０において学習用データ選択処理を実行すると判定された場合（Ｓ２２でＹｅｓ）、情報処理装置１００の実行部１３０は、学習用データ選択処理を実行する（Ｓ２３）。学習用データ選択処理の詳細は後述する。
一方で、実行判定部１２０において学習用データ選択処理を実行しないと判定された場合（Ｓ２２でＮｏ）、情報処理装置１００の実行部１３０は、学習用データ選択処理を実行しない。
なお、学習用データ選択処理が実行された場合も、実行されなかった場合も、情報処理システム１では、ステップＳ１１～Ｓ１３の撮像装置２００ａ、２００ｂ、２００ｃなどの処理と、ステップＳ２１～Ｓ２３の情報処理装置１００の処理が繰り返し実行される。
なお、ステップＳ１１～Ｓ１３、Ｓ２１～Ｓ２３の各処理部による処理の詳細は、図４～図８Ｂを用いた撮像装置２００ａ、２００ｂ、２００ｃなどの機能構成、および、情報処理装置１００の機能構成の説明において説明しているため、省略する。
図１０は、実施の形態に係る情報処理装置における学習用データ選択処理の詳細の一例を示すフローチャートである。
ステップＳ２３の学習用データ選択処理が開始されると、実行部１３０の算出部１３１は、取得部１１０に取得された複数の第１データの中から、特定の撮像装置の撮像により生成された画像と同一時間で対応付けられた複数の第１データであって、撮像範囲が共通する複数の第１データを抽出する。これにより、算出部１３１は、撮像された複数の画像を抽出する（Ｓ３１）。
次に、算出部１３１は、抽出した複数の第１データを用いて、複数の撮像装置２００ａ、２００ｂ、２００ｃなどそれぞれの位置および撮像方向から、当該複数の画像それぞれに共通的に映る共通領域を算出する（Ｓ３２）。
そして、一致度判定部１３２は、共通領域における複数の物体検出結果の間の一致度を判定する（Ｓ３３）。
その後、選択部１３３は、一致度判定部１３２により判定された一致度に応じて複数の画像の中から学習用データとなる画像を選択し（Ｓ３４）、学習用データ選択処理を終了する。
なお、ステップＳ３１～Ｓ３４の各処理部による処理の詳細は、図４～図８Ｂを用いた撮像装置２００ａ、２００ｂ、２００ｃなどの機能構成、および、情報処理装置１００の機能構成の説明において説明しているため、省略する。
［１－３．効果など］
本実施の形態に係る情報処理方法によれば、学習用データ選択処理において、複数の撮像装置の位置及び撮像方向から、複数の画像それぞれに共通的に映る共通領域を算出し、共通領域における複数の物体検出結果の間の一致度を判定し、判定した一致度に応じて複数の画像の中から学習用データとなる画像を選択する。
このため、複数の撮像装置が、互いに共通する物体を撮像している場合には、当該共通する物体への複数の物体検出処理による複数の物体検出結果を得ることができる。これにより、共通する物体についての複数の物体検出結果の間の一致度に応じて、例えば、一致しない物体検出結果の物体検出処理の対象となった画像を学習用データとなる画像として選択することができる。よって、情報処理方法では、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる。
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置のうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、学習用データ選択処理を実行するか否かを判定し、学習用データ選択処理を実行すると判定した場合に、学習用データ選択処理を実行する。このため、物体検出結果の精度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置のうちの特定の撮像装置以外の他の撮像装置は、特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置である。このため、特定の撮像装置を基準として、他の撮像装置を選択することができる。したがって、一致度の判定に有効な物体検出結果を得ることができる。
また、本実施の形態に係る情報処理方法によれば、他の撮像装置は、特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置である。このため、特定の撮像装置が撮影する物体と同じ物体を撮影する可能性が高い他の撮像装置を選択することができる。
また、本実施の形態に係る情報処理方法によれば、特定の物体検出結果は、物体検出結果についての尤度を含み、学習用データ選択処理を実行するか否かの判定では、尤度が所定の条件を満たす場合、学習用データ選択処理を実行すると判定する。このため、尤度が低い場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
また、本実施の形態に係る情報処理方法によれば、学習用データ選択処理を実行するか否かの判定では、複数の画像の撮像時間、撮像により画像を生成した撮像装置の位置、及び、複数の物体検出処理において検出した物体の属性又は態様の少なくとも１つの情報の統計情報を取得し、取得した統計情報を用いて、学習用データ選択処理を実行するか否かを判定する。このため、撮像条件又は撮像内容が統計的に学習に適している場合など学習させたい状況において学習用データ選択処理を実行することができ、所望の学習用データをより確実に得ることができる。また、学習させたい状況でない場合に学習用データ選択処理を実行しないことにより、不要な処理を実行することを低減することができる。
また、本実施の形態に係る情報処理方法によれば、統計情報は、少なくとも１つの情報の希少性を示す希少性情報を含み、学習用データ選択処理を実行するか否かの判定では、希少性情報が示す希少性が所定の条件を満たす場合、学習用データ選択処理を実行すると判定する。このため、希少性が所定の条件を満たす場合に学習用データ選択処理を実行することができ、不要な処理を実行することを低減することができる。
また、本実施の形態に係る情報処理方法によれば、学習用データとなる画像の選択では、複数の物体検出結果の間で一致しないものがある場合、複数の画像の中から学習用データとなる画像を選択する。このため、誤検出した又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置間の性能が互いに同じであり、かつ、複数の物体検出処理間の性能が互いに同じである場合、複数の物体検出結果のうち一致している数または割合に応じて、複数の画像の中から学習用データとなる画像を選択する。このため、例えば、物体検出結果が一致している数が所定数より少ない、または、物体検出結果が一致している割合が所定の割合より低い画像を学習用データとして選択することができる。
また、本実施の形態に係る情報処理方法によれば、複数の撮像装置間の性能が互いに異なる、または、複数の物体検出処理間の性能が互いに異なる場合、複数の撮像装置の性能の高さ、または、複数の物体検出処理の性能の高さに応じて、複数の画像の中からの学習用データとなる画像を選択する選択処理のパラメタを決定し、決定したパラメタにおける選択処理を実行する。このため、複数の撮像装置間の性能、または、複数の物体検出処理間の性能が互いに異なる場合であっても、各性能を考慮するため、誤検出又は検出漏れした可能性がある物体検出結果の物体検出処理の対象となった画像を含む画像を学習用データとして選択することができる。これにより、既に学習用データとして選択された画像とは異なる状況で撮像された画像を学習用データとして選択することができる。
［１－４．変形例］
［１－４－１．変形例１］
上記実施の形態に係る情報処理システム１では、撮像装置２００ａ、２００ｂ、２００ｃなどのそれぞれは、検出部２１０により検出された画像に対して物体検出処理を実行する物体検出部２３０を有する構成としたが、これに限らずに、例えば、図１１に示すように、物体検出部２３０を有さない構成の撮像装置２０１ａ、２０１ｂ、２０１ｃなどが採用されてもよい。この場合の情報処理システム１Ａでは、情報処理装置１００Ａの取得部１１０ａが、取得した複数の第１データのそれぞれに含まれる画像に対して物体検出処理を実行する。図１１は、変形例１に係る情報処理システムの機能構成の一例を示すブロック図である。
図１２は、変形例１に係る情報処理システムにおける動作の一例を示すシーケンス図である。
まず、撮像装置２０１ａ、２０１ｂ、２０１ｃなどのそれぞれでは、検出部２１０が画像と、当該画像を撮像したタイミングにおける撮像装置の位置及び撮像方向とを検出し（Ｓ１１）、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向とを記憶部２２０に記憶させる。
次に、撮像装置２００ａの送信部２４０は、撮像したタイミングと、検出した画像と、撮像装置の位置及び撮像方向とを含む第１データを情報処理装置１００Ａに送信する（Ｓ１３ａ）。
情報処理装置１００Ａでは、取得部１１０が撮像装置２０１ａ、２０１ｂ、２０１ｃなどのそれぞれから送信された第１データを取得する（Ｓ２１ａ）。
次に、情報処理装置１００Ａの取得部１１０ａは、取得した複数の第１データのそれぞれに含まれる画像に対して物体検出処理を実行することにより物体を検出し、物体検出結果を得る（Ｓ２１ｂ）。
以降のステップＳ２２、Ｓ２３の処理は、実施の形態における各処理と同様であるので説明を省略する。
［１－４－２．変形例２］
上記実施の形態に係る情報処理システム１では、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおいて、複数の撮像装置２００ａ、２００ｂ、２００ｃなどである車両が動作中（例えば、エンジンが駆動している、電源ＯＮの状態にある）の場合に、常にカメラ２０５により所定の周期で撮像が行われていることとしたが、これに限らない。例えば、特定の撮像装置において、実行判定部１２０と同様の判定を実行することで、学習用データ選択処理を実行するべき画像が取得されたタイミングで、撮像要求を特定の撮像装置の周辺に位置する他の撮像装置に送信することで、当該他の撮像装置に撮像を実行させてもよい。特定の撮像装置からの撮像要求は、情報処理装置１００経由で他の撮像装置に送信されてもよいし、他の撮像装置に直接的に送信されてもよい。
これにより、他の撮像装置は、撮像要求を受信したときに、撮像すればよいので、撮像処理の頻度を低減することができる。
［１－４－３．変形例３］
上記実施の形態に係る情報処理システム１では、複数の撮像装置２００ａ、２００ｂ、２００ｃなどにおいて得られた全ての第１データが情報処理装置１００に送信されるとしたが、これに限らない。例えば、特定の撮像装置において、実行判定部１２０と同様の判定を実行することで、学習用データ選択処理を実行するべき画像が取得されたタイミングで、撮像要求を特定の撮像装置の周辺に位置する他の撮像装置に送信することで、他の撮像装置は、当該タイミングにおける第１データのみを情報処理装置１００に送信することができる。これにより、撮像装置から情報処理装置１００への通信負荷を低減することができ、情報処理装置１００は、第１データを記憶しておくストレージの記憶容量が圧迫されることを抑制することができる。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報処理方法および情報処理装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、前記学習用データ選択処理は、前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、前記共通領域における前記複数の物体検出結果の間の一致度を判定し、前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含む情報処理方法を実行させる。
以上、本発明の一つまたは複数の態様に係る情報処理方法および情報処理システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
また、上記実施の形態では、撮影画像が学習用データである例を説明したが、学習用データはこれに限られない。例えば、学習用データは、ＬＩＤＡＲなどのイメージセンサと異なる光学センサから得られる点群データ等のデータであってもよい。
なお、実行判定部１２０、一致度判定部１３２で行う処理は、機械学習を用いてもよい。機械学習には、例えば、入力情報に対してラベル（出力情報）が付与された教師データを用いて入力と出力との関係を学習する教師あり学習、ラベルのない入力のみからデータの構造を構築する教師なし学習、ラベルありとラベルなしのどちらも扱う半教師あり学習、状態の観測結果から選択した行動に対するフィードバック（報酬）を得ることにより、最も多く報酬を得ることができる連続した行動を学習する強化学習などが挙げられる。また、機械学習の具体的な手法として、ニューラルネットワーク（多層のニューラルネットワークを用いた深層学習を含む）、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、サポート・ベクター・マシン（ＳＶＭ）などが存在する。本開示においては、以上で挙げた具体例のいずれかを用いればよい。
本開示は、得られた大量の画像の中から、センサを用いた物体検出処理の精度に影響されにくく、学習用データとなる撮影画像を安定的に得ることができる情報処理方法および情報処理システムなどとして有用である。
１，１Ａ 情報処理システム
１００、１００Ａ 情報処理装置
１０１、２０１ プロセッサ
１０２、２０２ メインメモリ
１０３、２０３ ストレージ
１０４、２０４ 通信ＩＦ
１１０、１１０ａ 取得部
１２０ 実行判定部
１３０ 実行部
１３１ 算出部
１３２ 一致度判定部
１３３ 選択部
２００ａ、２００ｂ、２００ｃ、２０１ａ、２０１ｂ、２０１ｃ 撮像装置
２０５ カメラ
２０６ ＩＭＵ
２０７ ＧＮＳＳ
２１０ 検出部
２２０ 記憶部
２３０ 物体検出部
２４０ 送信部
３００ 通信ネットワーク
３１０ 基地局
４００ 物体
４０１ 共通領域
４１０、４２０、４３０ 撮像範囲
４１１、４２１、４３１ 物体範囲

Claims (10)

  1. コンピュータを用いて、
    同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、を取得し、
    前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果を取得し、
    取得した前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行し、
    前記学習用データ選択処理は、
    前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、
    前記共通領域における前記複数の物体検出結果の間の一致度を判定し、
    前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択する、ことを含み、
    前記学習用データ選択処理では、前記複数の物体検出結果の間で一致しないものがある場合、前記複数の画像の中から学習用データとなる画像を選択し、
    前記複数の撮像装置間の性能が互いに異なる、または、前記複数の物体検出処理間の性能が互いに異なる場合、前記複数の撮像装置の性能の高さ、または、前記複数の物体検出処理の性能の高さに応じて、前記学習用データ選択処理のパラメタを決定し、決定した前記パラメタを用いた前記学習用データ選択処理を実行する
    情報処理方法。
  2. さらに、
    前記複数の撮像装置のうちの特定の撮像装置の撮像により生成された画像を用いて実行された特定の物体検出結果に応じて、前記学習用データ選択処理を実行するか否かを判定し、
    前記学習用データ選択処理を実行すると判定した場合に、前記学習用データ選択処理を実行する
    請求項１に記載の情報処理方法。
  3. 前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置は、前記特定の撮像装置の撮像範囲と重複する範囲を撮像可能な撮像装置である
    請求項２に記載の情報処理方法。
  4. 前記他の撮像装置は、前記特定の撮像装置の位置に基づく基準地点から所定の範囲に位置する撮像装置である
    請求項３に記載の情報処理方法。
  5. さらに、前記複数の撮像装置のうちの前記特定の撮像装置以外の他の撮像装置に撮像を実行させる
    請求項２から４のいずれか１項に記載の情報処理方法。
  6. 前記特定の物体検出結果は、物体検出結果についての尤度を含み、
    前記学習用データ選択処理を実行するか否かの判定では、前記尤度が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定する
    請求項２から５のいずれか１項に記載の情報処理方法。
  7. 前記学習用データ選択処理を実行するか否かの判定では、
    前記複数の画像の撮像時間、前記撮像により画像を生成した撮像装置の位置、及び、前記複数の物体検出処理において検出した物体の属性又は態様の少なくとも１つの情報の統計情報を取得し、
    取得した前記統計情報を用いて、前記学習用データ選択処理を実行するか否かを判定する
    請求項２から６のいずれか１項に記載の情報処理方法。
  8. 前記統計情報は、前記少なくとも１つの情報の希少性を示す希少性情報を含み、
    前記学習用データ選択処理を実行するか否かの判定では、前記希少性情報が示す前記希少性が所定の条件を満たす場合、前記学習用データ選択処理を実行すると判定する
    請求項７に記載の情報処理方法。
  9. 前記複数の撮像装置間の性能が互いに同じであり、かつ、前記複数の物体検出処理間の性能が互いに同じである場合、前記複数の物体検出結果のうち一致している数または割合に応じて、前記複数の画像の中から学習用データとなる画像を選択する
    請求項１に記載の情報処理方法。
  10. 同一とみなされる時間における撮像により生成された複数の画像と、前記複数の画像それぞれを生成した複数の撮像装置の位置及び撮像方向と、前記複数の画像を用いてそれぞれ実行される複数の物体検出処理によりそれぞれ得られる複数の物体検出結果とを取得する取得部と、
    前記取得部により取得された前記複数の画像と、前記位置及び前記撮像方向と、前記複数の物体検出結果とを用いて学習用データ選択処理を実行する実行部と、
    を備え、
    前記実行部は、前記学習用データ選択処理として、
    前記複数の撮像装置の前記位置及び前記撮像方向から、前記複数の画像それぞれに共通的に映る共通領域を算出し、
    前記共通領域における前記複数の物体検出結果の間の一致度を判定し、
    前記一致度に応じて前記複数の画像の中から学習用データとなる画像を選択し、
    前記学習用データ選択処理では、前記複数の物体検出結果の間で一致しないものがある場合、前記複数の画像の中から学習用データとなる画像を選択し、
    前記複数の撮像装置間の性能が互いに異なる、または、前記複数の物体検出処理間の性能が互いに異なる場合、前記複数の撮像装置の性能の高さ、または、前記複数の物体検出処理の性能の高さに応じて、前記学習用データ選択処理のパラメタを決定し、決定した前記パラメタを用いた前記学習用データ選択処理を実行する
    情報処理システム。
JP2018146203A 2018-08-02 2018-08-02 情報処理方法および情報処理システム Active JP7231996B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018146203A JP7231996B2 (ja) 2018-08-02 2018-08-02 情報処理方法および情報処理システム
CN201910670434.5A CN110795985A (zh) 2018-08-02 2019-07-24 信息处理方法及信息处理系统
US16/526,236 US11023775B2 (en) 2018-08-02 2019-07-30 Information processing method and information processing system
EP19189120.9A EP3605395A1 (en) 2018-08-02 2019-07-30 Information processing method and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018146203A JP7231996B2 (ja) 2018-08-02 2018-08-02 情報処理方法および情報処理システム

Publications (2)

Publication Number Publication Date
JP2020021372A JP2020021372A (ja) 2020-02-06
JP7231996B2 true JP7231996B2 (ja) 2023-03-02

Family

ID=67513391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018146203A Active JP7231996B2 (ja) 2018-08-02 2018-08-02 情報処理方法および情報処理システム

Country Status (4)

Country Link
US (1) US11023775B2 (ja)
EP (1) EP3605395A1 (ja)
JP (1) JP7231996B2 (ja)
CN (1) CN110795985A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7082545B2 (ja) * 2018-08-01 2022-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
JP2022045521A (ja) * 2020-09-09 2022-03-22 トヨタ自動車株式会社 情報管理システムおよびこれに用いられる携帯端末、画像管理サーバ
CN114172927B (zh) 2020-09-09 2024-03-15 丰田自动车株式会社 信息管理系统以及在该信息管理系统中使用的车载装置、便携终端、图像管理服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194927A (ja) 2014-03-31 2015-11-05 セコム株式会社 対象識別装置
WO2017109854A1 (ja) 2015-12-22 2017-06-29 オリンパス株式会社 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996743B2 (en) * 2012-11-28 2018-06-12 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for detecting gaze locking
JP6139447B2 (ja) 2014-03-20 2017-05-31 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
US9701241B2 (en) * 2015-09-17 2017-07-11 Volkswagen AG and Audi AG Early detection of turning and automatic response by the vehicle
US9836660B2 (en) * 2015-12-03 2017-12-05 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire tracks
JP6682833B2 (ja) 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP6778912B2 (ja) 2016-02-03 2020-11-04 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置
WO2017134706A1 (ja) 2016-02-03 2017-08-10 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015194927A (ja) 2014-03-31 2015-11-05 セコム株式会社 対象識別装置
WO2017109854A1 (ja) 2015-12-22 2017-06-29 オリンパス株式会社 学習画像自動選別装置、学習画像自動選別方法および学習画像自動選別プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Leistner et al.，Visual on-line learning in distributed camera networks，[online]，2008年09月30日，https://ieeexplore.ieee.org/document/4635700

Also Published As

Publication number Publication date
CN110795985A (zh) 2020-02-14
JP2020021372A (ja) 2020-02-06
EP3605395A1 (en) 2020-02-05
US11023775B2 (en) 2021-06-01
US20200042826A1 (en) 2020-02-06

Similar Documents

Publication Publication Date Title
CN107990899B (zh) 一种基于slam的定位方法和系统
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
KR102126513B1 (ko) 카메라의 포즈를 판단하기 위한 장치 및 방법
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
JP7231996B2 (ja) 情報処理方法および情報処理システム
US10838427B2 (en) Vision-aided inertial navigation with loop closure
US8787614B2 (en) System and method building a map
WO2018068771A1 (zh) 目标跟踪方法、系统、电子设备和计算机存储介质
CN107194970B (zh) 自主移动装置、自主移动方法以及程序存储介质
Geppert et al. Efficient 2d-3d matching for multi-camera visual localization
US20210323159A1 (en) End device, three-party communication system comprising cloud server and edge server for controlling end device, and operation method therefor
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2007303886A (ja) 位置推定装置、位置推定方法及びプログラム記録媒体
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
JP4535096B2 (ja) 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置
US11893766B2 (en) Neural network system and operating method thereof
CN113124902B (zh) 移动机器人的定位修正方法和装置、存储介质、电子装置
US11076264B2 (en) Localization of a mobile device based on image and radio words
CN110084825A (zh) 一种基于图像边缘信息导航的方法及系统
Qian et al. Pov-slam: Probabilistic object-aware variational slam in semi-static environments
CN110470296A (zh) 一种定位方法、定位机器人及计算机存储介质
JP2018055167A (ja) 自律移動装置、自律移動方法及びプログラム
US20210271257A1 (en) Information processing device, optimum time estimation method, self-position estimation method, and record medium recording computer program
Huai et al. Collaborative monocular SLAM with crowdsourced data
US20230400863A1 (en) Information processing device, information processing system, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230217

R150 Certificate of patent or registration of utility model

Ref document number: 7231996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150