JP6844692B2 - 学習データ生成装置、学習データ生成方法、およびプログラム - Google Patents

学習データ生成装置、学習データ生成方法、およびプログラム Download PDF

Info

Publication number
JP6844692B2
JP6844692B2 JP2019511259A JP2019511259A JP6844692B2 JP 6844692 B2 JP6844692 B2 JP 6844692B2 JP 2019511259 A JP2019511259 A JP 2019511259A JP 2019511259 A JP2019511259 A JP 2019511259A JP 6844692 B2 JP6844692 B2 JP 6844692B2
Authority
JP
Japan
Prior art keywords
captured image
image
learning data
identification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019511259A
Other languages
English (en)
Other versions
JPWO2018186398A1 (ja
Inventor
壮馬 白石
壮馬 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018186398A1 publication Critical patent/JPWO2018186398A1/ja
Application granted granted Critical
Publication of JP6844692B2 publication Critical patent/JP6844692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Description

本開示は、学習データ生成装置、学習データ生成方法、および記録媒体に関する。
機械学習を用いた識別処理には、入力データと該入力データに対応する正解ラベルの組を学習データとして用意しパラメータの更新を行う、教師あり学習と呼ばれる方法がある。学習データには、識別処理の実行の際に実際に入力されうるデータを網羅的に用いるのが効果的である。識別処理の実行の際に入力されうるデータを網羅するには、大量の学習データを用意する、または、認識処理が行われるのと同様の環境で取得されたデータを識別処理に用いることが有効である。しかしながら、一般に識別処理において用いる正解データは人手によって付されるのであるため、データの量が増えると人的コストが増えるという問題がある。
特許文献１には、被写体に対するカメラの位置に関する情報などの撮影条件を連続的に変更しながら撮影された各物体撮影画像から、物体が写っている領域である物体領域を抽出することにより学習データを生成する学習データ生成システムが記載されている。
また、特許文献２には、ラベルの値が未知のデータについてラベルの値が所定の値であるデータとの類似度を計算し、この計算した類似度に基づいて次に学習するデータを選択する能動学習システムが記載されている。
また、レーザ測域センサの測定データを用いて、人物の位置の検出と追跡とを行う技術の一例が特許文献３に記載されている。
特開２０１４−１７８９５７号公報 国際公開２００８／０４７８３５号 特開２０１３−１５６７１８号公報 米国特許第６７１５２９３号明細書
Naveet Daniel, Bill Triggs, "Histograms of Oriented Gradients for Human Detection", Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), U.S.A, IEEE Computer Society, 06.2005, Volume1-Volume01, p.886-893 橋本学、「テンプレートマッチングの魅力〜物体検出・位置決めの定番技術〜」（http://isl.sist.chukyo-u.ac.jp/Archives/SSII2013TS-Hashimoto.pdf）、第１９回画像センシングシンポジウムチュートリアル講演会、２０１３年６月１２日発表
特許文献１に記載の技術では、カメラの位置に関する情報を少なくとも含む撮影条件を変更しながら、学習データを生成するため、例えば、位置に関する情報が変更できないカメラによって撮影された撮影画像から自動的に学習データを生成することが難しい場合がある。
また、特許文献２に記載の技術では、選択されたデータに対する正解のラベル付けは、人手によって行われているため、データが増えるほどラベル付けにかかる人的コストが増えてしまう可能性がある。
本開示は、上記課題に鑑みてなされたものであり、その目的の一つは、効率的に学習データを生成する技術を提供することにある。
本開示の一態様に係る学習データ生成装置は、第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する識別手段と、前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する生成手段と、を備える。
また、本開示の一態様に係る学習データ生成方法は、第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成し、前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する。
なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
本開示によれば、効率的に学習データを生成することができる。
第１の実施の形態に係る学習データ生成装置を含む学習データ生成システム商品モニタリングシステムの構成の一例を示す図である。 第１の実施の形態に係る学習データ生成装置の機能構成の一例を示す機能ブロック図である。 第１撮像画像および第２撮像画像を説明するための図である。 識別部の動作を説明するための図である。 識別部が出力する識別結果の一例を示す図である。 識別部の動作の他の例を説明するための図である。 生成部の動作を説明するための図である。 学習データの一例を示す図である。 学習データの他の一例を示す図である。 学習データの他の一例を示す図である。 第１の実施の形態に係る学習データ生成装置の動作の流れの一例を示すフローチャートである。 第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 位置特定部の動作を説明するための図である。 第２の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第３の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 第４の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第４の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。 本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
以下、本開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウェア単位の構成ではなく、機能単位の構成を表している。
＜第１の実施の形態＞
図１は、本実施の形態に係る学習データ生成装置１００を含む学習データ生成システム１の構成の一例を示す図である。図１に示す通り、学習データ生成システム１は、学習データ生成装置１００と撮像装置２とを含む。学習データ生成装置１００は、撮像装置２と通信可能に接続している。なお、本実施の形態において、学習データ生成装置１００は、撮像装置２と別個の構成であるとして説明を行うが、学習データ生成装置１００は撮像装置２に内蔵される構成であってもよい。また、撮像装置２は、複数であってもよい。また、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。
撮像装置２は、対象を撮像する。対象とは、例えば、店舗の商品棚に陳列された商品であってもよいし、人物であってもよい。対象とは、後述する識別部によって識別されるものであればよい。撮像装置２は、例えば、対象である、商品が陳列された店舗の商品棚を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、学習データ生成装置１００に送信する。撮像装置２は、例えば、店舗に設置されている監視カメラである。撮像装置２は、撮像画像を撮像装置２の内部または学習データ生成装置１００とは異なる記憶装置に格納してもよい。
本実施の形態では、撮像装置２は、２種類の撮像画像を取得するとして説明を行う。撮像画像の１つ目は、カラー画像であるとして説明を行う。なお、撮像画像は、例えば、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像空間で表現される画像であってもよいし、他の色空間の画像であってもよい。
また、撮像画像の２つ目は、カラー画像とは異なる種類の画像である。撮像画像は、例えば、近赤外線カメラ、遠赤外線カメラ等で取得された画像であってもよいし、デプスカメラで取得された距離画像であってもよい。
なお、本実施の形態では、撮像装置２は、第１撮像画像として、距離画像を取得するデプスカメラと、第２撮像画像として、ＲＧＢ画像を取得するＲＧＢカメラとを含むとして説明を行う。
撮像装置２のＲＧＢカメラとデプスカメラとが異なる機器の場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ位置または同じ物体（例えば、商品棚）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に対象に関連する物体を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮影時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。例えば、撮像装置２は、ＲＧＢＤカメラであってもよい。
図２は、本実施の形態に係る学習データ生成装置１００の機能構成の一例を示す機能ブロック図である。学習データ生成装置１００は、図２に示す通り、第１取得部１１０と、第２取得部１２０と、識別部１３０と、生成部１４０と、第１記憶部１５０と、第２記憶部１６０とを備える。
第１取得部１１０および第２取得部１２０は、夫々種類が異なる信号を取得する。例えば、第１取得部１１０は、第１撮像画像である距離画像を示す信号を取得する。第１取得部１１０は、撮像装置２から送信された信号を受信してもよいし、撮像装置２の内部または撮像装置２および学習データ生成装置１００とは異なる記憶装置に格納された第１撮像画像に基づいて変換された信号を取得してもよい。
第２取得部１２０は、第２撮像画像であるＲＧＢ画像を示す信号を取得する。第２取得部１２０は、撮像装置２から送信された信号を受信してもよいし、撮像装置２の内部または撮像装置２および学習データ生成装置１００とは異なる記憶装置に格納された第２撮像画像に基づいて変換された信号を取得してもよい。
なお、学習データ生成装置１００が撮像装置２に内蔵されている場合、第１取得部１１０および第２取得部１２０は、第１撮像画像および第２撮像画像そのものを取得する構成であってもよい。
第１取得部１１０および第２取得部１２０が取得する第１撮像画像および第２撮像画像について、図３を参照して説明する。図３は、第１撮像画像および第２撮像画像を説明するための図である。図３に示す横軸は時間軸である。撮像装置２のデプスカメラおよびＲＧＢカメラは、同期しながら繰り返し撮影を行う。時刻ｔ０における第１撮像画像である撮像画像３１Ａおよび第２撮像画像である撮像画像３２Ａは、図３に示す通り、同じ商品棚３を撮像している。同様に、時刻ｔ１における第１撮像画像である撮像画像３１Ｂおよび第２撮像画像である撮像画像３２Ｂは、撮像画像３１Ａおよび撮像画像３２Ａと同様の商品棚３を時刻ｔ０よりも後の時刻である時刻ｔ１で撮像した画像である。
第１取得部１１０は、取得した第１撮像画像を識別部１３０に供給する。また、第２取得部１２０は、取得した第２撮像画像を生成部１４０に供給する。なお、第１取得部１１０は、第１撮像画像を第１記憶部１５０に格納してもよい。また、第２取得部１２０は、第２撮像画像を第２記憶部１６０に格納してもよい。
第１記憶部１５０は、識別部１３０が識別に用いる識別用データ１５１を格納する。また、第１記憶部１５０は、識別結果１５２を格納する。識別用データ１５１および識別結果１５２については後述する。
識別部１３０は、第１撮像画像から対象を識別する。識別部１３０は、第１取得部１１０から第１撮像画像を受け取る。そして、識別部１３０は受け取った第１撮像画像と、識別部１３０に格納された識別用データ１５１とを用いて、対象を識別する。識別部１３０は識別結果を生成部１４０に供給する。識別部１３０が行う識別処理の具体例については後述する。識別部１３０は、例えば、第１取得部１１０から第１撮像画像が供給されると、識別処理を行ってもよいし、所定量の第１撮像画像に対して、識別処理を行ってもよい。
生成部１４０は、識別結果と、第１撮像画像に関連する第２撮像画像とに基づいて、学習データを生成する。生成部１４０は、識別部１３０から供給された識別結果に関連する第１撮像画像に対応する第２撮像画像から、識別結果に含まれる識別した対象の領域に対応する第２撮像画像上の領域の画像を抽出する。そして、生成部１４０は抽出した画像に、識別結果に含まれるラベルを付与した学習データを生成する。そして、生成部１４０は、生成した学習データを第２記憶部１６０に格納する。
第２記憶部１６０は、生成部１４０が生成した学習データ１６１を格納する。また、第２記憶部１６０は、第２取得部１２０が取得した第２撮像画像を格納してもよい。また、第２記憶部１６０は、第１記憶部１５０と別個の構成であってもよいし、一体となって形成されてもよい。第２記憶部１６０は、学習データ生成装置１００とは異なる記憶装置で実現されてもよい。
次に、識別部１３０の処理について、更に詳細に説明する。
（識別例１）
識別部１３０が、対象の種類を識別する場合について説明する。具体的には、識別部１３０が第１撮像画像に含まれる対象が人物かそれ以外かを識別する場合について説明する。撮像装置２のデプスカメラは、例えば定点から、商品棚３の商品が陳列された面の撮像を行っているとする。この場合、第１取得部１１０は、人物がいない基準の画像を一枚取得しておき、識別用データ１５１として第１記憶部１５０に格納する。そして、識別部１３０は、基準画像である識別用データ１５１と第１撮像画像（例えば、図３に示す撮像画像３１Ａおよび撮像画像３１Ｂ）との差分をとり、差分領域を得る。例えば、識別部１３０は、識別用データ１５１の各画素と、第１撮像画像の各画素との差分を取り、差分が所定値以上の画素の集合を差分領域とする。そして、識別部１３０は、差分領域の大きさが、人物の平均的な大きさと一致するかを判定することで人物かそれ以外かを識別する。また、識別部１３０は、差分領域から、人物の輪郭、人物の領域、人物の第１撮像画像上の位置を取得する。
そして、識別部１３０は、取得した情報にラベルを付し、識別結果１５２として、第１記憶部１５０に格納する。
識別部１３０の動作について更に図４を用いて説明する。図４は、識別部１３０の動作を説明するための図である。図４の（ａ）は、第１記憶部１５０に格納された識別用データ１５１の一例を示す。なお、識別用データ１５１は、上述した撮像画像３１Ａと対応する画素値が近似した画像であるとする。
図４の（ｂ）は、上述した撮像画像３１Ａである。識別部１３０は、識別用データ１５１と撮像画像３１Ａとの差分を取る。上述した通り、識別用データ１５１と撮像画像３１Ａとは対応する画素における画素値が近似しており、各画素の差分が所定値未満となる。
したがって、識別部１３０は、次の第１撮像画像における差分値を取る。図４の（ｃ）は、図３に示した撮像画像３１Ｂである。撮像画像３１Ｂには人物が含まれる。識別部１３０は、識別用データ１５１と、撮像画像３１Ｂとの差分を取ることにより、図４の（ｄ）の差分画像に示す黒色の部分（差分領域４１）を取得する。なお、差分画像は、第１撮像画像と同じサイズであり、差分領域４１が他とは異なる様態で表現された２値画像であってもよい。
そして、識別部１３０は、差分領域４１の大きさが、人物の平均的な大きさと一致するかを判定することで人物かそれ以外かを識別する。なお、識別部１３０は、例えば、買い物かごや買い物カートを識別してもよいし、買い物かごを持った人物や買い物カートを押している人物などを識別してもよい。
その後、識別部１３０はこの黒色の部分である差分領域４１に外接する矩形の位置および大きさを示す矩形情報を取得する。なお、矩形情報によって表される矩形４２を、図４の（ｄ）では破線で示している。
なお、本例では、識別部１３０は、差分領域４１として検出された対象が人物であると識別したとする。
図５は、識別部１３０が出力する識別結果１５２の一例を示す図である。識別結果１５２は、図５に示す通り、矩形４２の抽出元となる第１撮像画像を示す撮像画像識別子５１と、差分領域４１に外接する矩形４２の位置および大きさを示す矩形情報５２と、識別された対象（対象の種類）を示すラベル５３とを含む。
なお、矩形情報５２は、矩形４２の４隅のｘ座標値とｙ座標値で構成されていてもよいし、該矩形の４隅のうち、少なくとも１つの隅を表すｘ座標およびｙ座標、並びに該矩形の幅および高さで構成されてもよい。また、ラベル５３は、識別された対象の動きを表す情報であってもよい。
（識別例２）
識別部１３０が、対象の種類を識別する場合について説明する。具体的には、識別部１３０が、第１撮像画像に含まれる対象が人物の頭部かそれ以外かを識別する場合について、図６を参照して説明する。図６は、識別部１３０の動作の他の例を説明するための図である。本例では、撮像装置２のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。この場合、図６の（ａ）に示すような人物がいない基準画像を識別用データ１５１とする。なお、基準画像には、地上面がどの位置にあるかを示す位置情報が関連付けられている。そして、識別部１３０は、基準画像である識別用データ１５１と第１撮像画像（例えば、図６の（ｂ）に示す撮像画像３１Ｃ）との差分をとり、図６の（ｃ）の差分画像に含まれる差分領域６１を得る。そして、識別部１３０は、差分領域６１の地上面からの距離が人物の平均的な身長と一致するかを判定することで、該差分領域６１が人物の頭部かそれ以外かを識別する。また、識別部１３０は、差分領域６１のうち、一定の高さ以上の領域を抽出することで、人物頭部の位置を取得してもよい。
（識別例３）
識別部１３０が、対象の動きを識別する場合について説明する。具体的には、識別部１３０が、第１撮像画像に含まれる、陳列された商品の移動を識別する場合について説明する。撮像装置２のデプスカメラは、例えば定点から、商品棚３の商品が陳列された面の撮像を行っているとする。また、商品棚３に陳列された商品の大きさが予め第１記憶部１５０などに格納されているとする。
識別部１３０は、複数の時刻で取得された複数の第１撮像画像同士の差分を取得する。
つまり、本例では、差分を取る対象の第１撮像画像よりも時間的に前に取得された画像を識別用データ１５１とする。識別部１３０は、取得した差分によって示される領域であって、撮像装置２からの距離が遠くなった領域が、識別用データ１５１によって示される商品の大きさと同様の大きさを有している場合には、識別部１３０は、「商品が取得された」というラベルを付与する。
また、取得した差分によって示される領域であって、撮像装置２からの距離が近くなった領域が、識別用データ１５１によって示される商品の大きさと同様の大きさを有している場合には、「商品が補充された」というラベルを付与する。また、取得した差分によって示される領域のうち、撮像装置２からの距離が遠くなった領域と撮像装置２からの距離が近くなった領域とが隣接しており、識別用データ１５１によって示される商品の大きさよりも小さい場合には、「商品の位置がずれた」というラベルを付与する。
また、撮像装置２から商品棚までの距離や撮像画像における商品棚が含まれる範囲は、予め第１記憶部１５０等に記憶されていることが好ましい。これにより、識別部１３０は、商品棚に陳列された商品以外の物体（例えば、商品棚の前を移動する人物）を、除外して上記識別処理を行うことができる。また、このような構成によれば、識別部１３０が、第１撮像画像に人物が含まれるという、対象の存在を識別することができる。
（識別例４）
識別部１３０は、予め撮像装置２のデプスカメラと同様のデプスカメラで取得された撮像画像を機械学習した識別器を用いて識別処理を行ってもよい。ただし、機械学習の困難さ（同じ正解付コストをかけた場合の誤認識の多さ）がＲＧＢ画像を用いて行われる識別処理と同等未満であることが好ましい。例えば識別対象のテクスチャ（表面の模様）に多様さがある場合、第２撮像画像がＲＧＢカメラで取得された画像であって、第１撮像画像がデプスカメラまたは近赤外線カメラまたは遠赤外線カメラなどで取得された画像である場合、第１撮像画像は、第２撮像画像よりも、識別対象のテクスチャの多様さを少なくできる。したがって、ＲＧＢ画像を用いて機械学習を行うよりも、距離画像などの撮像画像を用いて機械学習を行う場合のほうが、機械学習の困難さが小さくなる。
識別部１３０は、機械学習を行った識別器を用いて、第１撮像画像から対象を識別した結果を、識別結果１５２として第１記憶部１５０に格納する。
なお、識別部１３０が行う識別処理は、上記に限定されない。識別部１３０は、対象の大きさ、形状、位置、移動距離、および、移動速度の少なくとも１つに基づいて、対象の種類、存在、または、動きの少なくとも１つを識別できればよく、その方法は特に限定されない。
次に、図７を参照して、生成部１４０の動作について説明する。図７は、生成部１４０の動作を説明するための図である。
図７には、図３で説明した撮像画像３２Ｂが示される。識別部１３０が、撮像画像３２Ａを用いて、例えば、図５に示すような識別結果１５２を出力したとする。生成部１４０は、識別部１３０から供給された識別結果１５２に含まれる撮像画像識別子５１から、第２取得部１２０が取得した第２撮像画像のうち、撮像画像識別子５１によって示される第１撮像画像の撮影時刻および撮像位置が対応する第２撮像画像を取得する。図３を用いて説明した通り、撮像画像３１Ｂに対応する第２撮像画像は、撮像画像３２Ｂであるため、生成部１４０は、学習データの生成元となる第２撮像画像を、撮像画像３２Ｂであると決定する。
そして、生成部１４０は、矩形情報５２を参照し、撮像画像３２Ｂ上の、該矩形情報５２に対応する領域を特定する。図７に示す通り、矩形情報５２に対応する領域は、破線で示す矩形７２で囲まれた領域である。このように、生成部１４０は、矩形情報５２によって示される矩形を撮像画像３２Ｂ上にマッピングすることにより、矩形７２の撮像画像３２Ｂ上の位置を特定する。これにより、生成部１４０は、撮像画像３２Ｂ上の人物の領域に対応する領域が矩形７２で囲まれた領域であると特定することができる。よって、生成部１４０は、撮像画像３２Ｂ、矩形７２の位置および大きさを示す情報およびラベル５３に基づいて、学習データ１６１を生成することができる。
図８〜図１０は、生成部１４０が生成し、第２記憶部１６０に格納する学習データ１６１の一例を示す図である。
図８に示す通り、学習データ１６１は、画像８１とラベル８２とを含む。画像８１は、識別処理に用いた第１撮像画像に対応する第２撮像画像（例えば、撮像画像３２Ｂ）である。また、ラベル８２は、第１撮像画像に含まれる対象の識別の結果であるラベル５３である。
また、図９に示す通り、学習データ１６１は、画像８１とラベル８２と矩形情報８３とを含んでもよい。矩形情報８３は、識別結果１５２に含まれる矩形情報５２である。
また、図１０に示す通り、学習データ１６１は、画像８１の代わりに、第２撮像画像から矩形情報８３によって示される領域の画像を抽出した小領域画像を、画像１０１として含んでもよい。
このように、生成部１４０は、図９に示すような、識別部１３０が識別した対象の領域に対応する第２撮像画像上の領域を示す情報と、識別された対象の種類または識別された対象の動きを示す情報とを、第２撮像画像に関連付けた学習データ１６１を生成してもよい。また、生成部１４０は、図１０に示すような、第２撮像画像のうち識別手段が識別した対象の領域に対応する第２撮像画像上の領域の画像と、識別された対象の種類または識別された対象の動きを示す情報とを関連付けた学習データ１６１を生成してもよい。
学習データ生成装置１００は、このような学習データ１６１を自動的に作成することができる。
また、学習データ１６１は、図８から図１０に例示したものに限定されない。例えば、学習データ１６１は、複数の第２撮像画像を含む時系列データと、該時系列データに対して付与されたラベルとを含んでもよい。また、学習データ１６１は、複数の小領域画像を含む時系列データと、該時系列データに対して付与されたラベルとを含んでもよい。学習データ１６１は、複数の第２撮像画像または小領域画像を含む時系列データには、複数のラベルが付与されてもよい。
また、生成部１４０は、第２撮像画像または第２撮像画像の小領域画像から抽出したＨＯＧ（Histograms of Oriented Gradients）（非特許文献１参照）などの画像特徴量（ベクトル）とラベルとを関連付けた学習データを生成してもよい。
図１１は、本実施の形態に係る学習データ生成装置１００の動作の流れの一例を示すフローチャートである。
図１１に示す通り、第１取得部１１０が、第１撮像画像を取得する（ステップＳ１１１）。また、第２取得部１２０が第２撮像画像を取得する（ステップＳ１１２）。なお、ステップＳ１１２はステップＳ１１１と同時に行われてもよいし、逆順で行われてもよい。
識別部１３０は、第１撮像画像から、該第１撮像画像に含まれる対象を識別する（ステップＳ１１３）。そして、識別部１３０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
そして、生成部１４０が、識別結果と、第１撮像画像に関連する、ステップＳ１１２で取得された第２撮像画像とに基づいて、学習データ１６１を生成する（ステップＳ１１４）。そして、生成部１４０は、生成した学習データ１６１を第２記憶部１６０に格納する（ステップＳ１１５）。
なお、第２取得部１２０は、第１撮像画像の撮像時刻から所定の時間内（例えば同時刻）に撮像された第２撮像画像を、取得すればよい。つまり、第２取得部１２０は、ステップＳ１１４よりも前にステップＳ１１１で第１取得部１１０が取得した第１撮像画像の撮像時刻から所定の時間内の第２撮像画像を取得すればよい。
以上のように、本実施の形態に係る学習データ生成装置１００は、第１撮像画像に対して識別処理をした識別結果に含まれる矩形情報５２およびラベル５３と、第２撮像画像とに基づいて、学習データ１６１を生成する。これにより、学習データ生成装置１００は、人による正解付け作業のコストを削減することができる。よって、学習データ生成装置１００は、効率的に学習データを生成することができる。
＜第２の実施の形態＞
本開示の第２の実施の形態について説明する。図１２は、本実施の形態に係る学習データ生成装置２００の機能構成の一例を示す機能ブロック図である。図１２に示す通り、本実施の形態に係る学習データ生成装置２００は、第１取得部２１０と、第２取得部１２０と、識別部１３０と、生成部２４０と、第１記憶部１５０と、第２記憶部１６０と、位置特定部２７０とを備える。なお、上述した第１の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
本実施の形態に係る学習データ生成装置２００は位置特定部２７０によって、第１撮像画像上における位置と、第２撮像画像上における位置とを対応付ける。なお、本実施の形態において位置特定部２７０が対応付ける位置は、第１撮像画像および第２撮像画像の２次元空間の位置であるとして説明を行うが、第１撮像画像に対応する３次元空間の位置と、第２撮像画像に対応する３次元空間の位置とを対応付けてもよい。
なお、本実施の形態においても第１撮像画像を撮像する時刻と、第２撮像画像を撮像する時刻とは同期がとられているとする。位置特定部２７０は、取得された第１撮像画像および第２撮像画像に撮像装置２によって付与された撮像カウント等を用いて、第１撮像画像および第２撮像画像間の時間的な位置合わせを行ってもよい。第１撮像画像および第２撮像画像間の時刻の同期方法は特に限定されず、任意の方法を採用してもよい。
本実施の形態では、撮像装置２が距離画像およびカラー画像を撮像するＲＧＢＤカメラと、カラー画像を撮像するＲＧＢカメラの２つのカメラであるとする。ＲＧＢＤカメラによって撮像される距離画像は、上述した第１撮像画像と同様である。また、ＲＧＢカメラによって撮像されるカラー画像は、上述した第２撮像画像と同様である。また、ＲＧＢＤカメラによって撮像されるカラー画像を第３撮像画像と呼ぶ。
なお、本実施の形態では、第１撮像画像と第３撮像画像とを撮像する撮像装置２が１つのＲＧＢＤカメラであるとして説明を行うが、夫々異なる撮像装置であってもよい。この場合、第１撮像画像と第３撮像画像とは、撮像時刻および撮像位置が略同じであることが好ましい。また、第３撮像画像は、第１撮像画像とは異なる種類の画像であり、且つ、第２撮像画像と同じ種類の画像であることが好ましい。
第１取得部２１０は、第１撮像画像と第３撮像画像とを取得する。第１取得部２１０が第１撮像画像および第３撮像画像を取得する方法は、第１取得部１１０と同様である。第１取得部２１０は、取得した第１撮像画像を識別部１３０に供給する。また、識別部１３０は、取得した第３撮像画像を位置特定部２７０に供給する。
位置特定部２７０は、第１撮像画像上の位置と第２撮像画像上の位置との対応付けを行う。
位置特定部２７０は、識別部１３０から、例えば、図５に示すような識別結果１５２を受け取る。また、位置特定部２７０は、第１取得部２１０から第３撮像画像を受け取る。
また、位置特定部２７０は、第２取得部１２０から第２撮像画像を受け取る。位置特定部２７０は、識別結果１５２、第２撮像画像および第３撮像画像に基づいて、第１撮像画像および第２撮像画像の間の位置の対応付けを行う。
図１３を参照して、位置特定部２７０の動作について説明を行う。図１３は、位置特定部２７０の動作を説明するための図である。
ＲＧＢＤカメラは、第１撮像画像１３１および第３撮像画像１３３を撮像する。また、ＲＧＢカメラは、第２撮像画像１３２を撮像する。図１３に示す通り、第２撮像画像１３２と第３撮像画像１３３とは画像上において商品棚３の位置が異なっているとする。
位置特定部２７０は、まず、同じ種類の画像である、第３撮像画像１３３と第２撮像画像１３２との位置の対応付けを行う。位置特定部２７０は、第２撮像画像１３２と第３撮像画像１３３との間のマッチングを行うことにより、位置の対応付けを行う。マッチングにはテンプレートマッチング（非特許文献２）や、特徴点マッチングの方法（特許文献３）を用いることができる。ここで、対応付けに用いる対応付け関数をφＡ（・）（「・」は任意の変数）とし、第３撮像画像１３３上の座標をｘ１３３、第２撮像画像１３２上の座標をｘ１３２とすると、ｘ１３２＝φＡ（ｘ１３３）が成り立つ。
次に、位置特定部２７０は、異なる種類の画像である、第３撮像画像１３３と、第１撮像画像１３１との位置の対応付けを行う。対応付けにはテンプレートマッチングを用いてもよいし、予めカメラのキャリブレーションをしておき、位置の対応関係を算出しておくことによりなされてもよい。第１撮像画像１３１上の座標をｘ１３１とし、対応付けに用いる対応付け関数をφＢ（・）とすると、ｘ１３３＝φＢ（ｘ１３１）が成り立つ。
以上により、第１撮像画像１３１上の座標ｘ１３１に対応する第３撮像画像１３３上の座標は、ｘ１３２＝φＡ（φＢ（ｘ１３１））で、求めることができる。なお、座標のすべては１対１の対応である必要はなく、複数対応があってもよいし、確率的な対応関係であってもよい。
識別部１３０による識別処理によって、矩形情報５２によって表される矩形１３４が得られる。そして、位置特定部２７０は、上述した対応付けにより、矩形１３４の位置に対応する第２撮像画像１３２上の位置を矩形１３５として特定することができる。
なお、位置特定部２７０は、ＲＧＢＤカメラとＲＧＢカメラとの位置関係を固定しておき、キャリブレーション（二つのデータ間での変換パラメータを求める処理）をしておくことで位置の対応付けを行ってもよい。
位置特定部２７０は、第２撮像画像１３２上における、矩形１３５を表現する矩形情報（対応付けの結果）を、生成部２４０に供給する。
生成部２４０は、位置特定部２７０から供給された矩形情報と、識別部１３０から供給された識別結果１５２と、第２撮像画像とを用いて、学習データ１６１を生成する。生成部２４０が行う学習データ１６１の生成処理は、生成部１４０が行う学習データ１６１と、識別結果１５２に含まれる矩形情報５２ではなく、位置特定部２７０から供給された矩形情報を用いる点が異なるがその他は同様の方法であってもよい。
図１４は、本実施の形態に係る学習データ生成装置２００の動作の流れの一例を示すフローチャートである。
図１４に示す通り、第１取得部２１０が、例えば、図１３に示すような商品棚３を撮像した第１撮像画像および第３撮像画像を取得する（ステップＳ１４１）。また、第２取得部１２０が第２撮像画像を取得する（ステップＳ１４２）。なお、ステップＳ１４２はステップＳ１４１と同時に行われてもよいし、逆順で行われてもよい。
識別部１３０は、第１撮像画像から、該第１撮像画像に含まれる対象を識別する（ステップＳ１４３）。そして、識別部１３０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
そして、位置特定部２７０が第１撮像画像１３１と第２撮像画像１３２との間で位置の対応付けを行う（ステップＳ１４４）。具体的には、位置特定部２７０は第１撮像画像１３１と第３撮像画像１３３との間で位置の対応付けを行い、第３撮像画像１３３と第２撮像画像１３２との間で位置の対応付けを行う。
そして、生成部２４０が、識別結果と、ステップＳ１４４の対応付けの結果と、第２撮像画像とに基づいて、学習データ１６１を生成する（ステップＳ１４５）。そして、生成部２４０は、生成した学習データ１６１を第２記憶部１６０に格納する（ステップＳ１４６）。
以上のように、本実施の形態に係る学習データ生成装置２００によれば、位置特定部２７０を用いて、第１撮像画像１３１と第２撮像画像１３２との間の位置の対応付けを行う。
例えば、小売店舗等において、既設の監視カメラを用いて認識処理を行う場合、該監視カメラが、第２撮像画像を取得して、第１撮像画像および第３撮像画像を取得する撮像装置２を小売店舗等に設置することにより、学習データ生成装置２００は、上述した第１の実施の形態と同様に、効率的に学習データを生成することができる。これにより、本実施の形態に係る学習データ生成装置２００によれば、既設の監視カメラを効果的に利用することができる。なお、認識処理とは識別部１３０が行う識別処理と同様の処理であってもよいし、異なる処理であってもよい。
＜第３の実施の形態＞
本開示の第３の実施の形態について説明する。図１５は、本実施の形態に係る学習データ生成装置３００の機能構成の一例を示す機能ブロック図である。図１５に示す通り、本実施の形態に係る学習データ生成装置３００は、第１取得部１１０と、第２取得部１２０と、第１識別部３３０と、生成部３４０と、第１記憶部３５０と、第２記憶部１６０と、第２識別部３８０と、整合性判定部３９０とを備える。なお、本実施の形態に係る学習データ生成装置３００は、第１の実施の形態において説明した学習データ生成装置１００に更に第２識別部３８０および整合性判定部３９０を含む構成であるが、学習データ生成装置２００に第２識別部３８０および整合性判定部３９０を含む構成であってもよい。なお、上述した第１の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
第１識別部３３０は、上述した識別部１３０と同様の処理を行う。第１識別部３３０は識別した結果を第１記憶部３５０に第１識別結果３５２として格納する。また、第１識別部３３０は、第１識別結果３５２を整合性判定部３９０に供給する。第１識別結果３５２は、上述した識別結果１５２と同様の識別結果である。
第２識別部３８０は、第２撮像画像から対象を識別する。第２識別部３８０は、識別部１３０と同様の方法で識別処理を行ってもよいし、異なる方法で識別処理を行ってもよい。第２識別部３８０は、識別した結果を第１記憶部３５０に第２識別結果３５３として格納する。また、第２識別部３８０は、第２識別結果３５３を整合性判定部３９０に供給する。なお、本実施の形態では、第１識別部３３０と第２識別部３８０とが別であることについて説明を行うが、第１識別部３３０と第２識別部３８０とは一体となって形成されてもよい。
第１記憶部３５０は、識別用データ１５１、第１識別結果３５２および第２識別結果３５３を格納する。
整合性判定部３９０は、第１識別結果３５２と第２識別結果３５３とに整合性があるか否かを判定する。以下に、整合性判定部３９０の処理について説明する。
（整合性判定例１）
第１識別結果３５２が距離画像である第１撮像画像に基づく、対象を人物か否かを識別した結果であり、第２識別結果３５３がカラー画像である第２撮像画像に基づく、対象を人物か否かを識別した結果であるとする。
整合性判定部３９０は、第１撮像画像および第２撮像画像の対応する位置における識別の結果がどちらも人物と識別された場合、すなわち、第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが「人物」である場合、整合が取れている（整合性がある）と判定する。第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとの何れか一方が「人物」であり、他方が人物以外である場合、整合性判定部３９０は、整合が取れていないと判定する。なお、両ラベルが人物以外の場合、整合性判定部３９０は整合が取れていると判定する。
（整合性判定例２）
第１識別結果３５２が距離画像である第１撮像画像に基づく、対象を人物の頭部か否かを識別した結果であり、第２識別結果３５３がカラー画像である第２撮像画像に基づく、対象を人物か否かを識別した結果であるとする。なお、本例は、上述した識別例２と同様に、撮像装置２のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。
整合性判定部３９０は、第１撮像画像および第２撮像画像の対応する位置における識別の結果が一致する場合、すなわち、第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが頭部を示す場合、整合が取れている（整合性がある）と判定する。第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが異なる場合、整合性判定部３９０は、整合が取れていないと判定する。
（整合性判定例３）
第１識別結果３５２が距離画像である第１撮像画像に基づく、商品の移動を識別した結果であり、第２識別結果３５３がカラー画像である第２撮像画像に基づく、商品の移動を識別した結果であるとする。
整合性判定部３９０は、第１撮像画像および第２撮像画像の対応する位置における識別の結果が一致する場合、すなわち、第１識別結果３５２に含まれる商品の動きを表すラベルと第２識別結果３５３に含まれる商品の動きを表すラベルとが同じ動きを示す場合、整合が取れている（整合性がある）と判定する。第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが異なる場合、整合性判定部３９０は、整合が取れていないと判定する。
整合性判定部３９０の判定の方法はこれに限定されず、様々な判定方法を採用してもよい。整合性判定部３９０は、判定結果と判定に用いた第１識別結果３５２および第２識別結果３５３とを生成部３４０に供給する。
生成部３４０は、整合性判定部３９０から供給された判定結果、第１識別結果３５２および第２識別結果３５３と、第２取得部１２０から供給された第２撮像画像とに基づいて、学習データの生成を行う。具体的には、判定結果が、整合が取れていないことを示す場合、生成部３４０は、識別に対して更なる学習が必要と判定し、第１識別結果３５２または第２識別結果３５３に含まれる矩形情報に基づいて、第２撮像画像から学習データ１６１を生成する。
図１６は、本実施の形態に係る学習データ生成装置３００の動作の流れの一例を示すフローチャートである。図１６に示す通り、第１取得部１１０が、第１撮像画像を取得する（ステップＳ１６１）。また、第２取得部１２０が第２撮像画像を取得する（ステップＳ１６２）。なお、ステップＳ１６２はステップＳ１６１と同時に行われてもよいし、逆順で行われてもよい。
第１識別部３３０が、第１撮像画像から、該第１撮像画像に含まれる対象を識別する（ステップＳ１６３）。そして、第１識別部３３０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
また、第２識別部３８０が、第２撮像画像から、該第２撮像画像に含まれる対象を識別する（ステップＳ１６４）。そして、第２識別部３８０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第２撮像画像に関連付けた識別結果を生成する。
なお、ステップＳ１６４はステップＳ１６３と同時に行われてもよいし、逆順で行われてもよい。
そして、整合性判定部３９０が第１識別結果３５２と第２識別結果３５３とに整合性があるか否かを判定する（ステップＳ１６５）。整合性がある場合（ステップＳ１６５にてＹＥＳ）、生成部３４０は、第１撮像画像および第２撮像画像に対する識別を行うために、十分な学習データがあると判定し、学習データ１６１を生成せずに処理を終了する。
整合性がない場合（ステップS１６５にてNO）、生成部３４０が、第１識別結果および第２識別結果の少なくとも何れかと、ステップＳ１１２で取得された第２撮像画像とに基づいて、学習データ１６１を生成する（ステップＳ１６６）。そして、生成部３４０は、生成した学習データ１６１を第２記憶部１６０に格納する（ステップＳ１６７）。
以上のように、本実施の形態に係る学習データ生成装置３００によれば、整合性判定部３９０が第１撮像画像に対する第１識別結果と、第２撮像画像に対する第２識別結果との整合性の有無を判定する。これにより、生成部３４０は、学習が必要だと判定した撮像画像を用いて、学習データ１６１を生成することができる。よって、学習データ生成装置３００は、認識精度を向上させるための学習データ１６１を作成することができる。
例えば、既設の監視カメラによる認識処理を行うシステムをすでに運用している環境において、認識精度が不足している場合、本実施の形態によれば、既設の監視カメラを、第２撮像画像を取得する撮像装置２とし、学習データ生成装置３００が該第２撮像画像を用いて学習データ１６１を生成する。これにより、学習データ生成装置３００は、システムの認識精度を向上させることができる。
＜第４の実施の形態＞
本開示の第４の実施の形態について、図面を参照して説明する。本実施の形態は、本開示の課題を解決する最小の構成について説明する。
図１７は、本実施の形態に係る学習データ生成装置１０の機能構成の一例を示す機能ブロック図である。図１７に示す通り、本実施の形態に係る学習データ生成装置１０は、識別部１１と、生成部１２とを備える。
識別部１１は、上述した識別部１３０および第１識別部３３０の機能を有する。識別部１１は、第１撮像画像から、該第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。識別部１１は、例えば、上述した識別例１〜４の何れかを採用して識別処理を行ってもよいし、その他の識別方法で識別処理を行ってもよい。識別部１１は、生成した識別結果を生成部１２に供給する。
生成部１２は、上述した生成部１４０、生成部２４０および生成部３４０の機能を有する。生成部１２は、識別結果と、第１撮像画像に関連する、第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する。
生成部１２が生成する学習データは、例えば、図８〜図１０に示す学習データ１６１の何れかであってもよいし、その他の形式であってもよい。
図１８は、本実施の形態に係る学習データ生成装置１０の動作の一例を示すフローチャートである。図１８に示す通り、識別部１１は、第１撮像画像に含まれる対象を識別する（ステップＳ１８１）。識別部１１は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
生成部１２は、識別部１１が生成した識別結果と、第１撮像画像に関連する、第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する（ステップＳ１８２）。
以上のように、本実施の形態に係る学習データ生成装置１０は、第１撮像画像に対して識別処理をした識別結果と、第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する。これにより、学習データ生成装置１０は、人による正解付け作業のコストを削減することができる。よって、学習データ生成装置１００は、効率的に学習データを生成することができる。
なお、上述した学習データ生成装置（１００、２００、３００および１０）は、上述した通り、撮像装置２に内蔵される構成であってもよい。また、例えば、第１撮像画像を撮像する装置と、第２撮像画像を撮像する装置とが別々の撮像装置２で実現される場合、学習データ生成装置（１００、２００、３００および１０）は、第１撮像画像を撮像する装置に搭載されることが好ましい。このとき、第２撮像画像を撮像する装置は、店舗に既に設置されている監視カメラであってもよい。この場合、第１撮像画像を撮像する撮像装置２が、監視カメラの近傍または監視カメラが撮像する第２撮像画像と第１撮像画像との位置の対応付けが行えるような位置に設置されていればよい。そして、学習データの生成が終わると、第１撮像画像を撮像する撮像装置２を取り外してもよい。これにより、取り外された撮像装置２は、他の店舗に取り付けることができる。
第２撮像画像を用いて人物や商品の識別処理を行う場合には、第２撮像画像を撮像する監視カメラを用いればよいため、例えば、画像認識を行うシステムを多数の小売店舗チェーンに展開する場合、好適に第１撮像画像を撮像する撮像装置２を再利用することができる。したがって、このような構成によれば、システムの導入コスト削減に寄与することができる。
また、学習データ生成装置（１００、２００、３００および１０）は、生成した学習データを用いて学習を行った識別器を更に含んでもよい。これにより、学習データ生成装置は、該識別器を用いて、高精度に認識処理を行うことができる。
（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図１９に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１９は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、２０１７年４月７日に出願された日本出願特願２０１７−０７６７６５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 学習データ生成システム
２ 撮像装置
３ 商品棚
１０ 学習データ生成装置
１１ 識別部
１２ 生成部
１００ 学習データ生成装置
１１０ 第１取得部
１２０ 第２取得部
１３０ 識別部
１４０ 生成部
１５０ 第１記憶部
１６０ 第２記憶部
２１０ 第１取得部
２４０ 生成部
２７０ 位置特定部
３３０ 第１識別部
３４０ 生成部
３８０ 第２識別部
３９０ 整合性判定部

Claims (10)

  1. 対象との距離を示す画像である第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する識別手段と、
    前記識別結果と、前記第１撮像画像の一部または全部の撮像範囲を含むカラー画像である第２撮像画像とに基づいて、学習データを生成する生成手段と、
    を備える学習データ生成装置。
  2. 前記生成手段は、前記識別手段が識別した対象の領域に対応する前記第２撮像画像上の領域を示す情報と、前記識別された対象の種類または識別された対象の動きとを、前記第２撮像画像に関連付けた前記学習データを生成する、
    請求項１に記載の学習データ生成装置。
  3. 前記生成手段は、前記第２撮像画像のうち前記識別手段が識別した対象の領域に対応する前記第２撮像画像上の領域の画像と、前記識別された対象の種類または識別された対象の動きとを関連付けた前記学習データを生成する、
    請求項１に記載の学習データ生成装置。
  4. 前記識別手段は、前記対象の大きさ、形状、位置、移動距離、および、移動速度の少なくとも１つに基づいて、前記対象の種類、存在、または、動きの少なくとも１つを識別し、
    前記生成手段は、識別した結果を学習時のラベルとした前記学習データを生成する、
    請求項１から３の何れか１項に記載の学習データ生成装置。
  5. 前記第２撮像画像と同じ種類の第３撮像画像であって、前記第１撮像画像を撮像した撮像装置が撮像する第３撮像画像を用いて、前記第１撮像画像における位置に対応する前記第２撮像画像における位置を特定する位置特定手段を備え、
    前記生成手段は、前記特定された第２撮像画像における位置と、前記識別結果と、前記第２撮像画像と、に基づいて、前記学習データを生成する、
    請求項１から４の何れか１項に記載の学習データ生成装置。
  6. 前記識別手段は、前記第２撮像画像から、該第２撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第２撮像画像に関連付けた第２識別結果を生成し、
    前記学習データ生成装置は、第１撮像画像に対する識別結果である第１識別結果と、前記第２識別結果との整合性の有無を判定する判定手段を更に備え、
    前記生成手段は、前記判定手段による判定結果に基づいて、前記学習データを生成する、
    請求項１から５の何れか１項に記載の学習データ生成装置。
  7. 前記第１撮像画像は距離画像であり、
    前記第２撮像画像はカラー画像である、
    請求項１から６の何れか１項に記載の学習データ生成装置。
  8. 前記学習データ生成装置は、前記第１撮像画像を取得する撮像装置に搭載される、
    請求項１から７の何れか１項に記載の学習データ生成装置。
  9. コンピュータが、対象との距離を示す画像である第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成し、
    前記コンピュータが、前記識別結果と、前記第１撮像画像の一部または全部の撮像範囲を含むカラー画像である第２撮像画像とに基づいて、学習データを生成する、
    学習データ生成方法。
  10. 対象との距離を示す画像である第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する処理と、
    前記識別結果と、前記第１撮像画像の一部または全部の撮像範囲を含むカラー画像である第２撮像画像とに基づいて、学習データを生成する処理と、
    をコンピュータに実行させるためのプログラム。
JP2019511259A 2017-04-07 2018-04-03 学習データ生成装置、学習データ生成方法、およびプログラム Active JP6844692B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017076765 2017-04-07
JP2017076765 2017-04-07
PCT/JP2018/014270 WO2018186398A1 (ja) 2017-04-07 2018-04-03 学習データ生成装置、学習データ生成方法、および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021027446A Division JP7151805B2 (ja) 2017-04-07 2021-02-24 学習データ生成装置、学習データ生成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018186398A1 JPWO2018186398A1 (ja) 2020-01-16
JP6844692B2 true JP6844692B2 (ja) 2021-03-17

Family

ID=63712833

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019511259A Active JP6844692B2 (ja) 2017-04-07 2018-04-03 学習データ生成装置、学習データ生成方法、およびプログラム
JP2021027446A Active JP7151805B2 (ja) 2017-04-07 2021-02-24 学習データ生成装置、学習データ生成方法、およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021027446A Active JP7151805B2 (ja) 2017-04-07 2021-02-24 学習データ生成装置、学習データ生成方法、およびプログラム

Country Status (3)

Country Link
US (2) US10740653B2 (ja)
JP (2) JP6844692B2 (ja)
WO (1) WO2018186398A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220138707A (ko) * 2021-04-06 2022-10-13 네이버 주식회사 기계 학습을 위한 학습 데이터 생성 방법 및 시스템

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6844692B2 (ja) * 2017-04-07 2021-03-17 日本電気株式会社 学習データ生成装置、学習データ生成方法、およびプログラム
JP7079742B2 (ja) * 2019-02-08 2022-06-02 株式会社日立製作所 計算機システム
WO2020183691A1 (ja) * 2019-03-14 2020-09-17 日本電気株式会社 情報提示方法、情報提示装置及びプログラム
JP7329983B2 (ja) * 2019-06-25 2023-08-21 Ｊｒ東日本メカトロニクス株式会社 学習用データ生成装置及び物体検知装置
KR102693193B1 (ko) * 2019-08-20 2024-08-09 주식회사 소니 인터랙티브 엔터테인먼트 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2021033572A (ja) * 2019-08-22 2021-03-01 株式会社豊田自動織機 画像データ収集装置及び画像データ仕分け方法
JP7400962B2 (ja) * 2020-05-14 2023-12-19 日本電気株式会社 商品特定装置、商品特定方法、及びプログラム
US20230281992A1 (en) * 2020-07-31 2023-09-07 Nec Corporation Training data generation device, training data generation system, training data generation method, and recording medium
KR102348294B1 (ko) * 2020-08-24 2022-01-12 한국철도기술연구원 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
JP2022122364A (ja) * 2021-02-10 2022-08-23 日本電気株式会社 データ生成装置、データ生成方法、及びプログラム
WO2024014293A1 (ja) * 2022-07-14 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置、情報処理方法
JP7539671B1 (ja) 2023-05-19 2024-08-26 株式会社マーケットヴィジョン 情報処理システム
CN118115851B (zh) * 2024-04-30 2024-07-09 武汉追月信息技术有限公司 一种基于人工智能的智慧型地理数据工厂构建方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6715293B2 (en) 2002-03-28 2004-04-06 United Technologies Corporation Scram jet engine design
JP4611069B2 (ja) * 2004-03-24 2011-01-12 富士フイルム株式会社 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP2007272398A (ja) 2006-03-30 2007-10-18 Akita Prefecture 分類装置、プログラム、及び方法
EP2083379B1 (en) 2006-10-19 2021-04-07 NEC Corporation Active studying system, method and program
US9053393B2 (en) * 2010-03-19 2015-06-09 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
JP5950296B2 (ja) 2012-01-27 2016-07-13 国立研究開発法人産業技術総合研究所 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
US8855369B2 (en) 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
JP2014052977A (ja) * 2012-09-10 2014-03-20 Nippon Telegr & Teleph Corp <Ntt> 対応付け装置及びコンピュータプログラム
US9607419B2 (en) * 2012-12-14 2017-03-28 Electronics And Telecommunications Research Institute Method of fitting virtual item using human body model and system for providing fitting service of virtual item
JP2014178957A (ja) 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
US9953213B2 (en) * 2013-03-27 2018-04-24 Microsoft Technology Licensing, Llc Self discovery of autonomous NUI devices
CA2944829C (en) * 2014-05-23 2022-10-25 Ting Chen Systems and methods for detection of biological structures and/or patterns in images
JP2016004486A (ja) * 2014-06-18 2016-01-12 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
US9501716B2 (en) * 2014-12-11 2016-11-22 Intel Corporation Labeling component parts of objects and detecting component properties in imaging data
JP2017037424A (ja) * 2015-08-07 2017-02-16 日本放送協会 学習装置、認識装置、学習プログラム、及び認識プログラム
JP6844692B2 (ja) * 2017-04-07 2021-03-17 日本電気株式会社 学習データ生成装置、学習データ生成方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220138707A (ko) * 2021-04-06 2022-10-13 네이버 주식회사 기계 학습을 위한 학습 데이터 생성 방법 및 시스템
KR102581001B1 (ko) 2021-04-06 2023-09-21 네이버 주식회사 기계 학습을 위한 학습 데이터 생성 방법 및 시스템

Also Published As

Publication number Publication date
JP7151805B2 (ja) 2022-10-12
US20200342264A1 (en) 2020-10-29
US20200012893A1 (en) 2020-01-09
JPWO2018186398A1 (ja) 2020-01-16
US11386297B2 (en) 2022-07-12
JP2021093189A (ja) 2021-06-17
US10740653B2 (en) 2020-08-11
WO2018186398A1 (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6844692B2 (ja) 学習データ生成装置、学習データ生成方法、およびプログラム
EP3284011B1 (en) Two-dimensional infrared depth sensing
JP6125188B2 (ja) 映像処理方法及び装置
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
US11398049B2 (en) Object tracking device, object tracking method, and object tracking program
CN109033985B (zh) 商品识别的处理方法、装置、设备、系统及存储介质
TW201721514A (zh) 基於場景之捕獲影像而產生之距離圖
JP2017531865A5 (ja)
JP2018151748A (ja) 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
US10713530B2 (en) Image processing apparatus, image processing method, and image processing program
EP3161725B1 (en) Color identification using infrared imaging
JPWO2018235198A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2017120672A5 (ja) 画像処理装置、画像処理システム、および画像処理方法
US20210056337A1 (en) Recognition processing device, recognition processing method, and program
KR102041191B1 (ko) 손 동작 인식 방법 및 장치
JP2018156408A (ja) 画像認識撮像装置
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
TW201705088A (zh) 基於場景之立體影像所產生之差異圖
US20150269778A1 (en) Identification device, identification method, and computer program product
JP2019040229A5 (ja)
US11443503B2 (en) Product analysis system, product analysis method, and product analysis program
CA3183341A1 (en) Autonomous livestock monitoring
CN111079470A (zh) 人脸活体检测的方法和装置
JP6452361B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6939065B2 (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210208

R150 Certificate of patent or registration of utility model

Ref document number: 6844692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150