JPWO2019167277A1 - 画像収集装置、画像収集システム、画像収集方法、画像生成装置、画像生成システム、画像生成方法、およびプログラム - Google Patents

画像収集装置、画像収集システム、画像収集方法、画像生成装置、画像生成システム、画像生成方法、およびプログラム Download PDF

Info

Publication number
JPWO2019167277A1
JPWO2019167277A1 JP2020502773A JP2020502773A JPWO2019167277A1 JP WO2019167277 A1 JPWO2019167277 A1 JP WO2019167277A1 JP 2020502773 A JP2020502773 A JP 2020502773A JP 2020502773 A JP2020502773 A JP 2020502773A JP WO2019167277 A1 JPWO2019167277 A1 JP WO2019167277A1
Authority
JP
Japan
Prior art keywords
image
display
images
display surface
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020502773A
Other languages
English (en)
Other versions
JP7501907B2 (ja
Inventor
壮馬 白石
壮馬 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019167277A1 publication Critical patent/JPWO2019167277A1/ja
Application granted granted Critical
Publication of JP7501907B2 publication Critical patent/JP7501907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

画像収集システム（１）は、画像収集装置（１０）、撮像装置（３０）、およびディスプレイ（４０）を有する。ディスプレイ（４０）は、表示面が物体（ＯＢＪ）の載置面としても利用される。撮像装置（３０）は、ディスプレイ（４０）の表示面に載置された物体（ＯＢＪ）を撮影する。画像収集装置（１０）は、表示制御部（１１０）および画像取得部（１２０）を備える。表示制御部（１１０）は、物体の撮影時に、ディスプレイ（４０）の表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる。画像取得部（１２０）は、複数の第１画像を切り替えて表示している間にディスプレイ（４０）の表示面上の物体（ＯＢＪ）を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる。

Description

本発明は、画像を用いた物体認識技術に関する。
画像を用いて物体を認識する技術の一例が、例えば、下記特許文献１に開示されている。下記特許文献１では、カメラにより撮像された対象物をオブジェクト認識することで当該対象物を商品として識別し、その商品を購入対象商品として登録する機能を備える商品登録装置が開示されている。
特開２０１６−６２５４５号公報
画像を用いて物体を識別可能とするためには、識別対象の物体毎に学習用および評価用の画像を多数用意し、かつ、それらの画像を使って識別器を構築する作業が必要となる。しかしながら、この作業には非常に手間がかかる。
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、物体認識に利用される識別器を構築する際の手間を低減させる技術を提供することである。
本発明の画像収集装置は、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
を備える。
本発明の画像収集システムは、
表示面が物体の載置面として利用されるディスプレイと、
前記ディスプレイの表示面に載置された物体を撮影する撮像装置と、
前記物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
を備える。
本発明の画像収集方法は、
コンピュータが、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させ、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる、
ことを含む。
本発明の第１のプログラムは、コンピュータに上述の画像収集方法を実行させる。
本発明の画像生成装置は、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
を備える。
本発明の画像生成システムは、
表示面が物体の載置面として利用されるディスプレイと、
前記ディスプレイの表示面上に載置された物体を撮影する撮像装置と、
前記物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
を備える。
本発明の画像生成方法は、
コンピュータが、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させ、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得し、
前記第２画像から前記物体の領域を示す物体領域画像を抽出し、
前記物体領域画像を他の背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる、
ことを含む。
本発明の第２のプログラムは、コンピュータに上述の画像生成方法を実行させる。
本発明によれば、物体認識に利用される識別器を構築する際の手間を低減させることができる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
第１実施形態の画像収集システム１の基本的な構成例を示す図である。 画像収集システム１のハードウエア構成を例示するブロック図である。 第１実施形態の画像収集システム１の処理の流れを例示するシーケンス図である。 表示制御部が送信する描画データを例示的に示す図である。 第２実施形態の画像収集システム１の構成例を示す図である。 第２実施形態の画像収集システム１により実行される学習処理の流れを例示するフローチャートである。 第２実施形態の画像収集システム１により実行される評価処理の流れを例示するフローチャートである。 画像生成システム２の基本的な構成例を示す図である。 画像生成システム２のハードウエア構成を例示するブロック図である。 第３実施形態の画像生成システム２の処理の流れを例示するシーケンス図である。 第２画像から物体領域画像を抽出する第１の手法の例示する図である。 第２画像から物体領域画像を抽出する第２の手法を例示する図である。 第２画像から物体領域画像を抽出する第３の手法の例示する図である。 第２画像から物体領域画像を抽出する第３の手法の他の例を示す図である。 第２画像から物体領域画像を抽出する第４の手法を例示する図である。 画像生成部の動作を具体的に例示する図である。 第４実施形態の画像生成システム２の構成例を示す図である。
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
［第１実施形態］
〔システム構成例〕
図１は、第１実施形態の画像収集システム１の基本的な構成例を示す図である。画像収集システム１は、図示しない物体識別エンジン（識別器）の学習や評価に利用可能な画像を効率的に生成できる構成を有する。例えば、図１に示されるように、画像収集システム１は、画像収集装置１０、撮像装置３０、およびディスプレイ４０を含んで構成される。画像収集装置１０は、図示しない配線等によって撮像装置３０およびディスプレイ４０と接続されている。
ディスプレイ４０は、様々な画像をその表示面上に表示する。また、ディスプレイ４０は、後述の画像収集装置１０による制御に従って、特定の画像（以下、「第１画像」と表記）を表示する。また、ディスプレイ４０の表示面は、図示されるように、物体ＯＢＪを載置する載置面としても利用される。なお、物体ＯＢＪは、図示しない物体識別エンジンの学習対象の物体である。例えば、物体ＯＢＪは、小売店等の店舗で販売される商品などである。
撮像装置３０は、ディスプレイ４０を撮像範囲に含むように配置されており、ディスプレイ４０の表示面に載置された物体ＯＢＪおよび当該表示面に表示された第１画像を撮影する。
図１に例示されるように、本実施形態の画像収集装置１０は、表示制御部１１０および画像取得部１２０を備える。なお、表示制御部１１０および画像取得部１２０は、点線で示されるように、それぞれ、ディスプレイ４０および撮像装置３０と通信を行う。表示制御部１１０は、撮像装置３０がディスプレイ４０の表示面に載置された物体ＯＢＪを撮影する時、当該ディスプレイ４０の表示面にそれぞれ内容の異なる複数の画像（第１画像）を切り替えて表示させる。撮像装置３０は、表示制御部１１０がディスプレイ４０に複数の第１画像を切り替えて表示している間に物体ＯＢＪを撮影して、複数の画像（以下、上述の第１画像と区別するため、撮像装置３０により生成される画像を「第２画像」と表記）を生成する。つまり、複数の第２画像は、それぞれ、複数の第１画像のいずれかを物体ＯＢＪの背景として含んでいる。そして、画像取得部１２０は、このようにして生成された複数の第２画像を取得し、所定の記憶装置に記憶させる。ここで、所定の記憶装置は、例えば、ハードディスクドライブのような不揮発性の記憶装置であってもよいし、ＲＡＭ（Random Access Memory）のような揮発性の記憶装置であってもよい。
〔ハードウエア構成例〕
画像収集システム１は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像収集システム１がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図２は、画像収集システム１のハードウエア構成を例示するブロック図である。
画像収集装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は画像収集装置１０の各機能（表示制御部１１０および画像取得部１２０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
入出力インタフェース１０５０は、画像収集装置１０と各種入出力デバイスとを接続するためのインタフェースである。図２では、画像収集装置１０は、撮像装置３０およびディスプレイ４０と入出力インタフェース１０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される物体ＯＢＪ）を撮像範囲に含むように設置される。ディスプレイ４０は、一般的な表示用のデバイスである。なお、ディスプレイ４０は、物体ＯＢＪの載置面としても利用される。そのため、ディスプレイ４０は、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイである。また、ディスプレイ４０は、ユーザの入力操作を受け付け可能なタッチパネルであってもよい。また、入出力インタフェース１０５０には、マウスやキーボードなど入力装置が更に接続されていてもよい。
ネットワークインタフェース１０６０は、画像収集装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
図２は、あくまで一例であり、画像収集装置１０のハードウエア構成は図２の例に制限されない。例えば、画像収集装置１０は、ネットワークインタフェース１０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。また、画像収集装置１０には、その他の装置が接続されていてもよい。例えば、画像収集装置１０が小売店などで利用される場合、画像収集装置１０に、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機などの業務用の装置が接続されていてもよい。
〔処理の流れ〕
図３を用いて、本実施形態の画像収集システム１により実行される処理の流れを説明する。図３は、第１実施形態の画像収集システム１の処理の流れを例示するシーケンス図である。なお、本図の例では、物体ＯＢＪが小売店等の店舗で販売される商品である場合の流れを例示する。
まず、画像収集システム１を利用するユーザは、物体識別エンジンの学習対象である商品（物体ＯＢＪ）をディスプレイ４０上の任意の位置に載置する（Ｓ１０２）。その後、ユーザは画像収集装置１０に対して処理の実行を指示し、画像収集装置１０がその指示を受信する（Ｓ１０４）。例えば、ユーザは、タッチパネル式のディスプレイ４０や、入出力インタフェース１０５０に接続されたマウスやキーボードなどの入出力装置を操作して、画像収集装置１０に対して処理の実行指示を行うことができる。
Ｓ１０４の指示に応じて、表示制御部１１０および画像取得部１２０は、それぞれ動作を開始する。
表示制御部１１０は、複数の第１画像を所定のタイミングで切り替えて表示させる描画データをディスプレイ４０に送信する（Ｓ１０６）。そして、ディスプレイ４０は、表示制御部１１０から受信した描画データに基づいて、複数の第１画像を切り替えながら表示する（Ｓ１０８）。
上述のＳ１０６およびＳ１０８の処理の流れを、図４を用いて具体的に例示する。図４は、表示制御部１１０が送信する描画データを例示的に示す図である。図４において、ｔ０、ｔ１、およびｔ２は、それぞれ時刻を示している。時刻ｔ０は、先頭の第１画像［１］のデータの受信タイミングを示す。また、時刻ｔ１は、第１画像［１］の次の第１画像［２］のデータに切り替わるタイミングを示す。また、時刻ｔ２は、第１画像［２］の次の、図示しない第１画像［３］のデータに切り替わるタイミングを示す。図４に例示される描画データを受信した場合、ディスプレイ４０は、まず、時刻ｔ０から時刻ｔ１までの間、第１画像［１］を表示する。その後、ディスプレイ４０は、時刻ｔ１から時刻ｔ２までの間、第１画像［２］を表示する。ディスプレイ４０は、時刻ｔ２より後の期間についても、表示制御部１１０からの描画データに従って、上述したように複数の第１画像を切り替えて表示する。
ここで、複数の第１画像は、それぞれランダムに生成された画像（例えば、それぞれランダムな幾何学図形の結合画像など）であってもよい。また例えば、複数の第１画像は、例えば、それぞれ互いに色の異なる複数の無地の画像であってもよい。また、複数の第１画像は、物体識別エンジンの利用環境に合わせてチューニングされた画像であってもよい。例えば、物体識別エンジンが商品の識別に利用される場合、複数の第１画像は、商品の種類および配置の少なくとも一方がそれぞれ互いに異なる画像であってもよい。この場合において、複数の第１画像の少なくとも一部に、商品以外のノイズが含まれていてもよい。具体的には、店舗での業務において実際に表示される画面やＧＵＩ（Graphical User Interface）などの表示コンテンツ、または、人物の手や指などが、ノイズとして複数の第１画像の少なくとも一部に含まれていてもよい。このようなノイズを第１画像に含めることにより、物体識別エンジンの利用環境（具体的には、ディスプレイ４０上に購入対象の商品を載置し、上部の撮像装置３０で商品をまとめて認識するようなシステム）で実際に起こり得る状況を精度よく再現できる。
上記で例示したような複数の第１画像のデータは、例えばストレージデバイス１０４０などに記憶されており、表示制御部１１０は、ストレージデバイス１０４０などから各第１画像のデータを読み出すことができる。また、物体識別エンジンの利用環境に合わせてチューニングされた複数の第１画像を使う場合、表示制御部１１０は、ストレージデバイス１０４０に記憶されているパーツ画像をランダム或いは所定のルールに従って組み合わせて複数の第１画像を生成するように構成されていてもよい。
図３に戻り、ディスプレイ４０において第１画像が切り替え表示されている間、画像取得部１２０は、第１画像の切り替えタイミングに合わせて、撮像装置３０に撮影指示を送信する（Ｓ１１０）。例えば、図４に例示されるような描画データが送信される場合に、画像取得部１２０は、時刻ｔ０から時刻ｔ１までの間および時刻ｔ１から時刻ｔ２までの間のそれぞれにおいて、少なくとも１回、撮像装置３０に撮影指示を送信する。そして、撮像装置３０は、画像取得部１２０からの撮影指示に応じて撮影動作を実行し、複数の第２画像を生成する（Ｓ１１２）。図４の例によれば、第１画像［１］を背景に商品（物体ＯＢＪ）が写っている第２画像［１］と、第１画像［２］を背景に同商品（同一の物体ＯＢＪ）が写っている第２画像［２］が生成される。そして、画像取得部１２０は、撮像装置３０と通信して、Ｓ１１２で生成された複数の第２画像を取得し、メモリ１０３０やストレージデバイス１０４０といった、所定の記憶装置に記憶する（Ｓ１１４）。
以上、本実施形態の画像収集システム１では、ディスプレイ４０に載置された物体ＯＢＪを撮影する際、ディスプレイ４０の表示面にそれぞれ内容の異なる複数の第１画像が切り替えて表示される。そして、ディスプレイ４０を撮像範囲に含む撮像装置３０により、物体ＯＢＪと複数の第１画像のいずれかとを含む第２画像が複数生成され、所定の記憶装置に記憶される。
上述の構成によれば、様々なシチュエーションに応じた撮影用のセットを人手で作成することなく、様々なシチュエーションでの物体ＯＢＪの画像を容易に生成することができる。例えば、実際に画像認識を行う際に起こり得るシチュエーションの画像をディスプレイ４０上で切り替えて表示させることにより、あたかも、物体ＯＢＪ以外の物体やその他の表示がディスプレイ４０の表示面上に存在するかのような画像を容易に生成することができる。そして、このように生成された複数の第２画像は、物体ＯＢＪを識別する識別器の最適化（学習または評価）用の画像として利用することができる。つまり、本実施形態の画像収集システム１によれば、物体識別エンジンを最適化するための画像として多様な画像を容易に生成できる。言い換えれば、識別器の最適化するための画像の生成効率が向上するため、物体認識に利用される識別器を構築する際の手間を低減させることができる。
［第２実施形態］
本実施形態は、以下の点を除き、第１実施形態と同様である。
〔システム構成例〕
図５は、第２実施形態の画像収集システム１の構成例を示す図である。本実施形態では、画像収集装置１０は、学習部１３０および評価部１４０を更に備える。学習部１３０は、画像取得部１２０により取得された複数の第２画像を用いて、物体識別エンジン（識別器）を生成または更新する。評価部１４０は、画像取得部１２０により取得された複数の第２画像を用いて、物体識別エンジン（識別器）の識別精度を評価する。
〔ハードウエア構成例〕
本実施形態の画像収集システム１は、第１実施形態と同様のハードウエア構成（例：図２）を有する。本実施形態のストレージデバイス１０４０は、上述の学習部１３０および評価部１４０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ１０２０が、これらのプログラムモジュールをメモリ１０３０上に読み出して実行することにより、本実施形態の学習部１３０および評価部１４０の機能が実現される。
〔処理の流れ〕
図６および図７を用いて、本実施形態の画像収集システム１により実行される処理の流れを説明する。図６は、第２実施形態の画像収集システム１により実行される学習処理の流れを例示するフローチャートである。また、図７は、第２実施形態の画像収集システム１により実行される評価処理の流れを例示するフローチャートである。
＜学習処理＞
まず、図６を用いて学習処理の流れについて説明する。
学習部１３０は、図３のＳ１１４で画像取得部１２０により取得された複数の第２画像を、ディスプレイ４０や図示しない別のモニタなどに表示させる（Ｓ２０２）。そして、画像収集システム１を利用するユーザは、ディスプレイ４０や図示しない別のモニタに表示された第２画像を確認して、物体ＯＢＪが何であるかを示す情報（例えば、物体名や物体の識別情報など）および物体ＯＢＪの領域を示す情報を入力する。なお、以下において、物体ＯＢＪが何であるかを示す情報（例えば、物体名や物体の識別情報など）と物体ＯＢＪの領域を示す情報とを組み合わせたものを、「正解情報」と呼ぶ。そして、学習部１３０は、ユーザによって入力された第２画像毎の正解情報を取得する（Ｓ２０４）。そして、学習部１３０は、複数の第２画像のそれぞれと、Ｓ２０４の処理で取得した第２画像毎の正解情報とに基づいて、物体識別エンジンを生成または更新する（Ｓ２０６）。学習部１３０は、物体識別エンジンが未だ生成されていない状態では、複数の第２画像のそれぞれと、Ｓ２０４の処理で取得した第２画像毎の正解情報とに基づいて、物体識別エンジンの物体認識用パラメータを生成する。生成された物体識別エンジンは、例えば、ストレージデバイス１０４０などに記憶される。また、物体識別エンジンが生成されている場合は、学習部１３０は、複数の第２画像のそれぞれと、Ｓ２０４の処理で取得した第２画像毎の正解情報とに基づいて、物体識別エンジンの物体認識用パラメータを更新する。
このように、本実施形態では、第１実施形態で生成された複数の第２画像を用いて、物体識別エンジンを容易に生成および更新することができる。
＜評価処理＞
次に、図７を用いて評価処理の流れについて説明する。評価処理は、評価対象の物体識別エンジンが既に用意されている場合に実行される。
評価部１４０は、図３のＳ１１４で画像取得部１２０により取得された複数の第２画像を、評価対象の物体識別エンジンに入力する（Ｓ３０２）。そして、評価部１４０は、評価対象の物体識別エンジンでの識別結果を、例えば、ディスプレイ４０や図示しない別のモニタなどに表示させる（Ｓ３０４）。そして、画像収集システム１を利用するユーザは、ディスプレイ４０や図示しない別のモニタに表示された識別結果を確認して、複数の第２画像の識別結果の中に誤りがないかを確認する（Ｓ３０６）。識別結果に誤りがない場合（Ｓ３０６：ＮＯ）、以降の処理は実行されない。一方、識別結果に誤りがある場合（Ｓ３０６：ＹＥＳ）、ユーザは、識別結果に誤りのあった第２画像に関する正しい正解情報（修正情報）を入力する。評価部１４０は、ユーザによって入力された修正情報を取得し（Ｓ３０８）、その修正情報を学習部１３０に渡す。学習部１３０は、修正情報に基づいて、物体識別エンジンのパラメータを更新する（Ｓ３１０）。
このように、本実施形態では、第１実施形態で生成された複数の第２画像を用いて、物体識別エンジンの識別精度を評価することができる。また、物体識別エンジンの識別結果に誤りがあった場合に修正情報の入力を受け付けることにより、物体識別エンジンの識別精度を向上させることができる。
［第３実施形態］
本実施形態では、上述の各実施形態の画像収集システム１とは異なる方法で、物体識別エンジンの学習や評価に利用可能な画像を効率的に生成可能とするシステムについて説明する。
〔システム構成例〕
図８は、画像生成システム２の基本的な構成例を示す図である。図８に示されるように、画像生成システム２は、画像生成装置２０、撮像装置３０、およびディスプレイ４０を含んで構成される。画像生成装置２０は、図示しない配線等によって撮像装置３０およびディスプレイ４０と接続されている。なお、撮像装置３０およびディスプレイ４０についての説明は、上述の画像収集システム１と同様であるため、省略する。
図８に例示されるように、本実施形態の画像生成装置２０は、表示制御部２１０、画像取得部２２０、抽出部２３０、および、画像生成部２４０を備える。なお、表示制御部２１０および画像取得部２２０は点線で示されるように、それぞれ、ディスプレイ４０および撮像装置３０と通信を行う。表示制御部２１０は、撮像装置３０がディスプレイ４０の表示面に載置された物体ＯＢＪを撮影する時、当該ディスプレイ４０の表示面に所定の第１画像を表示させる。表示制御部２１０は、特定の１種類の第１画像をディスプレイ４０の表示面に表示させてもよいし、第１実施形態と同様に、ディスプレイ４０の表示面にそれぞれ内容の異なる複数の第１画像を切り替えて表示させてもよい。撮像装置３０は、画像取得部２２０がディスプレイ４０に第１画像を表示している間に物体ＯＢＪを撮影して第２画像を生成する。そして、画像取得部１２０は、撮像装置３０により生成された第２画像を取得する。抽出部２３０は、第２画像から物体ＯＢＪの領域を示す部分画像（以下、「物体領域画像」と表記）を抽出する。なお、抽出部２３０の動作の具体例については、後述する。画像生成部２４０は、抽出部２３０により抽出された物体領域画像を背景画像に合成することにより新たな画像（以下、「第３画像」と表記）を生成し、所定の記憶装置に記憶させる。ここで、所定の記憶装置は、例えば、ハードディスクドライブのような不揮発性の記憶装置であってもよいし、ＲＡＭ（Random Access Memory）のような揮発性の記憶装置であってもよい。
〔ハードウエア構成例〕
画像生成システム２は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、画像生成システム２がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図９は、画像生成システム２のハードウエア構成を例示するブロック図である。
画像生成装置２０は、バス２０１０、プロセッサ２０２０、メモリ２０３０、ストレージデバイス２０４０、入出力インタフェース２０５０、及びネットワークインタフェース２０６０を有する。
バス２０１０は、プロセッサ２０２０、メモリ２０３０、ストレージデバイス２０４０、入出力インタフェース２０５０、及びネットワークインタフェース２０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ２０２０などを互いに接続する方法は、バス接続に限定されない。
プロセッサ２０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
メモリ２０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
ストレージデバイス２０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス２０４０は画像生成装置２０の各機能（表示制御部２１０、画像取得部２２０、抽出部２３０および画像生成部２４０など）を実現するプログラムモジュールを記憶している。プロセッサ２０２０がこれら各プログラムモジュールをメモリ２０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。
入出力インタフェース２０５０は、画像生成装置２０と各種入出力デバイスとを接続するためのインタフェースである。図９では、画像生成装置２０は、撮像装置３０およびディスプレイ４０と入出力インタフェース２０５０を介して接続されている。撮像装置３０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。撮像装置３０は、図示されるように、ディスプレイ４０（およびディスプレイ４０上に載置される物体ＯＢＪ）を撮像範囲に含むように設置される。ディスプレイ４０は、一般的な表示用のデバイスである。なお、ディスプレイ４０は、物体ＯＢＪの載置面としても利用される。そのため、ディスプレイ４０は、好ましくは、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescence）などの平面型ディスプレイである。また、ディスプレイ４０は、ユーザの入力操作を受け付け可能なタッチパネルであってもよい。また、入出力インタフェース２０５０には、マウスやキーボードなど入力装置が更に接続されていてもよい。
ネットワークインタフェース２０６０は、画像生成装置２０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース２０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
図９は、あくまで一例であり、画像生成装置２０のハードウエア構成は図９の例に制限されない。例えば、画像生成装置２０は、ネットワークインタフェース２０６０を介して、撮像装置３０およびディスプレイ４０と接続されていてもよい。また、画像生成装置２０には、その他の装置が接続されていてもよい。例えば、画像生成装置２０が小売店などで利用される場合、画像生成装置２０に、バーコードスキャナ、キャッシャ、ドロワ、自動釣銭機などの業務用の装置が接続されていてもよい。
〔処理の流れ〕
図１０を用いて、本実施形態の画像生成システム２により実行される処理の流れを説明する。図１０は、第３実施形態の画像生成システム２の処理の流れを例示するシーケンス図である。なお、本図の例では、物体ＯＢＪが小売店等の店舗で販売される商品である場合の流れを例示する。
まず、画像生成システム２を利用するユーザは、物体識別エンジンの学習対象である商品（物体ＯＢＪ）をディスプレイ４０上の任意の位置に載置する（Ｓ４０２）。その後、ユーザは画像生成装置２０に対して処理の実行を指示し、画像生成装置２０がその指示を受信する（Ｓ４０４）。例えば、ユーザは、タッチパネル式のディスプレイ４０や、入出力インタフェース２０５０に接続されたマウスやキーボードなどの入出力装置を操作して、画像生成装置２０に対して処理の実行指示を行うことができる。
Ｓ４０４の指示に応じて、表示制御部２１０および画像取得部２２０は、それぞれ動作を開始する。
表示制御部２１０は、所定の第１画像の描画データをディスプレイ４０に送信する（Ｓ４０６）。所定の第１画像の描画データは、例えば、ストレージデバイス２０４０などに記憶されており、表示制御部２１０は、ストレージデバイス２０４０などから所定の第１画像の描画データを読み出すことができる。そして、ディスプレイ４０は、表示制御部２１０から受信した描画データに基づいて、当該第１画像を表示する（Ｓ４０８）。
ディスプレイ４０において第１画像が表示されている間に、画像取得部２２０は、撮像装置３０に撮影指示を送信する（Ｓ４１０）。そして、撮像装置３０は、画像取得部２２０からの撮影指示に応じて撮影動作を実行し、所定の第１画像を背景に商品（物体ＯＢＪ）が写っている第２画像を生成する（Ｓ４１２）。そして、画像取得部２２０は、撮像装置３０と通信して、Ｓ４１２で生成された第２画像を取得する。
そして、抽出部２３０は、第２画像から商品（物体ＯＢＪ）の領域を示す物体領域画像を抽出する（Ｓ４１４）。以下、図を用いて、第２画像から物体領域画像を抽出する具体的な手法をいくつか例示する。
＜第１の手法＞
図１１は、第２画像から物体領域画像を抽出する第１の手法の例示する図である。図１１の手法では、表示制御部２１０は、それぞれ互いに内容の異なる複数の第１画像として、それぞれ互いに色の異なる無地の画像をディスプレイ４０に表示させる。図１１では、それぞれ、赤（図中斜線部）、白（図中無地部）、青（図中縦線部）を地色とする３枚の第１画像（１ａ〜１ｃ）を用いる例が示されている。これらの画像は、例えば、ストレージデバイス２０４０に記憶されている。なお、図１１はあくまで例示であり、第１画像の色の組み合わせや色の数は図１１の例に制限されない。この場合、画像取得部２２０は、赤色の第１画像（１ａ）を背景に商品（物体ＯＢＪ）が写っている第２画像（２ａ）と、白色の第１画像（１ｂ）を背景に商品が写っている第２画像（２ｂ）と、青色の第１画像（１ｃ）を背景に商品が写っている第２画像（２ｃ）を取得することができる。ここで、商品（物体ＯＢＪ）はディスプレイ４０の表示面上に載置されている。そのため３枚の第２画像（２ａ〜２ｃ）を比べた場合、商品の載置されている領域については、ディスプレイ４０の表示面のよりも色の変化が明らかに小さくなる。すなわち、複数の第２画像をそれぞれ比較した場合、商品が載置されている領域の輝度の変化量は、それ以外の領域（すなわち、ディスプレイ４０の表示面）の輝度の変化量よりも明らかに小さくなる。よって、抽出部２３０は、複数の第２画像間での輝度の変化量を利用して、物体領域画像を抽出することができる。具体的には、抽出部２３０は、まず、３枚の第２画像（２ａ〜２ｃ）それぞれの各ピクセルについて輝度の分散値を算出する。次に、抽出部２３０は、所定の閾値を用いて、３枚の第２画像（２ａ〜２ｃ）間で輝度の分散値が当該閾値を超えているピクセルの集合領域（背景領域）と、輝度の変化量が当該閾値未満のピクセルの集合領域（前景領域、すなわち、商品の領域）と、をそれぞれ特定する。この所定の閾値は、例えば、抽出部２３０のプログラムモジュール内で定義されている。次に、抽出部２３０は、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ１を生成する。そして、抽出部２３０は、生成したマスク画像Ｍ１を用いて、第２画像から商品（物体ＯＢＪ）の領域を示す物体領域画像Ｐ１を抽出する。抽出部２３０は、生成したマスク画像Ｍ１および抽出した商品（物体ＯＢＪ）の物体領域画像Ｐ１を、その商品（物体ＯＢＪ）を識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス２０４０や他の記憶装置などに記憶する。
＜第２の手法＞
図１２は、第２画像から物体領域画像を抽出する第２の手法を例示する図である。図１２の手法では、表示制御部２１０は、所定の第１画像として、既知の背景画像（１ｄ）をディスプレイ４０に表示させる。既知の背景画像（１ｄ）は、例えば、ストレージデバイス２０４０に記憶されている。既知の背景画像（１ｄ）を表示させたディスプレイ４０上に商品（物体ＯＢＪ）を載置した後で撮像装置３０が撮影を行うことにより、画像取得部２２０は、図示するような第２画像（２ｄ）を取得することができる。ここで、商品（物体ＯＢＪ）はディスプレイ４０の表示面上に載置されている。そのため、第２画像（２ｄ）において、既知の背景画像（１ｄ）の一部領域は商品（物体ＯＢＪ）で隠されることになる。つまり、抽出部２３０は、第２画像（２ｄ）のうち、既知の背景画像（１ｄ）と異なるピクセルの集合領域を、商品の領域として特定することができる。また、抽出部２３０は、第２画像（２ｄ）のうち、既知の背景画像（１ｄ）と等しいピクセルの集合領域を背景領域として特定することができる。そして、抽出部２３０は、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ２を生成する。そして、抽出部２３０は、生成したマスク画像Ｍ２を用いて、第２画像から商品（物体ＯＢＪ）の領域を示す物体領域画像Ｐ２を抽出する。抽出部２３０は、生成したマスク画像Ｍ２および抽出した商品（物体ＯＢＪ）の物体領域画像Ｐ２を、その商品（物体ＯＢＪ）を識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス２０４０や他の記憶装置などに記憶する。
第２の手法は、第１の手法と異なり、既知の画像の模様のズレなどを活用し、商品（物体ＯＢＪ）の領域を特定している。そのため、ディスプレイ４０上に載置された商品が透明な物体（例えば、ペットボトル飲料など）であっても、商品（物体ＯＢＪ）の領域を精度よく特定することができる。なお、第２の手法において、抽出部２３０は、複数の既知の画像を利用してもよい。この場合、抽出部２３０は、複数の既知の画像それぞれについて異なるピクセルの集合領域を特定した結果に基づいて、商品（物体ＯＢＪ）の領域を特定することができる。
＜第３の手法＞
図１３は、第２画像から物体領域画像を抽出する第３の手法の例示する図である。図１３の手法では、表示制御部２１０は、所定の第１画像として、既知の背景画像（１ｅ）をディスプレイ４０に表示させる。なお、第３の手法は、既知の背景画像として無地の画像を用いている点で、第２の手法とは異なる。既知の背景画像（１ｅ）は、例えば、ストレージデバイス２０４０に記憶されている。既知の背景画像（１ｅ）を表示させたディスプレイ４０上に商品（物体ＯＢＪ）を載置した後で撮像装置３０が撮影を行うことにより、画像取得部２２０は、図示するような第２画像（２ｅ）を取得することができる。ここで、商品（物体ＯＢＪ）はディスプレイ４０の表示面上に載置されている。そのため、第２画像（２ｅ）において、既知の背景画像（１ｅ）の一部領域は商品（物体ＯＢＪ）で隠されることになる。更に、既知の背景画像（１ｅ）が無地であることから、抽出部２３０は、第２画像（２ｅ）のうち、既知の背景画像（１ｅ）と色の異なるピクセルの集合領域を、商品の領域として特定することができる。また、抽出部２３０は、第２画像（２ｅ）のうち、既知の背景画像（１ｅ）と同色のピクセルの集合領域を背景領域として特定することができる。そして、抽出部２３０は、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ３を生成する。そして、抽出部２３０は、生成したマスク画像Ｍ３を用いて、第２画像から商品（物体ＯＢＪ）の領域を示す物体領域画像Ｐ３を抽出する。抽出部２３０は、生成したマスク画像Ｍ３および抽出した商品（物体ＯＢＪ）の物体領域画像Ｐ３を、その商品（物体ＯＢＪ）を識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス２０４０や他の記憶装置などに記憶する。
第３の手法は、背景画像の色に基づいて、商品（物体ＯＢＪ）の領域を抽出している。そのため、第３の手法は、輝度の分散値を利用する第１の手法とは異なり、半透明な商品にも対応可能である。
なお、第３の手法において、既知の背景画像はそれぞれ色の異なる複数の画像であってもよい（例：図１４）。図１４は、第３の手法の他の例を示す図である。図１４では、それぞれ、赤色（図中斜線部Ｒ）、白色（図中無地部Ｗ）、青色（図中縦線部Ｂ）を有する既知の３枚の背景画像（１ｆ）が例示されている。なお、本図の例において、商品（物体ＯＢＪ）のパッケージの色が赤色であり、かつ、商品（物体ＯＢＪ）には白色のラベルＬが貼り付けられているとする。この場合、抽出部２３０は、図１３で説明した流れと同様にして、赤、白、青のそれぞれについて、マスク画像（色別マスク画像ＭＲ、ＭＷ、ＭＢ）を生成することができる。なお、色別マスク画像ＭＲは、赤色の領域をマスクする画像である。また、色別マスク画像ＭＷは、白色の領域をマスクする画像である。また、色別マスク画像ＭＢは、青色の領域をマスクする画像である。図示されるように、色別マスク画像ＭＲは、商品のパッケージ部分（白色のラベルＬの領域を除く赤色の領域）をマスク領域に含んでしまっている。また、色別マスク画像ＭＷは、商品に貼り付けられた白色のラベルＬの領域をマスク領域に含んでしまっている。このような場合において、抽出部２３０は、例えばこれらの色別マスク画像ＭＲ、ＭＷ、ＭＢのマスク領域の論理積から、最終的なマスク画像Ｍ３’を生成することができる。そして、抽出部２３０は、生成したマスク画像Ｍ３’を用いて、第２画像から商品（物体ＯＢＪ）の領域を示す物体領域画像を抽出することができる。このようにすることで、例えば、商品の少なくとも一部の色が背景画像の色と偶然同じであった場合であっても、商品の領域を正確に抽出するマスク画像を生成することができる。
＜第４の手法＞
図１５は、第２画像から物体領域画像を抽出する第４の手法を例示する図である。図１５の手法では、表示制御部２１０は、所定の第１画像として、動画（１ｇ）をディスプレイ４０に表示させる。なお、図１５では、２つの図形（円と三角形）が時間と共に移動する動画（１ｇ）が例示されている。なお、表示制御部２１０は、図１５の例に限らず、任意の動画を表示させることができる。この場合、画像取得部２２０は、例えば、図中の符号２ｇで示すような、複数の第２画像を取得することができる。ここで、商品（物体ＯＢＪ）はディスプレイ４０の表示面上に載置されている。そのため、第２画像（２ｇ）において、動画（１ｇ）の中で移動する図形の少なくとも一部が、商品（物体ＯＢＪ）により隠されることがある（例：２ｇ（２））。つまり、複数の第２画像において、商品（物体ＯＢＪ）が載置されている領域は、背景の動画部分と比較して動きが小さくなる。よって、抽出部２３０は、複数の第２画像において、動きの少ないピクセルの集合領域（継続して止まっている物体の領域）を、商品の領域として特定することができる。具体的には、抽出部２３０は、オプティカルフローや背景差分などを用いて、商品の領域を特定することができる。また、抽出部２３０は、一定以上の動きのあるピクセルの集合領域を背景領域として特定することができる。そして、上記のように特定した結果を用いて、背景領域をマスクするマスク画像Ｍ４を生成する。そして、抽出部２３０は、生成したマスク画像Ｍ４を用いて、第２画像から商品（物体ＯＢＪ）の領域を示す物体領域画像Ｐ４を抽出する。抽出部２３０は、生成したマスク画像Ｍ４および抽出した商品（物体ＯＢＪ）の物体領域画像Ｐ４を、その商品（物体ＯＢＪ）を識別する情報（例えば、商品名や商品識別番号など）と対応付けて、ストレージデバイス２０４０や他の記憶装置などに記憶する。
なお、上述の各手法おいて、複数の物体が同時にディスプレイ４０上に載置された場合、抽出部２３０は、次のようにして、個々の物体毎にマスク画像と当該物体の物体領域画像を記憶装置に記憶することができる。具体的には、抽出部２３０は、まず、得られたマスク画像を連結成分分析などによって個々の領域に分割し、物体毎のマスク画像を生成する。そして、抽出部２３０は、物体毎のマスク画像と、マスク画像によって抽出される物体の物体領域画像とを、その物体を識別する情報と対応付けて記憶装置に記憶する。
また、抽出部２３０は、物体領域画像の代わりに、画像取得部２２０により取得された第２画像を記憶装置に記憶してもよい。この場合でも、記憶装置に記憶された第２画像とマスク画像とを利用することにより、対象の物体の物体領域画像を必要に応じて生成することができる。
図１０に戻り、画像生成部２４０は、Ｓ４１４の処理で抽出された物体領域画像を背景画像に合成して、新たな画像（第３画像）を生成する（Ｓ４１６）。なお、画像生成部２４０は、Ｓ４１４の処理で抽出された物体領域画像のほか、過去の処理で抽出された他の物体の物体領域画像を使って、第３画像を生成してもよい。過去の処理で抽出された他の物体の物体領域画像は、例えば、ストレージデバイス２０４０に蓄積されている。この場合、画像生成部２４０は、ユーザの選択入力または予め設定されたルールに従って、ストレージデバイス２０４０から読み出す物体領域画像を選択することができる。また、画像生成部２４０は、合成する物体領域画像の種類や個数をランダムに選択してもよい。
図１６を用いて、画像生成部２４０の動作を具体的に説明する。図１６は、画像生成部２４０の動作を具体的に例示する図である。図１６の例では、２つの物体（商品Ａおよび商品Ｂ）の第２画像２Ａおよび２Ｂから、それぞれ、商品Ａの物体領域画像ＰＡおよび商品Ｂの物体領域画像ＰＢが生成された場合を想定している。この場合、画像生成部２４０は、商品Ａの物体領域画像ＰＡおよび商品Ｂの物体領域画像ＰＢを背景画像に合成して、例えば、符号３で示すような第３画像を生成することができる。図示されるように、画像生成部２４０は、商品Ａの物体領域画像ＰＡおよび商品Ｂの物体領域画像ＰＢを加工（回転、移動など）することができる。また、画像生成部２４０は、商品Ａの物体領域画像ＰＡおよび商品Ｂの物体領域画像ＰＢの配置数を決定することができる。画像生成部２４０は、ユーザの指定入力や所定のルールに従って、あるいは、全くのランダムに、加工の仕方や配置数を決定することができる。また、画像生成部２４０は、第３画像の生成時に背景画像に合成した物体領域画像のリストを生成する。このリストは、例えば、背景画像内での位置座標と、物体の名称や識別番号といった商品を示す情報とを、背景画像に合成した物体領域画像毎に記憶している。つまり、このリストは、第３画像において、どの物体がどの位置に存在するかを示す情報として利用できる。
画像生成部２４０は、上述のように生成した第３画像を、メモリ２０３０やストレージデバイス２０４０といった、所定の記憶装置に記憶する（Ｓ４１８）。このとき、画像生成部２４０は、第３画像とリストとを対応付けて記憶する。このように、本実施形態の画像生成部２４０は、物体領域画像を用いて、様々なシチュエーションに則した画像を無数に作成することができる。
以上、本実施形態の画像生成システム２では、ディスプレイ４０に載置された物体ＯＢＪを撮影する際、ディスプレイ４０の表示面に第１画像を表示することによって、物体ＯＢＪと第１画像とを含む第２画像が生成される。そして、第１画像を表示するディスプレイ４０上に物体ＯＢＪを載置していることで第２画像に生じる特性に基づいて、第２画像からその物体ＯＢＪの領域を示す物体領域画像が抽出される。そして、抽出された物体領域画像を背景画像に合成することにより、第３画像が生成される。
本実施形態の画像生成システム２によれば、抽出された物体領域画像を用いて、物体識別エンジン（識別器）の学習または評価用の画像として、無数のパターンの第３画像を容易に生成することが可能となる。つまり、本実施形態の画像生成システム２によれば、識別器の最適化するための画像の生成効率が向上するため、物体認識に利用される識別器を構築する際の手間を低減させることができる。
［第４実施形態］
本実施形態は、以下の点を除き、第３実施形態と同様である。
〔システム構成例〕
図１７は、第４実施形態の画像生成システム２の構成例を示す図である。本実施形態では、画像収集装置１０は、学習部２５０および評価部２６０を更に備える。学習部２５０は、画像生成部２４０により生成された第３画像を用いて、物体識別エンジン（識別器）を生成または更新する。評価部２６０は、画像生成部２４０により生成された第３画像を用いて、物体識別エンジン（識別器）の識別精度を評価する。
〔ハードウエア構成例〕
本実施形態の画像生成システム２は、第３実施形態と同様のハードウエア構成（例：図９）を有する。本実施形態のストレージデバイス２０４０は、上述の学習部２５０および評価部２６０の機能を実現するプログラムモジュールを更に記憶している。プロセッサ２０２０が、これらのプログラムモジュールをメモリ２０３０上に読み出して実行することにより、本実施形態の学習部２５０および評価部２６０の機能が実現される。
〔処理の流れ〕
本実施形態の学習部２５０および評価部２６０は、画像生成部２４０により生成された第３画像を用いる点を除き、第２実施形態の学習部１３０および評価部１４０と同様に動作する（例：図６、図７）。
以上、本実施形態では、第３実施形態で生成された第３画像を用いて、物体識別エンジンの識別精度を評価することができる。また、物体識別エンジンの識別結果に誤りがあった場合に修正情報の入力を受け付けることにより、物体識別エンジンの識別精度を向上させることができる。
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
また、上述の説明で用いた複数のシーケンス図やフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
を備える画像収集装置。
２．
前記画像取得手段は、前記複数の第２画像を、前記物体を識別する識別器の学習用または評価用の画像として取得する、
１．に記載の画像収集装置。
３．
前記複数の第２画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
２．に記載の画像収集装置。
４．
前記複数の第２画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
２．または３．に記載の画像収集装置。
５．
前記物体は商品である、
１．から４．のいずれか１つに記載の画像収集装置。
６．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
１．から５．のいずれか１つに記載の画像収集装置。
７．
表示面が物体の載置面として利用されるディスプレイと、
前記ディスプレイの表示面に載置された物体を撮影する撮像装置と、
前記物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
を備える画像収集システム。
８．
前記画像取得手段は、前記複数の第２画像を、前記物体を識別する識別器の学習用または評価用の画像として取得する、
７．に記載の画像収集システム。
９．
前記複数の第２画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
８．に記載の画像収集システム。
１０．
前記複数の第２画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
８．または９．に記載の画像収集システム。
１１．
前記物体は商品である、
７．から１０．のいずれか１つに記載の画像収集システム。
１２．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
７．から１１．のいずれか１つに記載の画像収集システム。
１３．
コンピュータが、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させ、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる、
ことを含む画像収集方法。
１４．
前記コンピュータが、
前記複数の第２画像を、前記物体を識別する識別器の学習用または評価用の画像として取得する、
ことを含む１３．に記載の画像収集方法。
１５．
前記コンピュータが、
前記複数の第２画像を用いて、前記識別器を生成または更新する、
ことを含む１４．に記載の画像収集方法。
１６．
前記コンピュータが、
前記複数の第２画像を用いて、前記識別器の識別精度を評価する、
ことを含む１４．または１５．に記載の画像収集方法。
１７．
前記物体は商品である、
１３．から１６．のいずれか１つに記載の画像収集方法。
１８．
前記コンピュータが、
前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
ことを含む１３．から１７．のいずれか１つに記載の画像収集方法。
１９．
コンピュータに、１３．から１８．のいずれか１つに記載の画像収集方法を実行させるプログラム。
２０．
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
を備える画像生成装置。
２１．
前記画像生成手段は、前記物体を識別する識別器の学習用または評価用の画像として、前記第３画像を生成する、
２０．に記載の画像生成装置。
２２．
前記学習用または評価用の画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
２１．に記載の画像生成装置。
２３．
前記学習用または評価用の画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
２１．または２２．に記載の画像生成装置。
２４．
前記物体は商品である、
２０．から２３．のいずれか１つに記載の画像生成装置。
２５．
前記表示制御手段は、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる、
２０．から２４．のいずれか１つに記載の画像生成装置。
２６．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
２５．に記載の画像生成装置。
２７．
前記表示制御手段は、前記複数の第１画像として、動画を表示させる、
２５．に記載の画像生成装置。
２８．
表示面が物体の載置面として利用されるディスプレイと、
前記ディスプレイの表示面上に載置された物体を撮影する撮像装置と、
前記物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
を備える画像生成システム。
２９．
前記画像生成手段は、前記物体を識別する識別器の学習用または評価用の画像として、前記第３画像を生成する、
２８．に記載の画像生成システム。
３０．
前記学習用または評価用の画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
２９．に記載の画像生成システム。
３１．
前記学習用または評価用の画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
２９．または３０．に記載の画像生成システム。
３２．
前記物体は商品である、
２８．から３１．のいずれか１つに記載の画像生成システム。
３３．
前記表示制御手段は、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる、
２８．から３２．のいずれか１つに記載の画像生成システム。
３４．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
３３．に記載の画像生成システム。
３５．
前記表示制御手段は、前記複数の第１画像として、動画を表示させる、
３３．に記載の画像生成システム。
３６．
コンピュータが、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させ、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得し、
前記第２画像から前記物体の領域を示す物体領域画像を抽出し、
前記物体領域画像を他の背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる、
ことを含む画像生成方法。
３７．
前記コンピュータが、
前記物体を識別する識別器の学習用または評価用の画像として、前記第３画像を生成する、
ことを含む３６．に記載の画像生成装置。
３８．
前記コンピュータが、
前記学習用または評価用の画像を用いて、前記識別器を生成または更新する、
ことを含む３７．に記載の画像生成装置。
３９．
前記コンピュータが、
前記学習用または評価用の画像を用いて、前記識別器の識別精度を評価する、
ことを含む３７．または３８．に記載の画像生成装置。
４０．
前記物体は商品である、
３６．から３９．のいずれか１つに記載の画像生成装置。
４１．
前記コンピュータが、
前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる、
ことを含む３６．から４０．のいずれか１つに記載の画像生成装置。
４２．
前記コンピュータが、
前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
ことを含む４１．に記載の画像生成装置。
４３．
前記コンピュータが、
前記複数の第１画像として、動画を表示させる、
ことを含む４１．に記載の画像生成装置。
４４．
コンピュータに、３６．から４３．のいずれか１つに記載の画像生成方法を実行させるプログラム。
図８に例示されるように、本実施形態の画像生成装置２０は、表示制御部２１０、画像取得部２２０、抽出部２３０、および、画像生成部２４０を備える。なお、表示制御部２１０および画像取得部２２０は点線で示されるように、それぞれ、ディスプレイ４０および撮像装置３０と通信を行う。表示制御部２１０は、撮像装置３０がディスプレイ４０の表示面に載置された物体ＯＢＪを撮影する時、当該ディスプレイ４０の表示面に所定の第１画像を表示させる。表示制御部２１０は、特定の１種類の第１画像をディスプレイ４０の表示面に表示させてもよいし、第１実施形態と同様に、ディスプレイ４０の表示面にそれぞれ内容の異なる複数の第１画像を切り替えて表示させてもよい。撮像装置３０は、画像取得部２２０がディスプレイ４０に第１画像を表示している間に物体ＯＢＪを撮影して第２画像を生成する。そして、画像取得部２２０は、撮像装置３０により生成された第２画像を取得する。抽出部２３０は、第２画像から物体ＯＢＪの領域を示す部分画像（以下、「物体領域画像」と表記）を抽出する。なお、抽出部２３０の動作の具体例については、後述する。画像生成部２４０は、抽出部２３０により抽出された物体領域画像を背景画像に合成することにより新たな画像（以下、「第３画像」と表記）を生成し、所定の記憶装置に記憶させる。ここで、所定の記憶装置は、例えば、ハードディスクドライブのような不揮発性の記憶装置であってもよいし、ＲＡＭ（Random Access Memory）のような揮発性の記憶装置であってもよい。
〔システム構成例〕
図１７は、第４実施形態の画像生成システム２の構成例を示す図である。本実施形態では、画像生成装置２０は、学習部２５０および評価部２６０を更に備える。学習部２５０は、画像生成部２４０により生成された第３画像を用いて、物体識別エンジン（識別器）を生成または更新する。評価部２６０は、画像生成部２４０により生成された第３画像を用いて、物体識別エンジン（識別器）の識別精度を評価する。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
を備える画像収集装置。
２．
前記画像取得手段は、前記複数の第２画像を、前記物体を識別する識別器の学習用または評価用の画像として取得する、
１．に記載の画像収集装置。
３．
前記複数の第２画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
２．に記載の画像収集装置。
４．
前記複数の第２画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
２．または３．に記載の画像収集装置。
５．
前記物体は商品である、
１．から４．のいずれか１つに記載の画像収集装置。
６．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
１．から５．のいずれか１つに記載の画像収集装置。
７．
表示面が物体の載置面として利用されるディスプレイと、
前記ディスプレイの表示面に載置された物体を撮影する撮像装置と、
前記物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
を備える画像収集システム。
８．
前記画像取得手段は、前記複数の第２画像を、前記物体を識別する識別器の学習用または評価用の画像として取得する、
７．に記載の画像収集システム。
９．
前記複数の第２画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
８．に記載の画像収集システム。
１０．
前記複数の第２画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
８．または９．に記載の画像収集システム。
１１．
前記物体は商品である、
７．から１０．のいずれか１つに記載の画像収集システム。
１２．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
７．から１１．のいずれか１つに記載の画像収集システム。
１３．
コンピュータが、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させ、
前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる、
ことを含む画像収集方法。
１４．
前記コンピュータが、
前記複数の第２画像を、前記物体を識別する識別器の学習用または評価用の画像として取得する、
ことを含む１３．に記載の画像収集方法。
１５．
前記コンピュータが、
前記複数の第２画像を用いて、前記識別器を生成または更新する、
ことを含む１４．に記載の画像収集方法。
１６．
前記コンピュータが、
前記複数の第２画像を用いて、前記識別器の識別精度を評価する、
ことを含む１４．または１５．に記載の画像収集方法。
１７．
前記物体は商品である、
１３．から１６．のいずれか１つに記載の画像収集方法。
１８．
前記コンピュータが、
前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
ことを含む１３．から１７．のいずれか１つに記載の画像収集方法。
１９．
コンピュータに、１３．から１８．のいずれか１つに記載の画像収集方法を実行させるプログラム。
２０．
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
を備える画像生成装置。
２１．
前記画像生成手段は、前記物体を識別する識別器の学習用または評価用の画像として、前記第３画像を生成する、
２０．に記載の画像生成装置。
２２．
前記学習用または評価用の画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
２１．に記載の画像生成装置。
２３．
前記学習用または評価用の画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
２１．または２２．に記載の画像生成装置。
２４．
前記物体は商品である、
２０．から２３．のいずれか１つに記載の画像生成装置。
２５．
前記表示制御手段は、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる、
２０．から２４．のいずれか１つに記載の画像生成装置。
２６．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
２５．に記載の画像生成装置。
２７．
前記表示制御手段は、前記複数の第１画像として、動画を表示させる、
２５．に記載の画像生成装置。
２８．
表示面が物体の載置面として利用されるディスプレイと、
前記ディスプレイの表示面上に載置された物体を撮影する撮像装置と、
前記物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
を備える画像生成システム。
２９．
前記画像生成手段は、前記物体を識別する識別器の学習用または評価用の画像として、前記第３画像を生成する、
２８．に記載の画像生成システム。
３０．
前記学習用または評価用の画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
２９．に記載の画像生成システム。
３１．
前記学習用または評価用の画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
２９．または３０．に記載の画像生成システム。
３２．
前記物体は商品である、
２８．から３１．のいずれか１つに記載の画像生成システム。
３３．
前記表示制御手段は、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる、
２８．から３２．のいずれか１つに記載の画像生成システム。
３４．
前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
３３．に記載の画像生成システム。
３５．
前記表示制御手段は、前記複数の第１画像として、動画を表示させる、
３３．に記載の画像生成システム。
３６．
コンピュータが、
ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させ、
前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得し、
前記第２画像から前記物体の領域を示す物体領域画像を抽出し、
前記物体領域画像を他の背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる、
ことを含む画像生成方法。
３７．
前記コンピュータが、
前記物体を識別する識別器の学習用または評価用の画像として、前記第３画像を生成する、
ことを含む３６．に記載の画像生成方法。
３８．
前記コンピュータが、
前記学習用または評価用の画像を用いて、前記識別器を生成または更新する、
ことを含む３７．に記載の画像生成方法。
３９．
前記コンピュータが、
前記学習用または評価用の画像を用いて、前記識別器の識別精度を評価する、
ことを含む３７．または３８．に記載の画像生成方法。
４０．
前記物体は商品である、
３６．から３９．のいずれか１つに記載の画像生成方法。
４１．
前記コンピュータが、
前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる、
ことを含む３６．から４０．のいずれか１つに記載の画像生成方法。
４２．
前記コンピュータが、
前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
ことを含む４１．に記載の画像生成方法。
４３．
前記コンピュータが、
前記複数の第１画像として、動画を表示させる、
ことを含む４１．に記載の画像生成方法。
４４．
コンピュータに、３６．から４３．のいずれか１つに記載の画像生成方法を実行させるプログラム。

Claims (20)

  1. ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
    前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
    を備える画像収集装置。
  2. 前記画像取得手段は、前記複数の第２画像を、前記物体を識別する識別器の学習用または評価用の画像として取得する、
    請求項１に記載の画像収集装置。
  3. 前記複数の第２画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
    請求項２に記載の画像収集装置。
  4. 前記複数の第２画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
    請求項２または３に記載の画像収集装置。
  5. 前記物体は商品である、
    請求項１から４のいずれか１項に記載の画像収集装置。
  6. 前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
    請求項１から５のいずれか１項に記載の画像収集装置。
  7. 表示面が物体の載置面として利用されるディスプレイと、
    前記ディスプレイの表示面に載置された物体を撮影する撮像装置と、
    前記物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる表示制御手段と、
    前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる画像取得手段と、
    を備える画像収集システム。
  8. コンピュータが、
    ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させ、
    前記複数の第１画像を切り替えて表示している間に前記ディスプレイの表示面上の前記物体を撮影することにより生成される、複数の第２画像を取得して記憶装置に記憶させる、
    ことを含む画像収集方法。
  9. コンピュータに、請求項８に記載の画像収集方法を実行させるプログラム。
  10. ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
    前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
    前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
    前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
    を備える画像生成装置。
  11. 前記画像生成手段は、前記物体を識別する識別器の学習用または評価用の画像として、前記第３画像を生成する、
    請求項１０に記載の画像生成装置。
  12. 前記学習用または評価用の画像を用いて、前記識別器を生成または更新する学習手段を更に備える、
    請求項１１に記載の画像生成装置。
  13. 前記学習用または評価用の画像を用いて、前記識別器の識別精度を評価する評価手段を更に備える、
    請求項１１または１２に記載の画像生成装置。
  14. 前記物体は商品である、
    請求項１０から１３のいずれか１項に記載の画像生成装置。
  15. 前記表示制御手段は、前記ディスプレイの表示面に、それぞれ内容の異なる複数の第１画像を切り替えて表示させる、
    請求項１０から１４のいずれか１項に記載の画像生成装置。
  16. 前記表示制御手段は、前記複数の第１画像として、それぞれ互いに色の異なる無地の画像を表示させる、
    請求項１５に記載の画像生成装置。
  17. 前記表示制御手段は、前記複数の第１画像として、動画を表示させる、
    請求項１５に記載の画像生成装置。
  18. 表示面が物体の載置面として利用されるディスプレイと、
    前記ディスプレイの表示面上に載置された物体を撮影する撮像装置と、
    前記物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させる表示制御手段と、
    前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得する画像取得手段と、
    前記第２画像から前記物体の領域を示す物体領域画像を抽出する抽出手段と、
    前記物体領域画像を背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる画像生成手段と、
    を備える画像生成システム。
  19. コンピュータが、
    ディスプレイの表示面上に載置された物体の撮影時に、前記ディスプレイの表示面に所定の第１画像を表示させ、
    前記第１画像の表示中に前記ディスプレイの表示面上の物体を撮影することにより生成される第２画像を取得し、
    前記第２画像から前記物体の領域を示す物体領域画像を抽出し、
    前記物体領域画像を他の背景画像に合成することにより第３画像を生成し、前記第３画像を記憶装置に記憶させる、
    ことを含む画像生成方法。
  20. コンピュータに、請求項１９に記載の画像生成方法を実行させるプログラム。
JP2020502773A 2018-03-02 2018-03-02 画像収集装置、画像収集システム、画像収集方法、およびプログラム Active JP7501907B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/008144 WO2019167277A1 (ja) 2018-03-02 2018-03-02 画像収集装置、画像収集システム、画像収集方法、画像生成装置、画像生成システム、画像生成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019167277A1 true JPWO2019167277A1 (ja) 2021-02-12
JP7501907B2 JP7501907B2 (ja) 2024-06-18

Family

ID=67806051

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502773A Active JP7501907B2 (ja) 2018-03-02 2018-03-02 画像収集装置、画像収集システム、画像収集方法、およびプログラム

Country Status (3)

Country Link
US (1) US11461585B2 (ja)
JP (1) JP7501907B2 (ja)
WO (1) WO2019167277A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234061A1 (ja) * 2022-05-31 2023-12-07 京セラ株式会社 データ取得装置、データ取得方法、及びデータ取得台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337152A (ja) * 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体
JP2008097191A (ja) * 2006-10-10 2008-04-24 Fujifilm Corp 画像合成システム
JP2010213124A (ja) * 2009-03-11 2010-09-24 Nippon Telegr & Teleph Corp <Ntt> 画像撮影・表示方法、画像撮影・表示装置、プログラムおよび記録媒体
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
JP2016181068A (ja) * 2015-03-24 2016-10-13 株式会社明電舎 学習サンプル撮影装置
JP2017120672A (ja) * 2017-04-07 2017-07-06 キヤノン株式会社 画像処理装置および画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ212499A0 (en) 1999-08-10 1999-09-02 Ajax Cooke Pty Ltd Item recognition method and apparatus
JP6555866B2 (ja) 2014-09-22 2019-08-07 カシオ計算機株式会社 商品登録装置及びプログラム
JP2017167662A (ja) 2016-03-14 2017-09-21 富士通株式会社 自動金銭登録機における待ち時間を計算するシステム、待ち時間計算装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337152A (ja) * 2005-06-01 2006-12-14 Sharp Corp 教示用画像生成方法および装置、画像処理アルゴリズム生成方法および装置、画像検査方法および装置、プログラムならびに記録媒体
JP2008097191A (ja) * 2006-10-10 2008-04-24 Fujifilm Corp 画像合成システム
JP2010213124A (ja) * 2009-03-11 2010-09-24 Nippon Telegr & Teleph Corp <Ntt> 画像撮影・表示方法、画像撮影・表示装置、プログラムおよび記録媒体
JP2014178957A (ja) * 2013-03-15 2014-09-25 Nec Corp 学習データ生成装置、学習データ作成システム、方法およびプログラム
JP2016181068A (ja) * 2015-03-24 2016-10-13 株式会社明電舎 学習サンプル撮影装置
JP2017120672A (ja) * 2017-04-07 2017-07-06 キヤノン株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2019167277A1 (ja) 2019-09-06
US11461585B2 (en) 2022-10-04
JP7501907B2 (ja) 2024-06-18
US20210042571A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
JP4990211B2 (ja) 光学ナビゲーションのために画像データのフレーム内の特徴クラスタにラベル付けするシステムおよび方法
CN105283905B (zh) 使用点和线特征的稳健跟踪
US11579904B2 (en) Learning data collection device, learning data collection system, and learning data collection method
US10929078B2 (en) Electronic apparatus for generating screen image to be displayed by display apparatus and control method thereof
JP2008015706A (ja) 画像処理装置
JP2019525365A (ja) コンピュータプログラムを生成するデバイス及びコンピュータプログラムを生成する方法
JP4648958B2 (ja) 画像フレームのデータにおいてクラスタピクセルを特定してラベル付けする光学ナビゲーションのためのシステム及び方法
CN101946519A (zh) 图像处理装置、成像装置、校正系数计算方法以及图像处理程序
AU2016225841A1 (en) Predicting accuracy of object recognition in a stitched image
CN110084765A (zh) 一种图像处理方法、图像处理装置及终端设备
JP4848521B2 (ja) プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム
JP6927015B2 (ja) 画像処理システムおよび画像処理方法
CN103516989B (zh) 电子装置及增强图像分辨率的方法
JPWO2019167277A1 (ja) 画像収集装置、画像収集システム、画像収集方法、画像生成装置、画像生成システム、画像生成方法、およびプログラム
JP6947283B2 (ja) 店舗装置、店舗システム、画像取得方法、およびプログラム
JP2000081950A (ja) 画像処理装置、画像処理方法、及び提供媒体、並びにプレゼンテーションシステム
WO2021060165A1 (ja) 画像認識装置、画像認識システム、画像認識方法及びプログラム
JP2008226176A (ja) 熱目標追跡装置及び熱目標追跡方法
JP2009245366A (ja) 入力システム、指示装置および入力システムの制御プログラム
JP4972576B2 (ja) 画像表示方法、画像表示装置および処理システム
JP5435815B2 (ja) 二次元画像コード、コード領域を含む領域を特定する方法、コード領域を含む領域を特定するプログラム、コード領域を含む領域を特定する装置
WO2024084635A1 (ja) 画像データ取得方法、画像データ取得装置、端末装置、表示補正システム
KR101280840B1 (ko) 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
WO2022239202A1 (ja) 画像処理装置
CN111124344B (zh) 一种屏幕颗粒亮度提取方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220623

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220704

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220705

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220826

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220830

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221004

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221129

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240530