JP7626243B2 - データセット作成装置、データセット作成方法、及び、プログラム - Google Patents

Description

本開示は、学習用データセットの作成に関する。

店舗などにおいて、商品を撮影して画像認識を行うことにより商品を識別する手法が知られている。商品の画像認識を行うためには、対象となる商品について認識モデルを学習する必要がある。また、新商品が発売されたような場合、その新商品を認識できるように既存の認識モデルを学習する必要がある。認識モデルの学習を行うには、対象となる商品について学習用のデータセットを用意する必要がある。

特許文献１は、機械学習に用いるデータセットを作成する際の品質向上のために、ラベリング担当者の評価を行う手法を記載している。

国際公開２０１９／１８７４２１号公報

学習用のデータセットの作成時には、対象となる商品などの物体の外観を様々な方向から撮影し、得られた撮影画像から学習用のサンプル画像が生成される。しかし、学習に有効なデータを効率良く作成できるような画像を撮影するには、経験が必要となる。具体的に、経験の浅い者には、認識モデルの学習に必要なデータ数が分からない、学習に有用な見えのバリエーションが収集できないなどの課題があった。

本開示の１つの目的は、特に経験の無い者であっても、学習データの生成に適した画像を撮影し、品質の高い学習用データセットを作成することが可能なデータセット作成装置を提供することにある。

本開示の一つの観点では、データセット作成装置は、
物体の撮影画像を取得する取得手段と、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成するデータ処理手段と、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定するデータ品質推定手段と、
前記データセットの品質情報と、前記撮影画像と、前記撮影画像において前記サンプル画像が切り出される位置を示す情報と、前記データセットに含まれている有効なサンプル画像と、前記サンプル画像の総数に対する有効なサンプル画像の割合である有効画像率と、を含む撮影支援情報を表示装置に表示する表示制御手段と、
を備える。
また、本開示の一つの観点では、データセット作成装置は、
物体の撮影画像を取得する取得手段と、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成するデータ処理手段と、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定するデータ品質推定手段と、
前記データセットの品質情報と、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合を示す到達度と、を含む撮影支援情報を表示装置に表示する表示制御手段と、
を備える。

本開示の他の観点では、データセット作成方法は、
コンピュータにより実行されるデータセット作成方法であって、
物体の撮影画像を取得し、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
前記データセットの品質情報と、前記撮影画像と、前記撮影画像において前記サンプル画像が切り出される位置を示す情報と、前記データセットに含まれている有効なサンプル画像と、前記サンプル画像の総数に対する有効なサンプル画像の割合である有効画像率と、を含む撮影支援情報を表示装置に表示する。
また、本開示の他の観点では、データセット作成方法は、
コンピュータにより実行されるデータセット作成方法であって、
物体の撮影画像を取得し、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
前記データセットの品質情報と、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合を示す到達度と、を含む撮影支援情報を表示装置に表示する。

本開示のさらに他の観点では、プログラムは、
物体の撮影画像を取得し、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
前記データセットの品質情報と、前記撮影画像と、前記撮影画像において前記サンプル画像が切り出される位置を示す情報と、前記データセットに含まれている有効なサンプル画像と、前記サンプル画像の総数に対する有効なサンプル画像の割合である有効画像率と、を含む撮影支援情報を表示装置に表示する処理をコンピュータに実行させる。
また、本開示のさらに他の観点では、プログラムは、
物体の撮影画像を取得し、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
前記データセットの品質情報と、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合を示す到達度と、を含む撮影支援情報を表示装置に表示する処理をコンピュータに実行させる。

本開示によれば、特に経験の無い者であっても、学習データの生成に適した画像を撮影し、品質の高い学習用データセットを作成することが可能となる。

第１実施形態に係るデータセット作成システムの概略構成を示す。 第１実施形態のデータセット作成装置のハードウェア構成を示すブロック図である。 第１実施形態のデータセット作成装置の機能構成を示すブロック図である。 第１実施例に係るデータ品質推定部の構成を示すブロック図である。 第１実施例による撮影支援画面の例を示す。 撮影支援情報の表示処理のフローチャートである。 第２実施例に係るデータ品質推定部の構成を示すブロック図である。 第２実施例による撮影支援画面の例を示す。 第２実施形態のデータセット作成装置の機能構成を示すブロック図である。 第２実施形態のデータセット作成装置による処理のフローチャートである。

以下、図面を参照して、本開示の好適な実施形態について説明する。
＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係るデータセット作成システムの概略構成を示す。データセット作成システム１は、撮影画像から商品を認識する認識モデルの学習を行う際に使用される学習用のデータセットを作成するシステムである。

図示のように、データセット作成システム１は、データセット作成装置１００と、カメラ２と、表示装置５とを備える。カメラ２と表示装置５は、それぞれデータセット作成装置１００に接続されている。カメラ２は、例えば棚などの所定位置に固定配置されている。作業者は、データセットの作成の対象となる物体（商品）をカメラ２の撮影範囲に持っていき、カメラ２により物体を撮影する。この際、作業者は、物体を回転させたり、持ち替えたりして、物体の様々な方向からの外観を撮影する。カメラ２は、撮影した物体の撮影画像（動画）をデータセット作成装置１００へ出力する。

データセット作成装置１００は、カメラ２から入力された撮影画像に基づいて、対象となる物体の学習用のデータセットを作成する。作成されたデータセットは、物体を認識する認識モデルの学習に使用される。作成したデータセットを用いて認識モデルを学習することにより、認識モデルがその物体を認識することが可能となる。

データセット作成装置１００は、作業者がカメラ２により物体を撮影しているときに、撮影支援情報を生成し、表示装置５に表示する。撮影支援情報は、現在どのように物体の撮影やデータセットの作成が行われているかを作業者に伝え、必要であれば物体の撮影方法についての指示やアドバイスなどを行う情報である。データセット作成装置１００は、カメラ２により撮影された撮影画像と、その撮影画像に基づいて作成したデータの数や品質などの分析結果とに基づいて撮影支援情報を生成し、表示装置５へ出力する。なお、撮影支援情報の詳細については後述する。

このように、作業者による物体の撮影中に撮影支援情報を表示して現在の撮影状態やデータ作成状態を作業者にフィードバックすることにより、十分な経験の無い作業者であっても、認識モデルの学習に適した画像を撮影し、品質の高いデータセットを効率的に作成することが可能となる。

［ハードウェア構成］
図２は、第１実施形態のデータセット作成装置１００のハードウェア構成を示すブロック図である。図示のように、データセット作成装置１００は、インタフェース（Ｉ／Ｆ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５と、を備える。

インタフェース１１は、外部装置との間でデータの入出力を行う。具体的に、インタフェース１１は、作業者による撮影中にカメラ２から撮影画像を取得し、撮影支援情報を表示装置５へ出力する。また、インタフェース１１は、作成された学習用のデータセットを、認識モデルの学習を行う学習装置へ出力する。

プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することによりデータセット作成装置１００の全体を制御する。なお、プロセッサ１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）であってもよい。プロセッサ１２は、後述する撮影支援情報の表示処理を実行する。

メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。

記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、データセット作成装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。データセット作成装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。ＤＢ１５は、カメラ２から入力された撮影画像や、作成されたデータセットを記憶する。

［機能構成］
図３は、第１実施形態のデータセット作成装置１００の機能構成を示すブロック図である。データセット作成装置１００は、撮影画像入力部２１と、データ処理部２２と、記憶部２３と、データ品質推定部２４と、表示制御部２５と、を備える。なお、撮影画像入力部２１はインタフェース１１により構成され、データ処理部２２、データ品質推定部２４及び表示制御部２５は主としてプロセッサ１２により構成され、記憶部２３はＤＢ１５により構成される。

撮影画像入力部２１は、作業者が撮影した物体の撮影画像をカメラ２から取得し、データ処理部２２へ出力する。撮影画像は、物体を連続的に撮影した動画像である。

データ処理部２２は、入力された撮影画像を用いて、認識モデルの学習のための学習データを生成する。具体的には、データ処理部２２は、物体検知モデルなどを用いて撮影画像から物体を検出し、その物体の部分の画像を切り出して物体の画像（以下、「サンプル画像」と呼ぶ。）を生成する。物体検知モデルは、撮影画像から物体を検出し、物体を含む矩形の位置情報、及び、物体としての確からしさを示すスコアを出力する。データ処理部２２は、物体検知モデルにより検出された矩形の領域を撮影画像から抽出してサンプル画像とする。そして、データ処理部２２は、生成したサンプル画像を、撮影画像とともに記憶部２３へ出力する。

記憶部２３は、カメラ２により生成された撮影画像と、その撮影画像から抽出された複数のサンプル画像とをデータ処理部２２から受け取り、記憶する。

データ品質推定部２４は、データ処理部２２が生成したサンプル画像の品質を推定し、予め決められた基準を満たすサンプル画像を有効サンプル画像として選択し、学習データとして記憶部２３に記憶する。こうして、基準を満たすと判定された複数の有効サンプル画像を収集し、学習用データセットが作成される。なお、データ処理部２２が生成したサンプル画像のうち、上記の基準を満たさないものは、学習データとしては採用されず、破棄される。

また、データ品質推定部２４は、撮影画像と、サンプル画像の品質の推定結果とに基づいて撮影支援情報を生成し、表示制御部２５へ出力する。撮影支援情報は、カメラ２が撮影した撮影画像、有効サンプル画像などを含むが、その詳細は後述する。表示制御部２５は、データ品質推定部２４から入力された撮影支援情報を用いて撮影支援画面を作成し、表示装置５に表示する。

［第１実施例］
（データ品質推定部の構成）
次に、データセット作成装置１００の第１実施例について説明する。第１実施例では、データ品質推定部２４は、サンプル画像の品質として、サンプル画像の学習における重要度を推定する。図４は、第１実施例に係るデータ品質推定部２４ａの構成を示すブロック図である。図示のように、データ品質推定部２４ａは、重要度推定部２６を備える。

重要度推定部２６には、記憶部２３からサンプル画像が入力される。重要度推定部２６は、入力されたサンプル画像の重要度を、重要度推定モデルを用いて推定する。１つの例では、重要度推定モデルとして、物体検知モデルを用いることができる。物体検知モデルは、入力されたサンプル画像に基づいて、検出された物体の物体らしさのスコアを出力するので、重要度推定部２６はこのスコアを重要度として使用する。物体らしさのスコアが高いほど、そのサンプル画像に物体が含まれている確率が高く、学習データとしての適性が高いと考えられる。よって、データ品質推定部２４ａは、物体らしさのスコアが所定値より高いサンプル画像を有効サンプル画像として選択する。

他の例では、重要度推定モデルとして、画像としての画質を推定するモデルを用いることができる。画質を推定するモデルとしては、例えば、画像の手ブレ、ボケ、明るさ、対象物の隠れ度合い（対象物が他の物体の陰に隠れている割合）などを推定するモデルを用いることができる。具体的には、重要度推定部２６は、上記のモデルによる推定結果に基づき、手ブレが少ないほど、ボケが少ないほど、適正な明るさであるほど、対象物の隠れ度合いが小さいほど、重要度を高くする。

サンプル画像の画質が良くない場合、具体的に手ブレが多い、画像がぼけている、画像が暗い、対象物の大部分が隠れてしまっているなどの場合、そのサンプル画像は学習データとしての適性が低いと考えられる。よって、データ品質推定部２４ａは、上記のような画質を推定するモデルによって画質が基準レベル以上であると判定されたサンプル画像を有効サンプル画像として選択する。

なお、上記の物体らしさのスコアと画質の両方を組み合わせて重要度として用いてもよい。例えば、物体らしさのスコアと、手ブレや明るさなどの程度を示す値とを所定の重みを用いて加算して重要度を算出することとしてもよい。

データ品質推定部２４ａは、上記のようにして選択した有効サンプル画像を、記憶部２３に記憶する。こうして蓄積された有効サンプル画像の集合が学習用のデータセットとなる。

また、データ品質推定部２４ａは、記憶部２３から入力された撮影画像、重要度推定部２６が選択した有効サンプル画像、及び、有効サンプル画像の数に基づいて算出した到達度や有効画像率などの情報を、撮影支援情報として表示制御部２５へ出力する。表示制御部２５は、入力された撮影支援情報を用いて撮影支援画面を生成し、表示装置５に表示する。

（撮影支援画面）
図５は、第１実施例による撮影支援画面の例を示す。図示のように、撮影支援画面は、大別して、撮影画像表示エリア３０と、有効画像表示エリア４０とを備える。図５の例では、撮影画像表示エリア３０は、撮影画像３１と、矩形３２と、重要度３３と、到達度３４とが表示されている。

撮影画像３１は、カメラ２で撮影された撮影画像（動画像）をリアルタイムで表示したものである。矩形３２は、撮影画像３１から物体検知モデルが検出した物体の位置を示す。前述のように、物体を囲む矩形３２の部分が、撮影画像３１からサンプル画像として切り出される。重要度３３は、検出された物体の重要度であり、具体的には前述の重要度推定部２６により算出された重要度の値である。よって、第１実施例では、重要度の値は、前述のように物体らしさのスコア又はサンプル画像の画質の推定値となる。

到達度３４は、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合である。なお、学習に必要な総画像数は、経験などに基づいて予め決定される。図５の例では、学習に必要な総画像数「３００（フレーム）」に対して、現在「１２０（フレーム）」の有効なサンプル画像が取得済みであることが示されている。これにより、作業者は学習に必要なサンプル画像がどの程度取得できたのか、あとどのくらい必要か、などを知ることができる。なお、必要な総画像数の有効なサンプル画像が取得できたときに、その旨を表示や音声で作業者に通知してもよい。

一方、有効画像表示エリア４０には、サムネイル表示エリア４１と、有効画像率４２とが表示されている。サムネイル表示エリア４１には、撮影画像３１から切り出された複数の有効なサンプル画像のサムネイルが並べて表示されている。即ち、各サムネイル画像４３は、撮影画像表示エリア３０の矩形３２に示すように、撮影画像３１から切り出されたサンプル画像のうち、前述のデータ品質推定部２４ａにより所定の基準を満たすと判定されたサンプル画像である。なお、図５のように有効なサンプル画像のみを表示する代わりに、撮影画像３１から切り出された全てのサンプル画像をサムネイル表示エリア４１に表示した上で、有効なサンプル画像を、例えば枠の色を変えるなどして強調して表示することとしてもよい。

有効画像率４２は、撮影画像３１から切り出されたサンプル画像の総数に対する、有効なサンプル画像の割合である。図５の例では、有効画像率が９０％となっているので、現在までに撮影画像３１から切り出されたサンプル画像のうちの９０％が有効なサンプル画像として採用されていることを示している。また、ブレ５％、照明条件３％、物体の隠れ２％のように、有効でない画像の主な判定要因を表示してもよい。なお、有効画像率が所定の基準より低い場合、表示や音声などによりその旨を作業者に通知してもよい。これにより、物体がカメラ２の撮影範囲に入っていないなどの不具合に作業者が気づくことができる。さらには、有効画像率が所定の基準より低い場合、作業者に指示やアドバイスを行うこととしてもよい。例えば、サンプル画像の手ブレが多く、有効画像率が下がっている場合、「もう少しゆっくり動かして下さい。」などのメッセージを表示したり、音声出力したりしてもよい。

なお、図５の例では、到達度３４及び有効画像率４２を数値で表示しているが、その代わりに、グラフやメーターなどで表示してもよい。

また、全ての物体についての撮影が終了した時点で、全ての物体について十分な有効サンプル画像が取得できているか否かを作業者に通知してもよい。例えば、撮影の中断などによって有効サンプル画像が不足している物体について、「商品Ｘ：３０枚不足」などの表示を行い、必要なサンプル画像数に達していないことを作業者に通知してもよい。これにより、作業者は不足しているサンプル画像の追加撮影を行うことができる。

（表示処理）
次に、撮影支援情報の表示処理について説明する。図６は、撮影支援情報の表示処理のフローチャートである。この処理は、図２に示すプロセッサ１２が、予め用意されたプログラムを実行し、図３及び図４に示す各要素として動作することにより実現される。

まず、撮影画像入力部２１は、カメラ２から撮影画像を取得する（ステップＳ１１）。次に、データ処理部２２は、撮影画像から物体の部分を切り出してサンプル画像を生成する（ステップＳ１２）。次に、データ品質推定部２４ａは、各サンプル画像の重要度を推定し、所定基準を満たすサンプル画像を有効サンプル画像として抽出する。また、データ品質推定部２４ａは、有効サンプル画像の数に基づいて、到達度や有効画像率などを算出する。そして、データ品質推定部２４ａは、撮影画像、有効サンプル画像、到達度、有効画像率などを含む撮影支援情報を生成して表示制御部２５へ出力する（ステップＳ１３）。

次に、表示制御部２５は、入力された撮影支援情報を用いて、撮影支援画面を生成し（ステップＳ１４）、撮影支援画面を表示装置５に表示する（ステップＳ１５）。こうして、図５に例示するような撮影支援画面が表示装置５に表示される。

次に、データセット作成装置１００は、撮影を終了するか否かを判定する（ステップＳ１６）。例えば、表示装置５に対して撮影終了指示を入力した場合、又は、到達度が１００％になった場合、データセット作成装置１００は、撮影を終了すると判定する。撮影を終了しないと判定された場合（ステップＳ１６：Ｎｏ）、処理はステップＳ１１へ戻り、ステップＳ１１～Ｓ１６が繰り返される。一方、撮影を終了すると判定された場合（ステップＳ１６：Ｙｅｓ）、表示処理は終了する。

［第２実施例］
（データ品質推定部の構成）
次に、データセット作成装置１００の第２実施例について説明する。第２実施例では、データ品質推定部２４は、サンプル画像の品質として、既存物体類似度を推定する。図７は、第２実施例に係るデータ品質推定部２４ｂの構成を示すブロック図である。図示のように、データ品質推定部２４ｂは、既存物体類似度推定部２７を備える。既存物体類似度推定部２７は、既存認識モデルを用いてサンプル画像の品質を推定する。

「既存物体類似度」とは、既存認識モデルにおいて学習済みの既存物体に対する、サンプル画像の類似度を言う。即ち、既存物体類似度は、サンプル画像が、既に認識モデルに登録済みの他の物体（商品）と類似している度合いを示す。類似度の計算は、例えば、事前学習した特徴抽出モデルを用いて抽出した特徴量に対するコサイン類似度で計算する。ある新商品Ａを認識できるように認識モデルを学習する場合に、その新商品Ａが既に認識モデルに登録済の商品Ｂと類似していることがある。この場合、認識モデルの学習には、既存の商品Ｂと類似していない、即ち、識別性のある新商品Ａのサンプル画像を用いる必要がある。

データ品質推定部２４ｂは、記憶部２３から入力された撮影画像、既存物体類似度推定部２７が選択した有効サンプル画像、及び、有効サンプル画像の数に基づいて算出した到達度や有効画像率などの情報を、撮影支援情報として表示制御部２５へ出力する。また、既存物体類似度推定部２７は、既存物体に対する類似度が所定の基準より高いサンプル画像については、その類似度が高いと判定された既存物体の画像（以下、「類似物体画像」とも呼ぶ。）を撮影支援情報として表示制御部２５へ出力する。表示制御部２５は、入力された撮影支援情報を用いて撮影支援画面を生成し、表示装置５に表示する。

（撮影支援画面）
図８は、第２実施例による撮影支援画面の例を示す。図５に示す第１実施例と同様に、撮影支援画面は、撮影画像表示エリア３０と、有効画像表示エリア４０とを備える。有効画像表示エリア４０の表示内容は第１実施例と同様であるので説明を省略する。撮影画像表示エリア３０には、第１実施例と同様に、撮影画像３１と、矩形３２と、到達度３４とが表示されている。

また、第２実施例では、既存物体類似度推定部２７により、サンプル画像の既存物体に対する類似度が所定基準より高いと判定された場合、その既存物体の画像、即ち、類似物体画像３５が表示される。図８の例では、類似物体画像３５が、サンプル画像に対応する矩形３２と並べて表示されている。さらに、既存物体類似度推定部２７により算出された、サンプル画像と類似物体画像との類似度３６が類似物体画像３５の近傍に表示される。

これにより、作業者は、現在作成されているサンプル画像と類似する既存物体があること、その既存物体の画像、その既存物体との類似度などを見ることができる。よって、作業者は、現在撮影中の物体について、類似度の高い既存物体との識別性の高い面や部分を積極的に撮影することができるので、より既存物体との識別性の高い学習データを効率的に作成することが可能となる。具体的には、作業者は、表示された類似度の値が下がるように商品の撮影箇所を変化させて撮影を行えばよい。なお、類似度の高い既存物体が複数ある場合には、類似度が高い方から所定数の既存物体について類似物体画像３５を表示してもよい。

また、類似物体画像３５の近傍に、その類似物体画像３５が示す商品の商品名などを表示してもよい。さらに、サンプル画像と既存物体との類似度が所定値より高い場合に、現在撮影している商品が既に登録済である可能性が高いことなどを作業者に通知してもよい。これにより、既存認識モデルに登録済の物体（商品）を重複登録してしまうこと防止できる。

（表示処理）
次に、撮影支援情報の表示処理について説明する。第２実施例における撮影支援情報の表示処理は、基本的に図６に示す第１実施例と同様である。但し、第２実施例では、ステップＳ１３において、既存物体類似度推定部２７が上記の類似物体画像３５や、既存物体との類似度３６などを含む撮影支援情報を生成し、表示制御部２５へ出力する。

［変形例］
次に、第１実施形態に係るデータセット作成装置１００の変形例を説明する。この変形例は、上記の第１実施例又は第２実施例に適用することができる。上記の第１実施例では、データ品質推定部２４ａは、サンプル画像の重要度を推定し、重要度が基準を満たすサンプル画像を有効サンプル画像としてデータセットに加えている。この際、変形例では、推定された重要度を属性情報として有効サンプル画像に付加する。これにより、記憶部２３に蓄積されるデータセットに含まれるサンプル画像には、その重要度が属性情報として付属している状態となる。よって、そのデータセットを用いて認識モデルを学習する際に、サンプル画像に付加された重要度を用いて、学習に使用するサンプル画像の選択や優先度の決定を行うことができる。具体的には、重要度の高いサンプル画像から優先的に選択して認識モデルを学習することにより、学習の効率化が期待できる。

同様に、第２実施例では、データ品質推定部２４ｂは、サンプル画像の既存物体類似度を推定している。この際、変形例では、推定された既存物体類似度を属性情報として有効サンプル画像に付加してデータセットに加える。これにより、記憶部２３に蓄積されるデータセットに含まれるサンプル画像には、その既存物体類似度が属性情報として付属している状態となる。よって、そのデータセットを用いて認識モデルを学習する際に、サンプル画像に付加された既存物体類似度を用いて、学習に使用するサンプル画像際の選択や優先度の決定を行うことができる。具体的には、既存物体類似度の低いサンプル画像から優先的に選択して認識モデルを学習することにより、学習の効率化が期待できる。

＜第２実施形態＞
図９は、第２実施形態のデータセット作成装置の機能構成を示すブロック図である。データセット作成装置７０は、取得手段７１と、データ処理手段７２と、データ品質推定手段７３と、表示制御手段７４とを備える。

図１０は、第２実施形態のデータセット作成装置７０による処理のフローチャートである。まず、取得手段７１は、物体の撮影画像を取得する（ステップＳ２１）。次に、データ処理手段７２は、撮影画像から物体の部分の画像であるサンプル画像を生成し、サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成する（ステップＳ２２）。次に、データ品質推定手段７３は、撮影画像及びデータセットに基づいて、データセットの品質を推定する（ステップＳ２３）。そして、表示制御手段７４は、データセットの品質情報を含む撮影支援情報を表示装置に表示する（ステップＳ２４）。そして、処理は終了する。

第２実施形態のデータセット作成装置７０によれば、特に経験の無い者であっても、学習に適した画像を撮影し、品質の高い学習用データセットを作成することが可能となる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
物体の撮影画像を取得する取得手段と、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成するデータ処理手段と、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定するデータ品質推定手段と、
前記データセットの品質情報を含む撮影支援情報を表示装置に表示する表示制御手段と、
を備えるデータセット作成装置。

（付記２）
前記品質情報は、前記データセットに含まれるサンプル画像の重要度を含む付記１に記載のデータセット作成装置。

（付記３）
前記重要度は、前記サンプル画像から検出された物体の物体らしさのスコアを含む付記２に記載のデータセット作成装置。

（付記４）
前記重要度は、前記サンプル画像の画質に関する情報を含む付記２又は３に記載のデータセット作成装置。

（付記５）
前記品質情報は、前記データセットに含まれるサンプル画像を既存認識モデルで認識した結果の、既存物体に対する類似度を含む付記１に記載のデータセット作成装置。

（付記６）
前記品質情報は、前記データセットに含まれるサンプル画像と既存物体との類似度を含む付記１に記載のデータセット作成装置。

（付記７）
前記撮影支援情報は、前記撮影画像と、前記撮影画像において前記サンプル画像が切り出される位置を示す情報と、前記データセットに含まれている有効なサンプル画像と、前記サンプル画像の総数に対する有効なサンプル画像の割合である有効画像率と、を含む付記１乃至６のいずれか一項に記載のデータセット作成装置。

（付記８）
前記撮影支援情報は、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合を示す到達度を含む付記１乃至７のいずれか一項に記載のデータセット作成装置。

（付記９）
前記有効なサンプル画像に、当該サンプル画像に基づいて推定された品質情報を付加して前記データセットを記憶する記憶手段を備える付記１乃至８のいずれか一項に記載のデータセット作成装置。

（付記１０）
物体の撮影画像を取得し、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
前記データセットの品質情報を含む撮影支援情報を表示装置に表示するデータセット作成方法。

（付記１１）
物体の撮影画像を取得し、
前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
前記データセットの品質情報を含む撮影支援情報を表示装置に表示する処理をコンピュータに実行させるプログラムを記録した記録媒体。

以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ データセット作成システム
１２ プロセッサ
２１ 撮影画像入力部
２２ データ処理部
２３ 記憶部
２４、２４ａ、２４ｂ データ品質推定部
２５ 表示制御部
２６ 重要度推定部
２７ 既存物体類似度推定部
１００ データセット作成装置

Claims (10)

1. 物体の撮影画像を取得する取得手段と、
   前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成するデータ処理手段と、
   前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定するデータ品質推定手段と、
   前記データセットの品質情報と、前記撮影画像と、前記撮影画像において前記サンプル画像が切り出される位置を示す情報と、前記データセットに含まれている有効なサンプル画像と、前記サンプル画像の総数に対する有効なサンプル画像の割合である有効画像率と、を含む撮影支援情報を表示装置に表示する表示制御手段と、
   を備えるデータセット作成装置。
2. 物体の撮影画像を取得する取得手段と、
   前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成するデータ処理手段と、
   前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定するデータ品質推定手段と、
   前記データセットの品質情報と、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合を示す到達度と、を含む撮影支援情報を表示装置に表示する表示制御手段と、
   を備えるデータセット作成装置。
3. 前記品質情報は、前記データセットに含まれるサンプル画像の重要度を含む請求項１又は２に記載のデータセット作成装置。
4. 前記重要度は、前記サンプル画像から検出された物体の物体らしさのスコアを含む請求項３に記載のデータセット作成装置。
5. 前記重要度は、前記サンプル画像の画質に関する情報を含む請求項３に記載のデータセット作成装置。
6. 前記品質情報は、前記データセットに含まれるサンプル画像を既存認識モデルで認識した結果の、既存物体に対する類似度を含む請求項１又は２に記載のデータセット作成装置。
7. コンピュータにより実行されるデータセット作成方法であって、
   物体の撮影画像を取得し、
   前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
   前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
   前記データセットの品質情報と、前記撮影画像と、前記撮影画像において前記サンプル画像が切り出される位置を示す情報と、前記データセットに含まれている有効なサンプル画像と、前記サンプル画像の総数に対する有効なサンプル画像の割合である有効画像率と、を含む撮影支援情報を表示装置に表示するデータセット作成方法。
8. コンピュータにより実行されるデータセット作成方法であって、
   物体の撮影画像を取得し、
   前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
   前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
   前記データセットの品質情報と、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合を示す到達度と、を含む撮影支援情報を表示装置に表示するデータセット作成方法。
9. 物体の撮影画像を取得し、
   前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
   前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
   前記データセットの品質情報と、前記撮影画像と、前記撮影画像において前記サンプル画像が切り出される位置を示す情報と、前記データセットに含まれている有効なサンプル画像と、前記サンプル画像の総数に対する有効なサンプル画像の割合である有効画像率と、を含む撮影支援情報を表示装置に表示する処理をコンピュータに実行させるプログラム。
10. 物体の撮影画像を取得し、
    前記撮影画像から前記物体の部分の画像であるサンプル画像を生成し、前記サンプル画像のうち、所定の基準を満たす有効なサンプル画像を含む学習用のデータセットを生成し、
    前記撮影画像及び前記データセットに基づいて、前記データセットの品質を推定し、
    前記データセットの品質情報と、学習に必要な総画像数に対する、既に得られた有効なサンプル画像数の割合を示す到達度と、を含む撮影支援情報を表示装置に表示する処理をコンピュータに実行させるプログラム。

Images