WO2023047531A1 - データ収集プログラム，データ収集装置及びデータ収集方法 - Google Patents

データ収集プログラム，データ収集装置及びデータ収集方法 Download PDF

Info

Publication number
WO2023047531A1
WO2023047531A1 PCT/JP2021/035084 JP2021035084W WO2023047531A1 WO 2023047531 A1 WO2023047531 A1 WO 2023047531A1 JP 2021035084 W JP2021035084 W JP 2021035084W WO 2023047531 A1 WO2023047531 A1 WO 2023047531A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
data collection
confidence
learning
training
Prior art date
Application number
PCT/JP2021/035084
Other languages
English (en)
French (fr)
Inventor
孝 河東
彼方 鈴木
太郎 砂川
智丈 佐々木
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2021/035084 priority Critical patent/WO2023047531A1/ja
Priority to CN202180102150.1A priority patent/CN117916746A/zh
Publication of WO2023047531A1 publication Critical patent/WO2023047531A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • FIG. 10 is a diagram explaining data addition processing and re-learning processing by the data collection system 100 shown in FIG.
  • the storage device 14 is a storage device with high IO performance, and may be, for example, Dynamic Random Access Memory (DRAM), SSD, Storage Class Memory (SCM), or HDD.
  • DRAM Dynamic Random Access Memory
  • SCM Storage Class Memory
  • the communication IF 17 is an interface for enabling communication with external devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

機械学習モデルの訓練に用いる訓練データを収集するコンピュータ（１１）に、収集するデータを機械学習モデルに入力した際の出力に対する確信度が閾値よりも低い対象データ（１４１）を選択し、選択した対象データ（１４１）に関する対象物（３）について、確信度が高くなるように訓練データ（１４２）を収集する、処理を実行させる。

Description

データ収集プログラム，データ収集装置及びデータ収集方法
　本発明は、データ収集プログラム，データ収集装置及びデータ収集方法に関する。
　機械学習において、学習にラベル付きデータを用いる教師有り学習が製品の分類問題等に応用されることがある。
　ラベル付きデータはラベル無しデータに比べて収集コストが大きいため、ストリーム型能動学習によってラベル付きデータを生成することがある。ストリーム型能動学習は、順次入力される、ラベル無しデータを既知の（別言すれば、学習中のモデルが高確信度でラベル推定可能な）データと未知の（別言すれば、学習中のモデルが分類できない）データとに分類し、未知のデータに対してラベル付けを要求する。
特開２０２０－１１９２８３号公報
　図１は、データの入力による学習時間と学習済みモデルの性能との関係を例示するグラフである。
　学習済みモデルの適用先で想定されるデータがすべて入力されるまでに時間がかかり、学習後期では入力データ数に対して性能改善が見込めなくなるおそれがある。図１に示す例では、学習時間の初期では、符号Ａ１に示すように性能改善に効果のあるデータ（斜線丸印を参照）が集まりやすい。一方、符号Ａ２に示すよう、データ収集が進むと性能改善に効果の無いデータ（白色丸印を参照）が集まりやすい。
　１つの側面では、短い学習時間で機械学習モデルを高精度化することを目的とする。
　１つの側面では、データ収集プログラムは、機械学習モデルの訓練に用いる訓練データを収集するコンピュータに、収集するデータを前記機械学習モデルに入力した際の出力に対する確信度が閾値よりも低い対象データを選択し、選択した前記対象データに関する対象物について、前記確信度が高くなるように前記訓練データを収集する、処理を実行させる。
　１つの側面では、短い学習時間で機械学習モデルを高精度化することができる。
データの入力による学習時間と学習済みモデルの性能との関係を例示するグラフである。 実施形態におけるデータ収集システムによるデータ収集処理を簡単に説明する図である。 図２に示したデータ収集システムによるラベル付きデータとラベル無しデータとの収集処理を説明する図である。 実施形態において使用するDomain adversarial neural networks（ＤＡＮＮ）の構成例を説明する図である。 図４に示したＤＡＮＮによる有用性スコアの算出処理の第１の例を説明する図である。 図４に示したＤＡＮＮによる有用性スコアの算出処理の第２の例を説明する図である。 図２に示したデータ収集システムによる対象物のデータ取得環境への移動処理を説明する図である。 図２に示したデータ収集システムによるデータ取得処理の第１の例を説明する図である。 図２に示したデータ収集システムによるデータ取得処理の第２の例を説明する図である。 図２に示したデータ収集システムによるデータ追加処理及び再学習処理を説明する図である。 図２に示したデータ収集システムによる対象物のスコアの閾値の算出処理を説明する図である。 実施形態におけるデータ収集装置のハードウェア構成例を模式的に示すブロック図である。 図１２に示したデータ収集装置のソフトウェア構成例を模式的に示すブロック図である。 実施形態におけるデータ収集処理を説明するフローチャートである。 関連例におけるデータの入力による学習時間と学習済みモデルの性能との関係を例示するグラフである。 実施形態におけるデータの入力による学習時間と学習済みモデルの性能との関係を例示するグラフである。 第１変形例におけるデータ収集システムによるデータ収集処理を説明する図である。 第２変形例におけるデータ収集システムによるデータ収集処理を説明する図である。
　〔Ａ〕実施形態
　以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
　以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
　〔Ａ－１〕構成例
　図２は、実施形態におけるデータ収集システム１００によるデータ収集処理を簡単に説明する図である。
　データ収集システム１００は、対象物３の撮影画像を取得して、対象物３を分類するための機械学習モデル（別言すれば、分類モデル）を生成する。データ収集システム１００は、カメラ１６１，１６２等のデータ取得器を制御することで、未知データを積極的に取得する。
　単純に既知データと類似度の大きいデータを取得した場合には、背景だけのデータや２つ以上の物体が写ったデータ等の原理的に分類不可能なデータを取得してしまうおそれがある。
　そこで、データ収集システム１００は、ロボットアーム２で対象物３を単体で取り出し、撮影範囲が固定された空間内（別言すれば、データ取得環境４）で対象物３の撮影を行う。
　データ収集システム１００において、カメラ１６１は、ベルトコンベア等の上を移動して来る対象物３を撮影して画像データを適用データ１４１として保存する。ロボットアーム２は、撮影された画像データに基づいて対象物３を把持してデータ取得環境４に移動させる。カメラ１６２は、データ取得環境４において、撮影範囲を移動させて撮影することにより、学習データ１４２を取得する。適用データ１４１と学習データ１４２との間では、アダプテーションが実施される。
　図３は、図２に示したデータ収集システム１００によるラベル付きデータ１４３とラベル無しデータ１４４との収集処理を説明する図である。
　機械学習の初期段階では、学習用のラベル付きデータ１４３と、適用先のラベル無しデータ１４４とが、一定数収集される。
　カメラ１６１は、対象物３を撮影してラベル付きデータ１４３として保存する。カメラ１６２は、ロボットアーム２によってデータ取得環境４に移動させられた対象物３を、撮影範囲を移動させて撮影する。カメラ１６１及びカメラ１６２とは別のカメラ１６３は、ラベル無しデータ１４４を取得する。
　図４は、実施形態において使用するＤＡＮＮ１０の構成例を説明する図である。
　データ収集システム１００は、ＤＡＮＮ１０を使用して分類モデルを学習する。ＤＡＮＮ１０は、特徴抽出器１０１，分類器１０２及びドメイン識別器１０３を備える。
　分類器１０２は、特徴抽出器１０１の出力からラベル付きデータ１４３のラベルを推定できるように学習する。ドメイン識別器１０３は、特徴抽出器１０１の出力からデータ源（0:ラベル付きデータ／1:ラベル無しデータ）を推定できるように学習する。特徴抽出器１０１は、分類器１０２が成功し、ドメイン識別器１０３が失敗するように学習する。
　特徴抽出器１０１は、ラベル付きデータ１４３からの出力ｘｓとラベル無しデータ１４４の出力ｘｔとから、出力ｚｓ及び出力ｚｔをそれぞれ生成する。分類器１０２は、出力ｚｓ及び出力ｚｔから出力ｙｓ’及び出力ｙｔ’をそれぞれ生成して、出力ｙｓ’をラベル付きデータ１４３の出力ｙｓと比較する。ドメイン識別器１０３は、出力ｚｓ及び出力ｚｔから出力ｄ’を生成し、出力ｄ’をデータ源（0:ラベル付きデータ／1:ラベル無しデータ）と比較する。
　図５は、図４に示したＤＡＮＮ１０による有用性スコアの算出処理の第１の例を説明する図である。図６は、図４に示したＤＡＮＮ１０による有用性スコアの算出処理の第２の例を説明する図である。
　適用データ１４１に性質が近く、現在の分類器１０２が分類できないデータを学習に使用すると、適用先での性能改善が期待できる。そこで、どれくらい未知のデータが含まれるかを示す指標として、有用性スコア(1 - yt’_max) + αを算出する。yt’_maxは文流記の出力ｙｔ’の最大値で有り、αはドメイン識別器１０３の出力ｄ’である。
　図５に示す例では、yt’_max=0.5であり、α=0.7であるので、有用性スコアは(1 - 0.5) + 0.7 = 1.2となる。図５に示す例では、yt’_max=0.9であり、α=1.0であるので、有用性スコアは(1 - 0.9) + 1.0 = 1.1となる。
　図７は、図２に示したデータ収集システム１００による対象物３のデータ取得環境４への移動処理を説明する図である。
　ＤＡＮＮ１０は、カメラ１６１で撮影された画像のスコアが計算する。ロボットアーム２は、スコアが閾値（例えば初期値は0）を超えた場合に、対象物３をデータ取得環境４へ移動させる。
　図７に示す例では、スコアが0.4で閾値の0以上であるため、対象物３がデータ取得環境４へ移動させられる。
　別言すれば、データ収集プログラムは、収集するデータを機械学習モデルに入力した際の出力に対する確信度が閾値よりも低い対象データ（別言すれば、適用データ）を選択し、選択した対象データに関する対象物３について、確信度が高くなるように訓練データ（別言すれば、学習データ１４２）を収集する。
　図８は、図２に示したデータ収集システム１００によるデータ取得処理の第１の例を説明する図である。図９は、図２に示したデータ収集システム１００によるデータ取得処理の第２の例を説明する図である。
　データ収集システム１００は、カメラ１６２の２つのパラメータ x, yを動かして対象物３を撮影させ、スコアが極大となるパラメータを１つ以上探索する。本実施形態では、データ収集システム１００は、初期パラメータp=(0.0,0.0)から、貪欲法によって１つのパラメータを探索する。
　図８に示す例では、パラメータｘについて、スコアが極大となるパラメータp=(-0.7,0.0)が探索される。また、図９に示す例では、パラメータｙについて、スコアが1.4で極大となるパラメータp=(-0.7,0.3)が探索される。
　別言すれば、データ収集プログラムは、対象物３を撮影するカメラ１６２の位置及び姿勢を制御することにより、確信度が高くなるように訓練データ（別言すれば、学習データ１４２）を収集する。
　また、データ収集プログラムは、確信度が高くなるように収集された訓練データ（別言すれば、学習データ１４２）について、オペレータに対象物３に関するラベル付けを依頼する。
　図１０は、図２に示したデータ収集システム１００によるデータ追加処理及び再学習処理を説明する図である。
　データ収集システム１００は、極大スコア1.4の対象物３の画像にラベル付けをオペレータに依頼し、ラベル付きデータ１４３を学習データ１４２に追加する。また、データ収集システム１００は、一定のデータが集まれば学習データ１４２をラベル無しデータ１４４に追加して再学習を実施する。
　図１１は、図２に示したデータ収集システム１００による対象物３のスコアの閾値の算出処理を説明する図である。
　データ収集システム１００は、カメラ１６２での対象物３の探索完了後、対象物３をデータ取得環境４からベルトコンベア等の元の位置に戻す。データ収集システム１００は、撮影環境使用中にカメラ１６１の前を通過した対象物３のスコアと所要時間tとを記録し、その中の最大スコアを閾値とする。以降、データ収集システム１００は、次の対象物３が選択されるまで、直近のt 時間にカメラ１６１を通過した商品の最大スコアを閾値とする。
　図１１に示す例では、データ取得にかかった時間tの間にカメラ１６１の前を通過した対象物３のスコアの最大値である1.3が閾値として選択される。
　図１２は、実施形態におけるデータ収集装置１のハードウェア構成例を模式的に示すブロック図である。
　図１２に示すように、データ収集装置１は、ＣＰＵ１１，メモリ部１２，表示制御部１３，記憶装置１４，入力Interface（ＩＦ）１５，外部記録媒体処理部１６及び通信ＩＦ１７を備える。
　メモリ部１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）などである。メモリ部１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ部１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ部１２のＲＡＭは、一時記録メモリあるいはワーキングメモリとして利用されてよい。
　表示制御部１３は、表示装置１３１と接続され、表示装置１３１を制御する。表示装置１３１は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３１は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。
　記憶装置１４は、高ＩＯ性能の記憶装置であり、例えば、Dynamic Random Access Memory（ＤＲＡＭ）やＳＳＤ，Storage Class Memory（ＳＣＭ），ＨＤＤが用いられてよい。
　入力ＩＦ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御してよい。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行う。
　外部記録媒体処理部１６は、記録媒体１６０が装着可能に構成される。外部記録媒体処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。また、外部記録媒体処理部１６には、カメラ１６１，１６２，１６３が接続され、カメラ１６１，１６２，１６３によって撮像された映像を取得すると共に、カメラ１６２の位置や姿勢を制御してよい。
　通信ＩＦ１７は、外部装置との通信を可能にするためのインタフェースである。
　ＣＰＵ１１は、プロセッサの一例であり、種々の制御や演算を行う処理装置である。ＣＰＵ１１は、メモリ部１２に読み込まれたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
　データ収集装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、データ収集装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
　図１３は、図１２に示したデータ収集装置１のソフトウェア構成例を模式的に示すブロック図である。
　データ収集装置１のＣＰＵ１１は、適用データ取得部１１１，学習データ取得部１１２，学習データ作成部１１３，学習部１１４，差分計算部１１５，データ評価選択部１１６，制御部１１７及び対象移動部１１８として機能する。
　適用データ取得部１１１は、カメラ１６１が撮影した対象物３の画像を取得して適用データ１４１として格納する。
　学習データ取得部１１２は、カメラ１６２がデータ取得環境４で撮影した対象物３の画像を取得して取得データ１４０として格納する。
　学習データ作成部１１３は、取得データ１４０に基づきオペレータが付与したラベルを取得して学習データ１４２として格納する。
　学習部１１４は、図４等に示したＤＡＮＮ１０の特徴抽出器１０１及び分類器１０２に対応し、学習データ１４２を使用して分類モデルを学習させる。
　差分計算部１１５は、図４等に示したＤＡＮＮ１０のドメイン識別器１０３に対応し、適用データ１４１と学習データ１４２との差分を計算する。
　データ評価選択部１１６は、取得データ１４０に基づき、カメラ１６２によって撮影された対象物３の画像のスコアが極大となるカメラ１６２の姿勢のパラメータを算出する。また、データ評価選択部１１６は、学習部１１４によって有用性スコアが閾値以上と判定されたデータ取得環境４への移動対象の対象物３を特定する。
　制御部１１７は、データ評価選択部１１６による姿勢のパラメータの算出結果に基づき、学習データ取得部１１２にカメラ１６２の姿勢を制御させる。また、制御部１１７は、データ評価選択部１１６によって特定された対象物３について、対象移動部１１８にロボットアーム２でデータ取得環境４へ移動させる制御を行う。
　対象移動部１１８は、制御部１１７による制御に基づき、ロボットアーム２によって対象物３をデータ取得環境４へ移動させる。
　〔Ａ－２〕動作
　実施形態におけるデータ収集処理を、図１４に示すフローチャート（ステップＳ１～Ｓ６）に従って説明する。
　適用データ取得部１１１は、ベルトコンベア等のストリームを撮影するカメラ１６１から対象物３のデータを取得する（ステップＳ１）。
　制御部１１７は、対象物３のデータが十分に学習されたデータであるかを判定する（ステップＳ２）。
　対象物３のデータが十分に学習されたデータである場合には（ステップＳ２のＹＥＳルート参照）、処理はステップＳ１へ戻る。
　一方、対象物３のデータが十分に学習されたデータでない場合には（ステップＳ２のＮＯルート参照）、対象移動部１１８は、ロボットアーム２によってデータ取得の対象物３を移動させてデータ取得環境４を構築する（ステップＳ３）。
　学習データ作成部１１３は、データ取得環境４でカメラ１６２からデータを取得する（ステップＳ４）。
　学習部１１４は、学習モデルを学習する（ステップＳ５）。
　適用データ取得部１１１は、ストリームにまだデータが存在するかを判定する（ステップＳ６）。
　ストリームにまだデータが存在する場合には（ステップＳ６のＹＥＳルート参照）、処理はステップＳ１へ戻る。
　一方、ストリームにもうデータがない場合には（ステップＳ６のＮＯルート参照）、データ収集処理は終了する。
　〔Ａ－３〕効果
　図１５は、関連例におけるデータの入力による学習時間と学習済みモデルの性能との関係を例示するグラフである。図１６は、実施形態におけるデータの入力による学習時間と学習済みモデルの性能との関係を例示するグラフである。
　図１５に示す関連例におけるデータ収集処理では、符号Ｂ１に示すような性能改善に効果のあるデータの中に、符号Ｂ２に示すような性能改善に効果の無いデータが多く含まれる。これにより、学習時間（別言すれば、学習データ数）が増加しても、学習済みモデルの性能が向上しない。
　一方、実施形態におけるデータ収集処理では、図１６の符号Ｃ１に示すように、カメラ１６２等のデータ取得器を制御して追加で得られたデータを取得することで、学習時間（別言すれば、学習データ数）が増加すると共に、学習済みモデルの性能が向上する。
　上述した実施形態におけるデータ収集プログラム，データ収集装置１及びデータ収集方法によれば、例えば、以下の作用効果を奏することができる。
　データ収集プログラムは、収集するデータを機械学習モデルに入力した際の出力に対する確信度が閾値よりも低い対象データを選択し、選択した対象データに関する対象物３について、確信度が高くなるように訓練データを収集する。
　これにより、短い学習時間で機械学習モデルを高精度化することができる。
　〔Ｂ〕第１変形例
　図１７は、第１変形例におけるデータ収集システム１００ａによるデータ収集処理を説明する図である。
　第１変形例においては、データ収集システム１００ａは、荷物中の物体検出を行う。
　Ｘ線検査装置１６４は、データ取得器の一例であり、ベルトコンベアによって一方向に対象物３としての荷物を通過させる。
　Ｘ線検査装置１６５は、データ取得環境４ａに配置されるデータ取得器の一例であり、ベルトコンベアによって双方向に対象物３及び非対象物３ａの荷物を出し入れさせる。
　ロボットアーム２は、検査対象をデータ取得環境４ａに移動させる。また、ロボットアーム２は、検査の非対象物３ａのストックの少なくとも一部を対象物３と共にデータ取得環境４ａに移動させる。
　データ取得環境４ａにおける荷物の配置のさせ方が、図８及び図９等で上述したデータ取得器のパラメータとなり、検出が困難な荷物の配置を探索することができる。
　第１変形例におけるデータ収集システム１００ａによれば、上述した実施形態において奏することができる作用効果の他に、危険物探知等のＸ線検査のための機械学習モデルにおいても、短い学習時間で機械学習モデルを高精度化することができる。
　〔Ｃ〕第２変形例
　図１８は、第２変形例におけるデータ収集システム１００ｂによるデータ収集処理を説明する図である。
　第２変形例においては、データ収集システム１００ｂは、音波による水中の物体検出を行う。
　スピーカ１６６は、データ取得器の一例であり、音波源と称されてもよい。マイク１６７は、データ取得器の一例であり、測定器と称されてもよい。スピーカ１６６及びマイク１６７は、それぞれ別の潜水艦や無人潜水機に取り付けられてデータ取得環境４ｂの中の水中を移動可能であり、超音波レーダによって対象物３を検出する。
　データ取得環境４ｂは、網５で囲われた領域であり、魚類等のデータ取得の対象物３を網５の中に出し入れする出入口５ａを備える。
　データ取得環境４ｂにおけるスピーカ１６６及びマイク１６７の配置のさせ方が、図８及び図９等で上述したデータ取得器のパラメータとなり、対象物３の検出がスピーカ１６６及びマイク１６７を探索することができる。
　第２変形例におけるデータ収集システム１００ｂによれば、上述した実施形態において奏することができる作用効果の他に、超音波レーダによる水中の魚類等の探索のための機械学習モデルにおいても、短い学習時間で機械学習モデルを高精度化することができる。
　〔Ｄ〕その他
　開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
１　　　　：データ収集装置
２　　　　：ロボットアーム
３　　　　：対象物
３ａ　　　：非対象物
４，４ａ，４ｂ：データ取得環境
５　　　　：網
５ａ　　　：出入口
１０　　　：特徴抽出器
１１　　　：ＣＰＵ
１２　　　：メモリ部
１３　　　：表示制御部
１４　　　：記憶装置
１５　　　：入力ＩＦ
１６　　　：外部記録媒体処理部
１７　　　：通信ＩＦ
１００，１００ａ，１００ｂ：データ収集システム
１０１　　：特徴抽出器
１０２　　：分類器
１０３　　：ドメイン識別器
１１１　　：適用データ取得部
１１２　　：学習データ取得部
１１３　　：学習データ作成部
１１４　　：学習部
１１５　　：差分計算部
１１６　　：データ評価選択部
１１７　　：制御部
１１８　　：対象移動部
１３１　　：表示装置
１４０　　：取得データ
１４１　　：適用データ
１４２　　：学習データ
１４３　　：ラベル付きデータ
１４４　　：ラベル無しデータ
１５１　　：マウス
１５２　　：キーボード
１６０　　：記録媒体
１６１，１６２，１６３：カメラ
１６４，１６５：Ｘ線検査装置
１６６　　：スピーカ
１６７　　：マイク

Claims (9)

  1. 　機械学習モデルの訓練に用いる訓練データを収集するコンピュータに、
    　収集するデータを前記機械学習モデルに入力した際の出力に対する確信度が閾値よりも低い対象データを選択し、
    　選択した前記対象データに関する対象物について、前記確信度が高くなるように前記訓練データを収集する、
    処理を実行させる、データ収集プログラム。
  2. 　前記対象物を撮影するカメラの位置及び姿勢を制御することにより、前記確信度が高くなるように前記訓練データを収集する、
    処理を前記コンピュータに実行させる、請求項１に記載のデータ収集プログラム。
  3. 　前記確信度が高くなるように収集された前記訓練データについて、オペレータに前記対象物に関するラベル付けを依頼する、
    処理を前記コンピュータに実行させる、請求項１又は２に記載のデータ収集プログラム。
  4. 　機械学習モデルの訓練に用いる訓練データを収集するデータ収集装置であって、
    　収集するデータを前記機械学習モデルに入力した際の出力に対する確信度が閾値よりも低い対象データを選択し、
    　選択した前記対象データに関する対象物について、前記確信度が高くなるように前記訓練データを収集する、
    プロセッサを備える、データ収集装置。
  5. 　前記プロセッサは、前記対象物を撮影するカメラの位置及び姿勢を制御することにより、前記確信度が高くなるように前記訓練データを収集する、
    請求項４に記載のデータ収集装置。
  6. 　前記プロセッサは、前記確信度が高くなるように収集された前記訓練データについて、オペレータに前記対象物に関するラベル付けを依頼する、
    請求項４又は５に記載のデータ収集装置。
  7. 　機械学習モデルの訓練に用いる訓練データを収集するコンピュータが、
    　収集するデータを前記機械学習モデルに入力した際の出力に対する確信度が閾値よりも低い対象データを選択し、
    　選択した前記対象データに関する対象物について、前記確信度が高くなるように前記訓練データを収集する、
    処理を実行する、データ収集方法。
  8. 　前記対象物を撮影するカメラの位置及び姿勢を制御することにより、前記確信度が高くなるように前記訓練データを収集する、
    処理を前記コンピュータが実行する、請求項７に記載のデータ収集方法。
  9. 　前記確信度が高くなるように収集された前記訓練データについて、オペレータに前記対象物に関するラベル付けを依頼する、
    処理を前記コンピュータが実行する、請求項７又は８に記載のデータ収集方法。
PCT/JP2021/035084 2021-09-24 2021-09-24 データ収集プログラム，データ収集装置及びデータ収集方法 WO2023047531A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/035084 WO2023047531A1 (ja) 2021-09-24 2021-09-24 データ収集プログラム，データ収集装置及びデータ収集方法
CN202180102150.1A CN117916746A (zh) 2021-09-24 2021-09-24 数据收集程序、数据收集装置以及数据收集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/035084 WO2023047531A1 (ja) 2021-09-24 2021-09-24 データ収集プログラム，データ収集装置及びデータ収集方法

Publications (1)

Publication Number Publication Date
WO2023047531A1 true WO2023047531A1 (ja) 2023-03-30

Family

ID=85719354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/035084 WO2023047531A1 (ja) 2021-09-24 2021-09-24 データ収集プログラム，データ収集装置及びデータ収集方法

Country Status (2)

Country Link
CN (1) CN117916746A (ja)
WO (1) WO2023047531A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211294A (ja) * 2008-03-03 2009-09-17 Nippon Hoso Kyokai <Nhk> ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム
JP2020119283A (ja) 2019-01-24 2020-08-06 株式会社リクルート 学習モデル生成装置、プログラム、及び端末装置を製造する方法
JP6854995B1 (ja) * 2020-08-11 2021-04-07 三菱電機株式会社 学習システム、学習方法及びプログラム
WO2021084623A1 (ja) * 2019-10-29 2021-05-06 富士通株式会社 劣化抑制プログラム、劣化抑制方法および情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211294A (ja) * 2008-03-03 2009-09-17 Nippon Hoso Kyokai <Nhk> ニューラルネットワーク装置及びそれを用いたロボットカメラ制御装置並びにニューラルネットワークプログラム
JP2020119283A (ja) 2019-01-24 2020-08-06 株式会社リクルート 学習モデル生成装置、プログラム、及び端末装置を製造する方法
WO2021084623A1 (ja) * 2019-10-29 2021-05-06 富士通株式会社 劣化抑制プログラム、劣化抑制方法および情報処理装置
JP6854995B1 (ja) * 2020-08-11 2021-04-07 三菱電機株式会社 学習システム、学習方法及びプログラム

Also Published As

Publication number Publication date
CN117916746A (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
US20200226751A1 (en) Surgical workflow and activity detection based on surgical videos
Su et al. Deep multi-state object pose estimation for augmented reality assembly
CN111259779B (zh) 一种基于中心点轨迹预测的视频动作检测方法
JPWO2011080900A1 (ja) 移動体検出装置および移動体検出方法
JP7031685B2 (ja) モデル学習装置、モデル学習方法及びコンピュータプログラム
Modasshir et al. Autonomous 3d semantic mapping of coral reefs
Venkatachalam et al. Optimizing Region Detection in Enhanced Infrared Images Using Deep Learning.
CN112288809B (zh) 一种用于多物体复杂场景的机器人抓取检测方法
US20210357763A1 (en) Method and device for performing behavior prediction by using explainable self-focused attention
WO2023047531A1 (ja) データ収集プログラム，データ収集装置及びデータ収集方法
JP2020077231A (ja) 位置検出プログラム、位置検出方法及び位置検出装置
US20230260259A1 (en) Method and device for training a neural network
Maiettini et al. Weakly-supervised object detection learning through human-robot interaction
CN113658222A (zh) 一种车辆检测跟踪方法及装置
Meena et al. Hybrid Neural Network Architecture for Multi-Label Object Recognition using Feature Fusion
KR20220143119A (ko) 인지 시스템용 훈련 데이터 후보의 자동 식별
Daramouskas et al. A design and simulation of a target detection, tracking and localisation system for UAVs
Dong et al. Experimental evaluation of GAN-based one-class anomaly detection on office monitoring
WO2023047530A1 (ja) データ収集プログラム，データ収集装置及びデータ収集方法
Tasnim et al. Progress in Object Detection: An In-Depth Analysis of Methods and Use Cases
JP6899986B1 (ja) オブジェクト領域特定装置、オブジェクト領域特定方法、及びオブジェクト領域特定プログラム
Selvam A deep learning framework for surgery action detection
US20240131717A1 (en) Robot operation system, robot operation method, and program
Tabia et al. Deep Learning For Pose Estimation From Event Camera
US20230196752A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21958407

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023549255

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180102150.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2021958407

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021958407

Country of ref document: EP

Effective date: 20240424