JP6756961B1 - 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 - Google Patents
作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 Download PDFInfo
- Publication number
- JP6756961B1 JP6756961B1 JP2019066075A JP2019066075A JP6756961B1 JP 6756961 B1 JP6756961 B1 JP 6756961B1 JP 2019066075 A JP2019066075 A JP 2019066075A JP 2019066075 A JP2019066075 A JP 2019066075A JP 6756961 B1 JP6756961 B1 JP 6756961B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- work support
- copied
- threshold value
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
Description
以下、本開示の一実施形態に係る作業支援装置の構成について図面を用いて説明する。
図1は本実施形態に係る作業支援装置20の構成を示す模式図である。図2は作業支援装置20により出力される候補画像Gkの一例を示す図である。図3は図2の破線部分の一部拡大図である。図4は後述する処理部24による情報処理の概念を説明するための模式図である。
なお、対象物検知モデル21Mは、予め設定された複数の対象物を検知できるものである。
なお、座標情報b1〜b4は、各頂点の二次元座標で定義することができる。ただし、これに限らず、座標情報b1〜b4は、バウンディングボックスBが正方形又は長方形であることを前提に、1つの頂点の二次元座標と、その頂点からの幅及び高さとで定義することもできる。前者の場合は、二次元座標上での4つの頂点に対応する8つの値が記述されたファイルが生成される。後者の場合は、二次元座標上の1つの頂点に対応する2つの値と、そこからの幅及び高さを示す2つの値との合計4つの値が記述されたファイルが生成される。
図5は本実施形態に係る作業支援装置20の動作を説明するためのフローチャートである。
まず、任意の撮像装置により、当該撮像装置の周辺環境の動画像GDが撮像される。そして、これらの動画像GDが適時、作業支援装置20の記憶部21に記憶される(S1)。
(3−1)
以上説明したように、本実施形態に係る作業支援装置20では、抽出部24Aが、対象物検知モデル21Mを用いて、任意の動画像GDから、対象物Oが写されている確率が第1閾値P1以上、第2閾値P2以下である領域を含む画像を候補画像Gkとして抽出する。また、生成部24Bが、候補画像Gkにおける、対象物Oが写されている確率が第1閾値P1以上、第2閾値P2以下である領域の座標情報b1〜b4を生成する。また、合成部24Cが、座標情報b1〜b4に対応するバウンディングボックスBを生成して候補画像Gkに合成する。そして、バウンディングボックスBが表示された候補画像Gkが出力部23を構成するディスプレイに表示される。
また、作業支援装置20は、設定部24Dを備えている。設定部24Dは、作業者による入力部22の操作を介して、バウンディングボックスB内に対象物Oが写されていること、又は、バウンディングボックスB内に対象物Oが写されていないことの設定を受け付ける。
特に、抽出部24Aは、対象物Oが写されている確率が第1閾値P1以上である領域を含む画像を候補画像Gkとして抽出するので、対象物Oが写されていない画像が除外されることになる。換言すると、抽出部24Aは、ノイズとなる画像を候補画像Gkとして抽出しないようにしている。これにより、対象物Oが写されている画像であるか否かの設定が効率化される。
また、抽出部24Aは、対象物Oが写されている確率が第2閾値P2以下である画像を候補画像Gkとして抽出する。これにより、対象物検知モデル21Mの検知精度の向上に寄与する新たな教師画像を効率的に収集することを実現している。
このように、本実施形態に係る作業支援装置20は、現在の教師画像群Gt1〜Gtpでは、検知精度が上がらない画像を候補画像Gkとして抽出することで、対象物検知モデル21Mの検知精度の向上に寄与する新たな教師画像を効率的に収集することを実現している。
また、本実施形態に係る作業支援装置20では、更新部24Eをさらに備える。更新部24Eは、対象物Oが写されているか否かが設定された画像を現在の教師画像Gtに加えて、ニューラルネットワークの重みを調整し、対象物検知モデル21Mを更新する。このような構成により、作業支援装置20の使用に応じて、対象物検知モデル21Mにおける対象物Oを検知する精度が向上する。結果として、検知精度の高い対象物検知モデルを提供できるようになる。
また、本実施形態に係る対象物検知モデル21Mは、複数の対象物を検知することができる。さらに、設定部24Dは、バウンディングボックスBに対応する対象物の設定の変更を受け付けることもできる。具体的には、第1対象物が写されている確率が第1閾値以上であるとして出力された候補画像に対し、第1対象物ではなく第2対象物が写されていることを設定することができる。
例えば、青信号を表示する信号機が写されている確率が第1閾値以上第2閾値以下であることを示すバウンディングボックスBが表示されているときに、実際の候補画像Gkに赤信号が写されている場合、ユーザは入力部22及び設定部24Dを介して、当該候補画像Gkには、赤信号を表示する信号機が写されていると設定することができる。
(4−1)変形例A
本実施形態に係る作業支援装置20は、抽出部24Aが、前回抽出された画像の変化量が所定量以下である場合、候補画像Gkの抽出を停止するものでもよい。具体的には、変形例Aに係る抽出部24Aは、前回抽出された画像を基準画像Gcとして記憶する。そして、抽出部24Aは、当該基準画像Gcからの変化量が所定量以下である場合、対象物Oが写されている確率が第1閾値P1以上、第2閾値P2以下である領域を含む画像の抽出を停止する。換言すると、抽出部24Aにより候補画像Gkが抽出された場合、当該候補画像が基準画像Gcとして設定される。また、抽出部24Aは、動画像GDを構成する一フレームの画像Gdiの、基準画像Gcからの変化量が所定量以下である場合、当該画像を候補画像Gkとして抽出することを停止する。
換言すると、変形例Aに係る作業支援装置20は、対象物検知モデル21Mの検知精度の向上に寄与する候補画像Gkを効率的に収集できるものとなっている。
また、本実施形態に係る作業支援装置20は、対象物検知モデル21Mが、対象物Oの領域抽出及び対象物Oの物体認識をエンドツーエンド(End to End)で行なうニューラルネットワークにより構築されたものでもよい。このような構成により、対象物Oの検知を高速化することができ、リアルタイムで対象物Oを検知することができる。
また、本実施形態に係る作業支援装置20は、図8に示すように、対象物の種類と対象物Oが写されている確率の値とを示す画像を候補画像Gkに合成して出力するものでもよい。これにより、作業者は候補画像Gkに写された対象物Oが何であるかを容易に認識することができる。例えば図8では、記号Mで示される領域に、バウンディングボックスBに対応する画像が、赤信号を表示する信号機(図8ではRed_lightと表記)である旨と、赤信号を表示する信号機である確率が43.21%であることとが示されている。なお、記号Mで示される領域は対応するバウンディングボックスBの近傍に表示される。
また、本実施形態に係る作業支援装置20は、対象物検知モデル21Mを用いて、任意の動画像GDから、対象物Oが写されている確率が第1閾値以上であり第2閾値以下である領域を含む画像を候補画像Gkとして、対象物毎に区分けされたフォルダに格納するものでもよい。さらに、作業支援装置20は、フォルダ毎に格納された候補画像Gkを、バウンディングボックスBとともに出力するものでもよい。
本開示は、上記各実施形態そのままに限定されるものではない。本開示は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できるものである。また、本開示は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
21 記憶部
21M 対象物検知モデル
22 入力部
23 出力部
24 処理部
24A 抽出部
24B 生成部
24C 合成部
24D 設定部
24E 更新部
GD 動画像
Gd フレームの画像
Gk 候補画像
Gt 教師画像
Gc 基準画像
M 対象物が写されている確率の値が表示される領域
I1 アイコン(前に戻る)
I2 アイコン(次に進む)
Claims (9)
- 対象物(O)が写された教師画像(Gt)を用いて構築された対象物検知モデル(21M)を用いて、任意の動画像(GD)から、前記対象物が写されている確率が第1閾値以上であり当該第1閾値より大きい第2閾値以下である領域を含む画像を候補画像(Gk)として抽出する抽出部(24A)と、
当該候補画像に、前記対象物が写されている確率が第1閾値以上であり当該第1閾値より大きい第2閾値以下である領域に対応するバウンディングボックス(B)が合成された画像を出力する出力部(23)と、
を備える、作業支援装置(20)。 - 前記バウンディングボックス内に前記対象物が写されていること、又は、前記バウンディングボックス内に前記対象物が写されていないことの設定を受け付ける設定部(22,24D)、
をさらに備える。請求項1に記載の作業支援装置。 - 前記対象物検知モデルは、複数の対象物を検知するものであり、
第1対象物が写されている確率が第1閾値以上である領域に対応するバウンディングボックスが合成された画像に対し、当該第1対象物に代えて第2対象物が写されていることの設定を受け付ける設定部(22,24D)、
をさらに備える。請求項1又は2に記載の作業支援装置。 - 前記対象物検知モデルは、複数の対象物を検知するものであり、
前記対象物検知モデル(21M)を用いて、任意の動画像(GD)から、対象物が写されている確率が第1閾値以上である領域を含む画像を候補画像(Gk)として、対象物の種類毎に区分けされたフォルダに格納する、
請求項1から3のいずれか1項に記載の作業支援装置。 - 前記対象物が写されている確率の値を前記候補画像に合成して出力する、
請求項1から4のいずれか1項に記載の作業支援装置。 - 前記抽出部により候補画像が抽出された場合、当該候補画像が基準画像として設定され、
前記抽出部は、前記動画像を構成する一フレームの画像の、基準画像からの変化量が所定量以下である場合、当該画像を前記候補画像として抽出することを停止する、
請求項1から5のいずれか1項に記載の作業支援装置。 - 前記対象物が写されているか否かが設定された画像を前記教師画像に加えて、前記対象物検知モデルを更新する更新部(24E)をさらに備える、
請求項1から6のいずれか1項に記載の作業支援装置。 - コンピュータを、
対象物(O)が写された教師画像(Gt)を用いて構築された対象物検知モデル(21M)を用いて、任意の動画像(GD)から、前記対象物が写されている確率が第1閾値以上であり当該第1閾値より大きい第2閾値以下である領域を含む画像を候補画像(Gk)として抽出する抽出部(24A)、
当該候補画像に、前記対象物が写されている確率が第1閾値以上であり当該第1閾値より大きい第2閾値以下である領域に対応するバウンディングボックス(B)が合成された画像を出力する出力部(23)、
として機能させるプログラム。 - コンピュータを用いて、画像内の領域に対象物(O)が写されているか否かを設定するための作業を支援する作業支援方法であって、
対象物(O)が写された教師画像(Gt)を用いて構築された対象物検知モデル(21M)を用いて、任意の動画像(GD)から、前記対象物が写されている確率が第1閾値以上であり当該第1閾値より大きい第2閾値以下である領域を含む画像を候補画像(Gk)として抽出し、
当該候補画像に、前記対象物が写されている確率が第1閾値以上であり当該第1閾値より大きい第2閾値以下である領域に対応するバウンディングボックス(B)が合成された画像を出力する、
作業支援方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066075A JP6756961B1 (ja) | 2019-03-29 | 2019-03-29 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
PCT/JP2020/000731 WO2020149242A1 (ja) | 2019-01-17 | 2020-01-10 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066075A JP6756961B1 (ja) | 2019-03-29 | 2019-03-29 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6756961B1 true JP6756961B1 (ja) | 2020-09-16 |
JP2020166526A JP2020166526A (ja) | 2020-10-08 |
Family
ID=72432439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019066075A Expired - Fee Related JP6756961B1 (ja) | 2019-01-17 | 2019-03-29 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6756961B1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6148480B2 (ja) * | 2012-04-06 | 2017-06-14 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6320112B2 (ja) * | 2014-03-27 | 2018-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6776532B2 (ja) * | 2015-12-24 | 2020-10-28 | 株式会社ニコン | 画像処理装置、撮像装置、電子機器及び画像処理プログラム |
JP6486853B2 (ja) * | 2016-03-07 | 2019-03-20 | 株式会社東芝 | 分類ラベル付与装置、分類ラベル付与方法、およびプログラム |
JP6542824B2 (ja) * | 2017-03-13 | 2019-07-10 | ファナック株式会社 | 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法 |
US10809361B2 (en) * | 2017-05-31 | 2020-10-20 | Uatc, Llc | Hybrid-view LIDAR-based object detection |
-
2019
- 2019-03-29 JP JP2019066075A patent/JP6756961B1/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2020166526A (ja) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20110242130A1 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
US11908183B2 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
JPH0610812B2 (ja) | 表示装置 | |
CN106648571B (zh) | 一种用于校对应用界面的方法和装置 | |
WO2020149242A1 (ja) | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 | |
US8564594B2 (en) | Similar shader search apparatus and method using image feature extraction | |
CN113312125B (zh) | 多窗口调整方法、系统、可读存储介质和电子设备 | |
JP6623851B2 (ja) | 学習方法、情報処理装置および学習プログラム | |
JP6756961B1 (ja) | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 | |
CN112667212A (zh) | 埋点数据可视化方法、装置、终端和存储介质 | |
US11295489B2 (en) | Information presentation device, information presentation method and storage medium | |
US20140310248A1 (en) | Verification support program, verification support apparatus, and verification support method | |
CN108156504B (zh) | 一种视频显示方法及装置 | |
JP6508797B1 (ja) | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 | |
JP2021111299A (ja) | 学習装置、学習方法、学習プログラム、識別装置、識別方法および識別プログラム | |
JP2011141664A (ja) | 文書比較装置、文書比較方法、及びプログラム | |
JPWO2020111139A1 (ja) | 座標算出装置、座標算出方法、及びプログラム | |
EP4198999A1 (en) | Image annotation system and method | |
WO2021176877A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6021648B2 (ja) | 試験結果判定支援装置 | |
US20230196725A1 (en) | Image annotation system and method | |
JP6836349B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6467879B2 (ja) | 引出線配置位置決定プログラム、引出線配置位置決定方法および引出線配置位置決定装置 | |
US20140351685A1 (en) | Method and apparatus for interactive review of a dataset | |
JP2017135663A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191225 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6756961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |