JP7049636B1 - 情報処理装置、プログラム、システム、及び情報処理方法 - Google Patents
情報処理装置、プログラム、システム、及び情報処理方法 Download PDFInfo
- Publication number
- JP7049636B1 JP7049636B1 JP2021203363A JP2021203363A JP7049636B1 JP 7049636 B1 JP7049636 B1 JP 7049636B1 JP 2021203363 A JP2021203363 A JP 2021203363A JP 2021203363 A JP2021203363 A JP 2021203363A JP 7049636 B1 JP7049636 B1 JP 7049636B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- spike
- unit
- region
- spikes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 67
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 21
- 241000219094 Vitaceae Species 0.000 claims abstract description 19
- 235000021021 grapes Nutrition 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 24
- 241000219095 Vitis Species 0.000 claims description 10
- 235000009754 Vitis X bourquina Nutrition 0.000 claims description 10
- 235000012333 Vitis X labruscana Nutrition 0.000 claims description 10
- 235000014787 Vitis vinifera Nutrition 0.000 claims description 10
- 238000009732 tufting Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 17
- 210000005069 ears Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】ぶどうの房づくりを支援するための情報処理装置及び方法、プログラム並びにシステムを提供する。【解決手段】房づくり支援システムを構成する情報処理装置は、花穂領域検出部４１ａと、主軸特定部４１ｂと、円形パーツ検出部４１ｃと、境界位置推定部４１ｄとを制御部２０に備える。花穂領域検出部４１ａは、画像に含まれるぶどうの複数の花穂の画像上における領域である花穂領域を検出する。主軸特定部４１ｂは、花穂領域の主軸である花穂主軸を特定する。円形パーツ検出部４１ｃは、画像に含まれる円形パーツを検出する。境界位置推定部４１ｄは、円形パーツの直径の実寸法と円形パーツの画像上の大きさとを用いてキャリブレーションを行うことにより、花穂主軸上において、画像上における複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する。【選択図】図５
Description
特許法第３０条第２項適用 １．刊行物：ＣＹＢＥＲＷＯＲＬＤ ２０２１講演予稿集、発行日：２０２１年９月３０日 ２．集会名：ＣＹＢＥＲＷＯＲＬＤ ２０２１、開催日：２０２１年９月３０日
本発明は、ぶどうの房づくりを支援するための情報処理装置、プログラム、システム、及び情報処理方法に関する。
ぶどうの栽培においては、収穫時の果房の形や大きさを整えるため、開花期に房から不要な花穂を取り除く「房づくり」が行われる。房づくりでは通常、図１１に示すように、一つの房Ｇ（すなわち、花穂全体）における先端から所定の長さ（目標長さＬｒ）の位置（数ｃｍ）を境界位置Ｘｒとし、境界位置Ｘｒの先端側の範囲の花穂Ｈ１を残し、境界位置Ｘｒの基端側の他の花穂Ｈ２（副穂）を切断する。また、特許文献１には、はさみを入れる回数を少なくして労働作業を軽減できる房づくり方法が開示されている。
しかしながら、ぶどうの房づくりにおいて、残すべき花穂Ｈ１と切断すべき花穂Ｈ２とを瞬時に判断し、実際に不要な花穂をはさみで切断することは、熟練者でない限り困難であった。
本発明はこのような事情に鑑みてなされたものであり、ぶどうの房づくりを支援するための、情報処理装置、プログラム、システム、及び情報処理方法を提供するものである。
本発明によれば、情報処理装置であって、花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、前記花穂領域検出部は、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出部は、前記画像に含まれる円形パーツを検出し、前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理装置が提供される。
本発明では、ぶどうの花穂及びはさみが撮影された画像において、円形パーツの直径の実寸法と円形パーツの画像上の大きさとを用いてキャリブレーションを行うことにより、画像上における花穂領域の主軸上において、複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する。これにより、熟練者でなくとも切断すべき花穂を知ることができ、ぶどうの房づくりを支援することが可能となっている。
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記円形パーツは前記ぶどうの花穂を切断するはさみの支点部分に設けられる円形の留め具であり、前記円形パーツ検出部は、はさみ検出部と留め具検出部とを備えており、前記はさみ検出部は、第１学習モデルに基づいて、前記画像上におけるはさみ領域を検出し、前記留め具検出部は、前記第１学習モデルと異なる第２学習モデルに基づいて、前記はさみ領域から前記留め具の外接矩形領域を検出し、前記境界位置推定部は、前記外接矩形領域の長辺の長さを前記留め具の大きさとする。
好ましくは、前記花穂領域検出部は、前記第１学習モデルに基づいて前記花穂領域を検出する。
好ましくは、前記主軸特定部は、前記花穂領域の凸包を求めるとともに凸包領域の主軸を前記花穂主軸とし、前記境界位置推定部は、前記花穂主軸と前記凸包領域の交点を基準として前記境界位置を推定する。
好ましくは、出力画像生成部をさらに備え、前記出力画像生成部は、前記境界位置を示す出力画像を生成する。
また、本発明によれば、システムであって、画像撮影部と、画像処理部とを備え、前記画像撮影部は、ぶどうの複数の花穂及び円形パーツを含む画像を撮影し、前記画像処理部は、花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、前記花穂領域検出部は、前記画像に含まれる前記複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出部は、前記画像に含まれる前記円形パーツを検出し、前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、システムが提供される。
好ましくは、ユーザ端末と、情報処理装置とを備え、前記ユーザ端末は、前記画像撮影部と、出力画像表示部を備え、前記情報処理装置は、前記画像処理部と、出力画像生成部とを備えており、前記出力画像生成部は、前記境界位置を示す出力画像を生成し、前記出力画像表示部は、前記出力画像を表示する。
また、本発明によれば、プログラムであって、コンピュータに、花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを実行させ、前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、プログラムが提供される。
また、本発明によれば、情報処理方法であって、花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを備え、前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理方法が提供される。
以下、本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴について独立して発明が成立する。
１．房づくり支援システム１
本発明の一実施形態に係る房づくり支援システム１は、図１に示すように、情報処理装置２と、ユーザ端末３とを備える。
本発明の一実施形態に係る房づくり支援システム１は、図１に示すように、情報処理装置２と、ユーザ端末３とを備える。
情報処理装置２とユーザ端末３は、通信回線４を介して通信可能に構成される。ユーザ端末３は、ぶどうの複数の花穂５（花穂５の全体を花穂群５Ｅとする）及びはさみ６が含まれる画像Ｐ１（図２参照）を撮影し、通信回線４を介して情報処理装置２へ送信する。情報処理装置２は、ユーザ端末３から受信した画像Ｐ１を処理し、当該画像Ｐ１における複数の花穂５のうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定する。推定した境界位置Ｘｐは通信回線４を介してユーザ端末３に送られ、ユーザ端末３は、境界位置Ｘｐを示す出力画像Ｐ６（図１及び図３参照）を表示することで、ユーザの房づくりを支援する。なお、図１及び図３には、境界位置Ｘｐを示す画像に加えてぶどうの花穂５、はさみ６及び作業者Ｗが含まれているが、実際の出力画像Ｐ６としては境界位置Ｘｐを示す画像のみが表示されていれば良く、その他の要素は画像ではなく透過された実際の視界を示している。ただし、その他の要素を透明な画像として表示することも可能である。以下、このような機能を実現する情報処理装置２及びユーザ端末３の各構成について説明する。
２．房づくり支援システム１のハードウェア構成
２－１．情報処理装置２のハードウェア構成
本実施形態に係る情報処理装置２は、図４Ａのブロック図に示すように、制御部２０と、記憶部２１と、通信部２２とを備える。また、情報処理装置２は、キーボード及びマウス等で構成された各種操作の入力を受け付ける操作入力部２３と、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ２４とを備えていてもよい。
２－１．情報処理装置２のハードウェア構成
本実施形態に係る情報処理装置２は、図４Ａのブロック図に示すように、制御部２０と、記憶部２１と、通信部２２とを備える。また、情報処理装置２は、キーボード及びマウス等で構成された各種操作の入力を受け付ける操作入力部２３と、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ２４とを備えていてもよい。
制御部２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、情報処理装置２の全体の動作を制御する。
記憶部２１の一部は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されており、制御部２０による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。また、記憶部２１の一部は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、各種データ及び制御部２０の処理に利用されるプログラム等を保存する。
記憶部２１に記憶されるプログラムは、例えば、情報処理装置２の基本的な機能を実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種ハードウェア制御するためのドライバ、各種機能を実現するためのプログラム等であって、本実施形態に係るコンピュータプログラムを含む。
通信部２２は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）であり、通信回線４に接続する機能を有する。なお、通信部２２は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信や赤外線通信等を可能とする機能を有してもよい。情報処理装置２は、通信回線４を介してユーザ端末３等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行うことができる。なお、通信回線４には、高速通信及び低遅延を可能にするため、例えば、ローカル５Ｇシステムが用いられる。ただし、パブリック５Ｇシステムを用いることや、他の通信システムを用いても良い。
これら制御部２０、記憶部２１、通信部２２、操作入力部２３、及びモニタ２４は、システムバス２５を介して相互に電気的に接続されている。従って、制御部２０は、記憶部２１へのアクセス、モニタ２４に対する画像の表示、ユーザによる操作入力部２３に対する操作状態の把握、及び通信部２２を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。
２－２．ユーザ端末３のハードウェア構成
ユーザ端末３は、実際にぶどうの房づくりを行うユーザである作業者Ｗが使用する情報処理端末である。ユーザ端末３は、好ましくは、光学透過型ヘッドマウントディスプレイ（ＯＳＴＨＭＤ）あるいはＡＲ（拡張現実）グラス／ＭＲ（複合現実）グラスとされる。ただし、ユーザ端末３は、その他のスマートグラス、スマートフォンやタブレット端末等であっても良い。本実施形態のユーザ端末３は、図４Ｂのブロック図に示すように、制御部３０と、記憶部３１と、通信部３２と、撮影部３３と、表示部３４とを備える。また、ユーザ端末３は、音を出力するスピーカや、電源ボタンその他の操作ボタン等により構成される操作部（図示せず）等を備えていてもよい。以下、情報処理装置２との相違点を中心に説明する。
ユーザ端末３は、実際にぶどうの房づくりを行うユーザである作業者Ｗが使用する情報処理端末である。ユーザ端末３は、好ましくは、光学透過型ヘッドマウントディスプレイ（ＯＳＴＨＭＤ）あるいはＡＲ（拡張現実）グラス／ＭＲ（複合現実）グラスとされる。ただし、ユーザ端末３は、その他のスマートグラス、スマートフォンやタブレット端末等であっても良い。本実施形態のユーザ端末３は、図４Ｂのブロック図に示すように、制御部３０と、記憶部３１と、通信部３２と、撮影部３３と、表示部３４とを備える。また、ユーザ端末３は、音を出力するスピーカや、電源ボタンその他の操作ボタン等により構成される操作部（図示せず）等を備えていてもよい。以下、情報処理装置２との相違点を中心に説明する。
撮影部３３は、静止画、動画等を撮影できるカメラを備える。表示部３４は、眼鏡のレンズに相当する部位と投影等の機能を有する部位との組み合わせによるディスプレイを備えうる。また、ユーザ端末３は、網膜に直接映像を照射する部位を備えていてもよい。ただし、ユーザ端末３がスマートフォンやタブレット端末等である場合には、表示部３４は、画像等を表示し操作を受け付け可能なタッチパネルディスプレイ等であってもよい。
これら制御部３０、記憶部３１、通信部３２、撮影部３３及び表示部３４は、システムバス２５を介して相互に電気的に接続されている。従って、制御部３０は、記憶部３１へのアクセス、撮影部３３に対する制御、表示部３４による画像の表示、作業者Ｗによる操作状態の把握及び通信部３２を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。
３．房づくり支援システム１の機能構成
３－１．情報処理装置２の機能構成
情報処理装置２の機能構成として、情報処理装置２の制御部２０は、図５Ａに示すように、画像取得部４０と、画像処理部４１と、出力画像生成部４２とを備える。画像取得部４０は、ユーザ端末３から送信された画像Ｐ１（図１，２参照）を取得する。画像処理部４１は、画像取得部４０が取得した画像Ｐ１を処理し、画像Ｐ１上における複数の花穂５（花穂群５Ｅ）のうち残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定する。また、出力画像生成部４２は、画像処理部４１が推定した境界位置Ｘｐを示す画像である出力画像Ｐ６を生成する（図１，３参照）。
３－１．情報処理装置２の機能構成
情報処理装置２の機能構成として、情報処理装置２の制御部２０は、図５Ａに示すように、画像取得部４０と、画像処理部４１と、出力画像生成部４２とを備える。画像取得部４０は、ユーザ端末３から送信された画像Ｐ１（図１，２参照）を取得する。画像処理部４１は、画像取得部４０が取得した画像Ｐ１を処理し、画像Ｐ１上における複数の花穂５（花穂群５Ｅ）のうち残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定する。また、出力画像生成部４２は、画像処理部４１が推定した境界位置Ｘｐを示す画像である出力画像Ｐ６を生成する（図１，３参照）。
画像処理部４１は、具体的には、花穂領域検出部４１ａと、主軸特定部４１ｂと、円形パーツ検出部４１ｃと、境界位置推定部４１ｄとを備える。また、円形パーツ検出部４１ｃには、はさみ検出部４１ｃ１と留め具検出部４１ｃ２とが含まれる。画像処理部４１の各機能の詳細については、後述する。
３－２．ユーザ端末３の機能構成
ユーザ端末３の機能構成として、ユーザ端末３の制御部３０は、図５Ｂに示すように、画像撮影部５０と、出力画像表示部５１とを備える。画像撮影部５０は、撮影部３３により画像Ｐ１を撮影する。ここで、画像Ｐ１に映る範囲には、略同一平面上にぶどうの花穂群５Ｅ及びはさみ６が含まれ（図２参照）、ユーザ端末３が光学透過型ヘッドマウントディスプレイ等である場合には、ユーザである房づくりの作業者Ｗの視野に近い範囲となりうる。
ユーザ端末３の機能構成として、ユーザ端末３の制御部３０は、図５Ｂに示すように、画像撮影部５０と、出力画像表示部５１とを備える。画像撮影部５０は、撮影部３３により画像Ｐ１を撮影する。ここで、画像Ｐ１に映る範囲には、略同一平面上にぶどうの花穂群５Ｅ及びはさみ６が含まれ（図２参照）、ユーザ端末３が光学透過型ヘッドマウントディスプレイ等である場合には、ユーザである房づくりの作業者Ｗの視野に近い範囲となりうる。
出力画像表示部５１は、情報処理装置２から送信された境界位置Ｘｐを示す出力画像Ｐ６（結果）を表示部３４に表示する。表示部３４に出力画像Ｐ６が表示されることで、作業者Ｗは、現実の花穂全体のうち残すべき花穂Ｈ１の範囲と切断すべき花穂Ｈ２の範囲の境界位置Ｘｒ（図１１参照）を把握することができる。特に、ユーザ端末３が光学透過型ヘッドマウントディスプレイ等であれば、作業者Ｗの視界に含まれる実際のぶどうの花穂に、境界位置Ｘｐを重畳表示することができる（図３参照）。
３－３．機能構成の実現方法
上述したように、本実施形態の房づくり支援システム１は、機能構成として、画像撮影部５０と、画像取得部４０と、画像処理部４１と、出力画像生成部４２と、出力画像表示部５１とを備える。
上述したように、本実施形態の房づくり支援システム１は、機能構成として、画像撮影部５０と、画像取得部４０と、画像処理部４１と、出力画像生成部４２と、出力画像表示部５１とを備える。
上述した機能構成は、情報処理装置２又はユーザ端末３に適宜インストールされるソフトウェア（いわゆるアプリを含む）によって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、制御部２０又は制御部３０がソフトウェアを構成するプログラムを実行することによって各種機能を実現することができる。
プログラムを実行することで実現される場合、当該プログラムは、情報処理装置２又はユーザ端末３が内蔵する記憶部２１又は記憶部３１に格納してもよく、コンピュータが読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶装置に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。もしくは、ハードウェアによって実現する場合、ＡＳＩＣ、ＳＯＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。
また、情報処理装置２の機能として説明した一部の機能構成は、ソフトウェア又はハードウェアによってユーザ端末３等で処理されるようにしてもよい。反対に、ユーザ端末３の機能として説明した一部の機能構成は、ソフトウェア又はハードウェアによって情報処理装置２等で処理されるようにしてもよい。
３－４．花穂領域検出部４１ａの機能
花穂領域検出部４１ａは、図６に示すように、画像取得部４０が取得した画像Ｐ１からぶどうの花穂５が存在する領域である花穂領域Ａ１を検出する。花穂領域検出部４１ａによる花穂領域Ａ１の検出は、第１学習モデルに基づいて行われる。すなわち、花穂領域検出部４１ａは、機械学習、深層学習（ディープラーニング）等に基づく画像認識処理を行い、物体の検出や分類等を行う。ここで、第１学習モデルは、花穂領域Ａ１及び後述するはさみ６を検出することができる学習モデルであれば特に制限されないが、例えば、多数の教師データ（既知の入力データと正解データの組）を用いてモデルを訓練し、将来の出力を予測可能にする学習モデルである。
花穂領域検出部４１ａは、図６に示すように、画像取得部４０が取得した画像Ｐ１からぶどうの花穂５が存在する領域である花穂領域Ａ１を検出する。花穂領域検出部４１ａによる花穂領域Ａ１の検出は、第１学習モデルに基づいて行われる。すなわち、花穂領域検出部４１ａは、機械学習、深層学習（ディープラーニング）等に基づく画像認識処理を行い、物体の検出や分類等を行う。ここで、第１学習モデルは、花穂領域Ａ１及び後述するはさみ６を検出することができる学習モデルであれば特に制限されないが、例えば、多数の教師データ（既知の入力データと正解データの組）を用いてモデルを訓練し、将来の出力を予測可能にする学習モデルである。
第１学習モデルとしては、検出する物体のバウンディングボックスに加え、ピクセルマスクを得ることが可能なモデルを用いることが好ましい。このようなモデルとしては、例えば、再帰的特徴ピラミッド（Ｒｅｃｕｒｓｉｖｅ Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ）と切り替え可能なアトラスコンボリューション（Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ）を用いたインスタンス・セグメンテーション・ネットワーク・モデルである「ＤｅｔｅｃｔｏＲＳ」を用いることができる。「ＤｅｔｅｃｔｏＲＳ」は、マルチステージモデルアーキテクチャを採用し、出力を次の学習セットとして使用することで検出精度の向上を図ったモデルである。
花穂領域検出部４１ａが適用する第１学習モデルは、図１及び図２の画像Ｐ１に示すような、作業者Ｗが花穂の上方を保持した状態の画像を用いて学習される。これにより、第１学習モデルは、作業者Ｗが保持する位置よりも下方の花穂を検出できるよう学習される。
以上のような第１学習モデルにより、花穂領域検出部４１ａは、画像Ｐ１から花穂領域Ａ１を検出し、図６に示す、花穂領域Ａ１以外の領域がマスクされたマスク画像Ｐ２を得ることができる。画像Ｐ２は、具体的には例えば、花穂領域Ａ１以外の領域が黒く塗りつぶされ、花穂領域Ａ１が白抜きされている。
３－５．主軸特定部４１ｂの機能
主軸特定部４１ｂは、図７に示すように、まず、花穂領域検出部４１ａが検出した花穂領域Ａ１の凸包領域Ａ２を求め、次いで、凸包領域Ａ２の主軸を求める。具体的には、主軸特定部４１ｂは、花穂領域Ａ１が複数の連結成分を有している場合、当該連結成分の凸包を算出し、１つの結合領域としての凸包領域Ａ２を得る。次に、主軸特定部４１ｂは、得られた凸包領域Ａ２の主軸を算出し、花穂主軸Ｍとする。なお、凸包の算出及び主軸の算出には、従来既知の任意のアルゴリズムを用いることができるため、その詳細な説明は省略する。
主軸特定部４１ｂは、図７に示すように、まず、花穂領域検出部４１ａが検出した花穂領域Ａ１の凸包領域Ａ２を求め、次いで、凸包領域Ａ２の主軸を求める。具体的には、主軸特定部４１ｂは、花穂領域Ａ１が複数の連結成分を有している場合、当該連結成分の凸包を算出し、１つの結合領域としての凸包領域Ａ２を得る。次に、主軸特定部４１ｂは、得られた凸包領域Ａ２の主軸を算出し、花穂主軸Ｍとする。なお、凸包の算出及び主軸の算出には、従来既知の任意のアルゴリズムを用いることができるため、その詳細な説明は省略する。
以上のように、主軸特定部４１ｂは、画像Ｐ２から凸包領域Ａ２を得ることができ（画像Ｐ３参照）、凸包領域Ａ２の主軸として花穂主軸Ｍを得ることができる（画像Ｐ４参照）。なお、上記で説明した画像Ｐ２～画像Ｐ４（図６～図７）は、各機能の説明のために示した画像にすぎず、撮影された画像は適宜拡大されており、また、ユーザ（作業者Ｗ）に対して実際に表示させる必要はない。
３－６．円形パーツ検出部４１ｃの機能
円形パーツ検出部４１ｃは、図８Ａ又は図８Ｂに示すように、画像Ｐ１に含まれるはさみ６の支点部分に設けられる円形の留め具６０（かしめ）を検出する。本実施形態において、円形パーツ検出部４１ｃは、図５Ａに示すように、はさみ検出部４１ｃ１と留め具検出部４１ｃ２とから構成される。
円形パーツ検出部４１ｃは、図８Ａ又は図８Ｂに示すように、画像Ｐ１に含まれるはさみ６の支点部分に設けられる円形の留め具６０（かしめ）を検出する。本実施形態において、円形パーツ検出部４１ｃは、図５Ａに示すように、はさみ検出部４１ｃ１と留め具検出部４１ｃ２とから構成される。
はさみ検出部４１ｃ１は、画像取得部４０が取得した画像Ｐ１からはさみ６を検出する。はさみ検出部４１ｃ１によるはさみ６の検出は、上述した花穂領域検出部４１ａと同様、第１学習モデルに基づいて行われる。はさみ検出部４１ｃ１が適用する第１学習モデルは、図１及び図２の画像Ｐ１に示すような、はさみ６が含まれる画像を用いて学習される。以上のような第１学習モデルにより、はさみ検出部４１ｃ１は、画像Ｐ１からはさみ領域Ａ３を検出し、図８Ａ及び図８Ｂに示すような、はさみ領域Ａ３以外の部分をマスクしたマスク画像Ｐ５を得ることができる。画像Ｐ５は、具体的には例えば、はさみ領域Ａ３以外の部分が黒く塗りつぶされ、はさみ領域Ａ３が白抜きされている。なお、図８Ａは、元の画像Ｐ１のはさみ６が正面を向いている場合のはさみ領域Ａ３を示し、図８Ｂは、画像Ｐ１のはさみ６が回転して斜めを向いている場合のはさみ領域Ａ３を示している。
留め具検出部４１ｃ２は、はさみ検出部４１ｃ１が取得した画像Ｐ５のはさみ領域Ａ３から留め具６０を検出する。留め具検出部４１ｃ２による留め具６０の検出は、上述した第１学習モデルとは異なる第２学習モデルに基づいて行われる。
第２学習モデルとしては、高速で検出する物体のバウンディングボックス（外接矩形領域）を得ることができるモデルを用いることが好ましい。このようなモデルとしては、例えば、リアルタイムでの実行が可能な高速な物体検出手法である「ＹｏｌｏＶ５」を用いることができる。「ＹｏｌｏＶ５」は、出力として検出する物体のマスク画像を提供することはできないものの、物体検出モデルとしては最も高速であることが知られている。
以上のような第２学習モデルにより、留め具検出部４１ｃ２は、画像Ｐ５のはさみ領域Ａ３から留め具６０のバウンディングボックスＢを得ることができる。
３－７．境界位置推定部４１ｄの機能
境界位置推定部４１ｄは、既知であるはさみ６の留め具６０の直径の実寸法と留め具６０の画像Ｐ１上の大きさとを用いてキャリブレーションを行うことにより、花穂主軸Ｍ上において、画像Ｐ１上における境界位置Ｘｐ（花穂群５Ｅのうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界）を推定する。ここで、現実の目標となる所望の（正しい）境界位置Ｘｒは、図１１に示すように、ぶどうの一つの房Ｇの先端からあらかじめ定めた目標長さＬｒ（例えば、４ｃｍ）だけ離れた位置として定められる。
境界位置推定部４１ｄは、既知であるはさみ６の留め具６０の直径の実寸法と留め具６０の画像Ｐ１上の大きさとを用いてキャリブレーションを行うことにより、花穂主軸Ｍ上において、画像Ｐ１上における境界位置Ｘｐ（花穂群５Ｅのうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界）を推定する。ここで、現実の目標となる所望の（正しい）境界位置Ｘｒは、図１１に示すように、ぶどうの一つの房Ｇの先端からあらかじめ定めた目標長さＬｒ（例えば、４ｃｍ）だけ離れた位置として定められる。
境界位置推定部４１ｄは、具体的には、まず、留め具６０の画像Ｐ１上の大きさを、円形パーツ検出部４１ｃにより得られた留め具６０のバウンディングボックスＢの長辺の長さ（幅又は高さの大きい方）と近似する。これは、はさみ６の留め具６０が略正円形状をしていることで、はさみ６の角度に依存せず、バウンディングボックスＢの長辺の長さが留め具６０の直径となることに基づいている。
そして、境界位置推定部４１ｄは、下記式（１）～（４）により、画像Ｐ１上における境界位置Ｘｐの座標を求める。
ここで、数式（１）におけるＤｅｔｅｃｔｅｄＬｅｎｃｍは、推定される花穂全体の長さ（単位：ｃｍ）であり、ＳｃｒｅｗＤｉｍｃｍは、留め具６０の直径の実寸法（単位：ｃｍ）である。また、ＤｅｔｅｃｔｅｄＬｅｎｐｘは、画像Ｐ１上の花穂群５Ｅの長さであり、図９に示すように、画像Ｐ４上における花穂主軸Ｍに沿った花穂領域Ａ１の長さ（単位：画素（ｐｘ））、すなわち、凸包領域Ａ２と花穂主軸Ｍの２つの交点Ｎ１，Ｎ２間の距離により近似される。また、ＳｃｒｅｗＷｉｄｔｈｐｘとＳｃｒｅｗＨｅｉｇｈｔｐｘはそれぞれ、画像Ｐ１（Ｐ５）上の留め具６０の幅と長さ（単位：ｐｘ）である。
一方、数式（２）におけるＴａｒｇｅｔＬｅｎｐｘは、交点Ｎ１を基準とした、画像Ｐ１（Ｐ４）上の目標長さＬｐ（単位：ｐｘ）であり、ＴａｒｇｅｔＬｅｎｃｍは、あらかじめ定めた残すべき花穂Ｈ１全体の目標長さＬｒ（単位：ｃｍ）（図１１参照）である。さらに、数式（３）及び数式（４）におけるＴａｒｇｅｔＢｏｔＸｐｘとＴａｒｇｅｔＢｏｔＹｐｘは、花穂群５Ｅの先端位置（穂先）の画像Ｐ１（Ｐ４）上（ＸＹ平面上）の座標であり、凸包領域Ａ２と花穂主軸Ｍの下側の交点Ｎ１の座標により近似される。加えて、ＴａｒｇｅｔＴｏｐＸｐｘとＴａｒｇｅｔＴｏｐＹｐｘは、推定される画像Ｐ１（Ｐ４）上の境界位置Ｘｐの座標であり、θは花穂主軸ＭとＹ軸の間の角度である。
そして、式（１）により、画像Ｐ１（Ｐ４）上の花穂群５Ｅの長さ（花穂領域Ａ１の長さ）を、留め具６０の直径の実寸法と留め具６０の長辺の長さとによりキャリブレーションすることで、実際の花穂全体の長さが推定される。また、式（２）により、予め定めた残すべき花穂Ｈ１全体の目標長さＬｒ（図１１参照）を、式（１）により推定された実際の花穂全体の長さと画像Ｐ１（Ｐ４）上の花穂領域Ａ１の長さとによりキャリブレーションすることで、画像Ｐ１（Ｐ４）上における残すべき花穂５全体の目標長さＬｐが推定される。また、式（３）及び式（４）により、画像Ｐ１（Ｐ４）上における残すべき花穂５全体の目標長さＬｐと、凸包領域Ａ２と花穂主軸Ｍの下側の交点Ｎ１の座標及び花穂主軸ＭのＹ軸に対する傾きとから、画像Ｐ１上における境界位置Ｘｐの座標を求めることができる。
なお、実際の花穂全体の長さを推定することは必須ではなく、予め定めた残すべき花穂Ｈ１の目標長さＬｒ（図１１参照）を留め具６０の直径の実寸法と留め具６０の長辺の長さとによりキャリブレーションをすることで、画像Ｐ１上における花穂５の目標長さＬｐを推定し、画像Ｐ１上における境界位置Ｘｐの座標を求めることも可能である。
以上のようにして境界位置推定部４１ｄが推定した画像Ｐ１（Ｐ４）上の境界位置Ｘｐは、出力画像生成部４２により出力画像Ｐ６として出力される。出力画像Ｐ６は、境界位置Ｘｐが把握できればどのような表示のしかたでも良いが、例えば、図１及び図３に示すように、花穂主軸Ｍを直線で示すとともに、花穂群５Ｅの先端位置と境界位置Ｘｐを互いに平行な直線で表すことが考えられる。なお、出力画像Ｐ６には、境界位置Ｘｐを示す表示に加えて、残すべき花穂全体の目標長さＬｒ（図１１参照）及び推定される花穂全体の長さ（図９におけるＤｅｔｅｃｔｅｄＬｅｎｐｘ参照）の表示を含めることも好適である。
４．房づくり支援システム１による処理の流れ
次に、房づくり支援システム１による処理の流れについて説明する。まず、ユーザ端末３の制御部３０が画像撮影工程を実行する。画像撮影工程では、ユーザ端末３の画像撮影部５０により画像Ｐ１が撮影され、撮影された画像Ｐ１は、通信回線４を介してユーザ端末３から情報処理装置２へ送信される。
次に、房づくり支援システム１による処理の流れについて説明する。まず、ユーザ端末３の制御部３０が画像撮影工程を実行する。画像撮影工程では、ユーザ端末３の画像撮影部５０により画像Ｐ１が撮影され、撮影された画像Ｐ１は、通信回線４を介してユーザ端末３から情報処理装置２へ送信される。
次に、情報処理装置２の制御部２０は、図１０に示す情報処理の各工程、すなわち、画像取得工程Ｓ１、花穂領域検出工程Ｓ２、主軸特定工程Ｓ３、円形パーツ検出工程Ｓ４、境界位置推定工程Ｓ５、及び出力画像生成工程Ｓ６を順次実行する。なお、花穂領域検出工程Ｓ２及び主軸特定工程Ｓ３と円形パーツ検出工程Ｓ４とは、順序を入れ替えて実行してもよく、並列的に実行しても良い。
具体的には、画像取得工程Ｓ１では、画像取得部４０が画像Ｐ１を取得する。花穂領域検出工程Ｓ２では、画像処理部４１の花穂領域検出部４１ａが画像Ｐ１から花穂領域Ａ１を検出する。また、主軸特定工程Ｓ３では、主軸特定部４１ｂが花穂領域Ａ１から花穂主軸Ｍを推定する。さらに、円形パーツ検出工程Ｓ４では、まずはさみ検出部４１ｃ１が画像Ｐ１からはさみ領域Ａ３を検出し、次いで留め具検出部４１ｃ２がはさみ領域Ａ３から留め具６０のバウンディングボックスＢを取得する。そして、境界位置推定工程Ｓ５では、境界位置推定部４１ｄが花穂主軸Ｍ上において、画像Ｐ１（Ｐ４）上における残すべき花穂５と切断すべき花穂５の境界位置Ｘｐを推定する。最後に、出力画像生成工程Ｓ６では、出力画像生成部４２が出力画像Ｐ６を生成する。
次に、情報処理装置２の制御部２０は、出力画像送信工程を実行する。出力画像送信工程では、出力画像Ｐ６が通信回線４を介して情報処理装置２からユーザ端末３へ送信される。その後、ユーザ端末３の制御部３０は、出力画像表示工程を実行する。出力画像表示工程では、ユーザ端末３の出力画像表示部５１に出力画像Ｐ６が表示される。
５．推定される境界位置Ｘｐの検証
実際の食用ぶどう農園における７７房の花穂（花穂群）について、上述した房づくり支援システム１により推定した花穂領域Ａ１の長さ（式（１）参照）と定規で測定した花穂群の長さを比較したところ、平均誤差は０．１９ｃｍであった。これは、実際に使用するのに十分な精度である。そして、推定した花穂領域の長さの推定精度が高ければ、境界位置Ｘｐの推定精度も高いと考えられる。従って、上述した房づくり支援システム１により境界位置Ｘｐをユーザに提示することで、ぶどうの房づくりを好適に支援することができる。
実際の食用ぶどう農園における７７房の花穂（花穂群）について、上述した房づくり支援システム１により推定した花穂領域Ａ１の長さ（式（１）参照）と定規で測定した花穂群の長さを比較したところ、平均誤差は０．１９ｃｍであった。これは、実際に使用するのに十分な精度である。そして、推定した花穂領域の長さの推定精度が高ければ、境界位置Ｘｐの推定精度も高いと考えられる。従って、上述した房づくり支援システム１により境界位置Ｘｐをユーザに提示することで、ぶどうの房づくりを好適に支援することができる。
６．作用効果
以上のように、本実施形態の房づくり支援システム１は、情報処理装置２の境界位置推定部４１ｄが、ユーザ端末３の撮影部３３によって撮影された画像Ｐ１上における複数の花穂５（花穂群５Ｅ）のうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定し、ユーザ端末３の表示部３４に表示するよう構成されている。これにより、熟練者でなくとも、切断すべき花穂を知ることができ、ぶどうの房づくりを支援することが可能となっている。
以上のように、本実施形態の房づくり支援システム１は、情報処理装置２の境界位置推定部４１ｄが、ユーザ端末３の撮影部３３によって撮影された画像Ｐ１上における複数の花穂５（花穂群５Ｅ）のうちの残すべき花穂５の範囲Ｗ１と切断すべき花穂５の範囲Ｗ２の境界である境界位置Ｘｐ（図３参照）を推定し、ユーザ端末３の表示部３４に表示するよう構成されている。これにより、熟練者でなくとも、切断すべき花穂を知ることができ、ぶどうの房づくりを支援することが可能となっている。
また、本実施形態の境界位置推定部４１ｄは、花穂の切断に必要な道具である実際のはさみの留め具の直径と画像Ｐ１上における留め具６０の大きさとを用いてキャリブレーションを行うようになっている。これにより、特別の参照物を必要とすることなく境界位置Ｘｐを推定することが可能となっている。さらに、円形の形状であるはさみの留め具を用いることにより、撮影距離やはさみの角度に依存せずに留め具の直径を得ることができ、キャリブレーションに好適に利用することが可能となっている。
また、円形パーツ検出部４１ｃは、第１学習モデルを用いるはさみ検出部４１ｃ１と第２学習モデルを用いる留め具検出部４１ｃ２を備え、２段階で留め具６０を検出するアプローチをとっている。これにより、不要な情報を捨て、関心のある領域だけに焦点を当てることができ、円形パーツである留め具６０の検出を高速で行い、且つ、その検出精度を向上させることが可能となっている。また、このような画像処理部４１の処理の高速化に加え、情報処理装置２とユーザ端末３の間の通信回線４としてローカル５Ｇシステムを使用すれば、ユーザ端末３の撮影部３３による画像Ｐ１の撮影から表示部３４による境界位置Ｘｐ（結果）の表示までを高速で行うことができる。そして、ユーザ端末３として光学透過型ヘッドマウントディスプレイを用いることにより、作業者Ｗの視界に含まれる実際のぶどうの花穂に境界位置Ｘｐを重畳表示することで、作業者Ｗの房づくりをリアルタイムで支援することが可能となっている。
７．変形例
なお、本発明は、以下の態様でも実施可能である。
なお、本発明は、以下の態様でも実施可能である。
上記実施形態では、房づくり支援システム１が通信回線４を介して接続された情報処理装置２及びユーザ端末３を備えた構成であった。しかしながら、ユーザ端末３に情報処理装置２を組み込んで、通信回線４を介さずに処理する構成とすることも可能である。
上記実施形態では、キャリブレーションに用いる円形パーツとしてはさみの留め具を用いていたが、画像に含ませる円形パーツとして、円形シール、指輪、円形パーツ付のブレスレット等を用いることも可能である。
上記実施形態では、情報処理装置２がぶどうの房づくり支援のための房づくり支援システム１として用いられたが、本発明は、ぶどうの房づくり以外の用途にも用いることが可能である。例えば、本発明は、はさみを用いる必要のある果樹の選定や摘果作業における対象物の寸法を計測する場面において広く使用することができる。このような場面においても、はさみの留め具を画像上の寸法と実寸法とのキャリブレーションに用いることで、特別の参照物を必要とせず、また、撮影距離や角度に依存せず、実寸法を推定することが可能である。さらに、農作業以外の業態においても、はさみを用いる場面において本発明を用いることで、実寸法を推定することが可能である。
１ ：支援システム
２ ：情報処理装置
３ ：ユーザ端末
４ ：通信回線
５ ：花穂
５ ：花穂群
６ ：はさみ
２０ ：制御部
２１ ：記憶部
２２ ：通信部
２３ ：操作入力部
２４ ：モニタ
２５ ：システムバス
３０ ：制御部
３１ ：記憶部
３２ ：通信部
３３ ：撮影部
３４ ：表示部
４０ ：画像取得部
４１ ：画像処理部
４１ａ ：花穂領域検出部
４１ｂ ：主軸特定部
４１ｃ ：円形パーツ検出部
４１ｃ１ ：検出部
４１ｃ２ ：留め具検出部
４１ｄ ：境界位置推定部
４２ ：出力画像生成部
５０ ：画像撮影部
５１ ：出力画像表示部
６０ ：留め具
Ａ１ ：花穂領域
Ａ２ ：凸包領域
Ａ３ ：はさみ領域
Ｂ ：バウンディングボックス
Ｇ ：房
Ｈ１ ：残すべき花穂
Ｈ２ ：切断すべき花穂
Ｌｒ ：現実の目標長さ
Ｌｐ ：画像上の目標長さ
Ｍ ：花穂主軸
Ｎ１，Ｎ２ ：交点
Ｐ１～Ｐ５ ：画像
Ｐ６ ：出力画像
Ｓ１ ：画像取得工程
Ｓ２ ：花穂領域検出工程
Ｓ３ ：主軸特定工程
Ｓ４ ：円形パーツ検出工程
Ｓ５ ：境界位置推定工程
Ｓ６ ：出力画像生成工程
Ｗ ：作業者
Ｗ１ ：範囲
Ｗ２ ：範囲
Ｘｐ ：現実の境界位置
Ｘｒ ：画像上の境界位置
２ ：情報処理装置
３ ：ユーザ端末
４ ：通信回線
５ ：花穂
５ ：花穂群
６ ：はさみ
２０ ：制御部
２１ ：記憶部
２２ ：通信部
２３ ：操作入力部
２４ ：モニタ
２５ ：システムバス
３０ ：制御部
３１ ：記憶部
３２ ：通信部
３３ ：撮影部
３４ ：表示部
４０ ：画像取得部
４１ ：画像処理部
４１ａ ：花穂領域検出部
４１ｂ ：主軸特定部
４１ｃ ：円形パーツ検出部
４１ｃ１ ：検出部
４１ｃ２ ：留め具検出部
４１ｄ ：境界位置推定部
４２ ：出力画像生成部
５０ ：画像撮影部
５１ ：出力画像表示部
６０ ：留め具
Ａ１ ：花穂領域
Ａ２ ：凸包領域
Ａ３ ：はさみ領域
Ｂ ：バウンディングボックス
Ｇ ：房
Ｈ１ ：残すべき花穂
Ｈ２ ：切断すべき花穂
Ｌｒ ：現実の目標長さ
Ｌｐ ：画像上の目標長さ
Ｍ ：花穂主軸
Ｎ１，Ｎ２ ：交点
Ｐ１～Ｐ５ ：画像
Ｐ６ ：出力画像
Ｓ１ ：画像取得工程
Ｓ２ ：花穂領域検出工程
Ｓ３ ：主軸特定工程
Ｓ４ ：円形パーツ検出工程
Ｓ５ ：境界位置推定工程
Ｓ６ ：出力画像生成工程
Ｗ ：作業者
Ｗ１ ：範囲
Ｗ２ ：範囲
Ｘｐ ：現実の境界位置
Ｘｒ ：画像上の境界位置
Claims (9)
- 情報処理装置であって、
花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、
前記花穂領域検出部は、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出部は、前記画像に含まれる円形パーツを検出し、
前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理装置。 - 請求項１に記載の情報処理装置であって、
前記円形パーツは前記ぶどうの花穂を切断するはさみの支点部分に設けられる円形の留め具であり、
前記円形パーツ検出部は、はさみ検出部と留め具検出部とを備えており、
前記はさみ検出部は、第１学習モデルに基づいて、前記画像上におけるはさみ領域を検出し、
前記留め具検出部は、前記第１学習モデルと異なる第２学習モデルに基づいて、前記はさみ領域から前記留め具の外接矩形領域を検出し、
前記境界位置推定部は、前記外接矩形領域の長辺の長さを前記留め具の大きさとする、情報処理装置。 - 請求項２に記載の情報処理装置であって、
前記花穂領域検出部は、前記第１学習モデルに基づいて前記花穂領域を検出する、情報処理装置。 - 請求項１～請求項３のいずれかに記載の情報処理装置であって、
前記主軸特定部は、前記花穂領域の凸包を求めるとともに凸包領域の主軸を前記花穂主軸とし、
前記境界位置推定部は、前記花穂主軸と前記凸包領域の交点を基準として前記境界位置を推定する、情報処理装置。 - 請求項１～請求項４のいずれかに記載の情報処理装置であって、
出力画像生成部をさらに備え、
前記出力画像生成部は、前記境界位置を示す出力画像を生成する、情報処理装置。 - システムであって、
画像撮影部と、画像処理部とを備え、
前記画像撮影部は、ぶどうの複数の花穂及び円形パーツを含む画像を撮影し、
前記画像処理部は、花穂領域検出部と、主軸特定部と、円形パーツ検出部と、境界位置推定部とを備え、
前記花穂領域検出部は、前記画像に含まれる前記複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定部は、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出部は、前記画像に含まれる前記円形パーツを検出し、
前記境界位置推定部は、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、システム。 - 請求項６に記載のシステムであって、
ユーザ端末と、情報処理装置とを備え、
前記ユーザ端末は、前記画像撮影部と、出力画像表示部を備え、
前記情報処理装置は、前記画像処理部と、出力画像生成部とを備えており、
前記出力画像生成部は、前記境界位置を示す出力画像を生成し、
前記出力画像表示部は、前記出力画像を表示する、システム。 - プログラムであって、
コンピュータに、花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを実行させ、
前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、
前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、プログラム。 - 情報処理方法であって、
花穂領域検出工程と、主軸特定工程と、円形パーツ検出工程と、境界位置推定工程とを備え、
前記花穂領域検出工程では、画像に含まれるぶどうの複数の花穂の前記画像上における領域である花穂領域を検出し、
前記主軸特定工程では、前記花穂領域の主軸である花穂主軸を特定し、
前記円形パーツ検出工程では、前記画像に含まれる円形パーツを検出し、
前記境界位置推定工程では、前記円形パーツの直径の実寸法と前記円形パーツの前記画像上の大きさとを用いてキャリブレーションを行うことにより、前記花穂主軸上において、前記画像上における前記複数の花穂のうちの残すべき花穂と切断すべき花穂の境界である境界位置を推定する、情報処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021203363A JP7049636B1 (ja) | 2021-12-15 | 2021-12-15 | 情報処理装置、プログラム、システム、及び情報処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021203363A JP7049636B1 (ja) | 2021-12-15 | 2021-12-15 | 情報処理装置、プログラム、システム、及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7049636B1 true JP7049636B1 (ja) | 2022-04-07 |
| JP2023088557A JP2023088557A (ja) | 2023-06-27 |
Family
ID=81259233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021203363A Active JP7049636B1 (ja) | 2021-12-15 | 2021-12-15 | 情報処理装置、プログラム、システム、及び情報処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7049636B1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207269432U (zh) | 2017-08-11 | 2018-04-27 | 杭州美人紫农业开发有限公司 | 替刃式葡萄花穗整形剪刀 |
| JP2018143214A (ja) | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
| CN111666883A (zh) | 2020-06-08 | 2020-09-15 | 佛山科学技术学院 | 一种葡萄采摘机器人目标识别及果梗夹切点定位方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5751507B1 (ja) * | 2014-08-27 | 2015-07-22 | 岡山県 | 無核ブドウの房作り方法、及びその方法によって生産される生食用ブドウ |
-
2021
- 2021-12-15 JP JP2021203363A patent/JP7049636B1/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018143214A (ja) | 2017-03-09 | 2018-09-20 | パナソニック株式会社 | 果梗位置推定装置および果梗位置推定方法 |
| CN207269432U (zh) | 2017-08-11 | 2018-04-27 | 杭州美人紫农业开发有限公司 | 替刃式葡萄花穗整形剪刀 |
| CN111666883A (zh) | 2020-06-08 | 2020-09-15 | 佛山科学技术学院 | 一种葡萄采摘机器人目标识别及果梗夹切点定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023088557A (ja) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
| US20200250466A1 (en) | Method for generating a customized/personalized head related transfer function | |
| US11861062B2 (en) | Blink-based calibration of an optical see-through head-mounted display | |
| JP6885935B2 (ja) | 眼の特徴を用いる眼ポーズ識別 | |
| US10255482B2 (en) | Interactive display for facial skin monitoring | |
| JP6594129B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| EP3830799A1 (en) | Virtual try-on systems and methods for spectacles | |
| CN111670018A (zh) | 用于定位患者和手术机器人的引导 | |
| JP2017509967A (ja) | ハフプロセッサ | |
| US11042730B2 (en) | Method, apparatus and device for determining an object, and storage medium for the same | |
| JP2015177397A (ja) | ヘッドマウントディスプレイおよび農作業補助システム | |
| WO2020252969A1 (zh) | 眼部关键点的标注及其检测模型的训练方法和装置 | |
| WO2021227969A1 (zh) | 一种数据处理方法及其设备 | |
| US11775058B2 (en) | Method and system for performing eye tracking using an off-axis camera | |
| KR102045228B1 (ko) | 신체 정보 분석 장치 및 얼굴형 모의 방법 | |
| CN105701496B (zh) | 一种基于人工智能技术的围棋盘面识别方法 | |
| JP7049636B1 (ja) | 情報処理装置、プログラム、システム、及び情報処理方法 | |
| US11250592B2 (en) | Information processing apparatus | |
| JP2019128748A (ja) | 視線校正データ生成装置、視線測定装置およびそれらのプログラム | |
| Goka et al. | Development of Tomato Harvest Support System Using Mixed Reality Head Mounted Display | |
| CN111784604A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| WO2023027712A1 (en) | Methods and systems for simultaneously reconstructing pose and parametric 3d human models in mobile devices | |
| JP2000306106A (ja) | ３次元有向体の定位方法及び画像処理装置 | |
| JP2021064043A (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220104 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220104 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220104 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20211217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7049636 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |