JPH0554125A - 果実収穫ロボツトの視覚装置 - Google Patents
果実収穫ロボツトの視覚装置Info
- Publication number
- JPH0554125A JPH0554125A JP23536791A JP23536791A JPH0554125A JP H0554125 A JPH0554125 A JP H0554125A JP 23536791 A JP23536791 A JP 23536791A JP 23536791 A JP23536791 A JP 23536791A JP H0554125 A JPH0554125 A JP H0554125A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- fruit
- fruits
- visual device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 title claims description 18
- 238000003306 harvesting Methods 0.000 title claims description 15
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 240000008067 Cucumis sativus Species 0.000 description 5
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 4
- 235000009849 Cucumis sativus Nutrition 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Harvesting Machines For Specific Crops (AREA)
- Geophysics And Detection Of Objects (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 果実と果実以外の物体が同時にカメラに入像
された場合に、それぞれを正確に分離して識別できるよ
うにする。 【構成】 対象物を撮像するカメラと、該カメラの入力
画像中から果実以外の物体を抽出する抽出手段と、この
物体の輝度の平均値を記憶する記憶手段と、次回カメラ
画像入力時に前記記憶値を基準として果実とそれ以外の
物体とを分離して識別する識別手段を備えている。
された場合に、それぞれを正確に分離して識別できるよ
うにする。 【構成】 対象物を撮像するカメラと、該カメラの入力
画像中から果実以外の物体を抽出する抽出手段と、この
物体の輝度の平均値を記憶する記憶手段と、次回カメラ
画像入力時に前記記憶値を基準として果実とそれ以外の
物体とを分離して識別する識別手段を備えている。
Description
【０００１】
【産業上の利用分野】本発明は、果実収穫ロボットに設
けられる収穫物探索用の視覚装置に関するものである。
けられる収穫物探索用の視覚装置に関するものである。
【０００２】
【従来の技術】栽培作物の植付条に沿って自走しつつ、
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、果実固有の色相
成分の光のみを通すフィルタを有するイメージセンサカ
メラを備え、該イメージセンサカメラで撮像された像を
２値化することにより、収穫可能な果実を検出するよう
になっているものが多い。
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、果実固有の色相
成分の光のみを通すフィルタを有するイメージセンサカ
メラを備え、該イメージセンサカメラで撮像された像を
２値化することにより、収穫可能な果実を検出するよう
になっているものが多い。
【０００３】
【発明が解決しようとする課題】しかしながら、栽培作
物がきゅうりの場合、果実と葉の色相が共に緑色である
ので、緑色の色相成分の光だけを撮像するイメージセン
サカメラで撮った画像には果実と葉の両方が検出され
る。このため、画像の大きさ・形状や輝度に基づいて識
別のための処理を行っていたが、正確に識別するのは困
難であった。そこで本発明は、例えばきゅうり等のよう
に、果実以外に葉や茎もカメラに入像される作物の場合
でも、それぞれを正確に分離して識別できるようにする
ことを課題としている。
物がきゅうりの場合、果実と葉の色相が共に緑色である
ので、緑色の色相成分の光だけを撮像するイメージセン
サカメラで撮った画像には果実と葉の両方が検出され
る。このため、画像の大きさ・形状や輝度に基づいて識
別のための処理を行っていたが、正確に識別するのは困
難であった。そこで本発明は、例えばきゅうり等のよう
に、果実以外に葉や茎もカメラに入像される作物の場合
でも、それぞれを正確に分離して識別できるようにする
ことを課題としている。
【０００４】
【課題を解決するための手段】上記課題を解決するため
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットの視覚装置は、対象物を撮像
するカメラと、該カメラの入力画像中で明らかに果実と
異なる物体の輝度の平均値を記憶する記憶手段と、次回
カメラ画像入力時に前記記憶値を基準として果実とそれ
以外の物体とを分離して識別する識別手段とを備えたこ
とを特徴としている。
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットの視覚装置は、対象物を撮像
するカメラと、該カメラの入力画像中で明らかに果実と
異なる物体の輝度の平均値を記憶する記憶手段と、次回
カメラ画像入力時に前記記憶値を基準として果実とそれ
以外の物体とを分離して識別する識別手段とを備えたこ
とを特徴としている。
【０００５】
【作用】カメラの入力画像中から果実以外の物体を抽出
し、その輝度の平均値を記憶する。次回カメラ画像を入
力する時に前記記憶値を基準として果実とそれ以外の物
体とを分離する。
し、その輝度の平均値を記憶する。次回カメラ画像を入
力する時に前記記憶値を基準として果実とそれ以外の物
体とを分離する。
【０００６】
【実施例】図２はきゅうり用果実収穫ロボットの使用状
態をあらわしている。この果実収穫ロボット１は、移動
手段として電動式の走行台車２を備え、該走行台車の上
にガイドレール３を有する傾斜枠４を設置し、これに果
実収穫用マニピュレータ６と視覚装置７が昇降自在に設
けられている。傾斜枠４は、ヒンジ８にて走行台車２に
枢支され、背面側を支持リンク９で支えられている。支
持リンク９の下端部は長穴１０の適所に止着するように
なっており、その止着位置を変えることにより傾斜枠４
の傾斜角度を任意に調節することができる。
態をあらわしている。この果実収穫ロボット１は、移動
手段として電動式の走行台車２を備え、該走行台車の上
にガイドレール３を有する傾斜枠４を設置し、これに果
実収穫用マニピュレータ６と視覚装置７が昇降自在に設
けられている。傾斜枠４は、ヒンジ８にて走行台車２に
枢支され、背面側を支持リンク９で支えられている。支
持リンク９の下端部は長穴１０の適所に止着するように
なっており、その止着位置を変えることにより傾斜枠４
の傾斜角度を任意に調節することができる。
【０００７】マニピュレータ６は、前記ガイドレール３
に沿って昇降可能な基台１２と、該基台上に水平面内で
回動自在に設けた本体部１３と、該本体部に設けた関節
型アーム１４と、該関節型アームの先端部に設けた摘果
ハンド１５とからなる。関節型アーム１４は、本体部側
の上腕部１７と摘果ハンド側の前腕部１８をエルボ部１
９を介して連結したもので、人の腕と同様に、アーム全
体の上下回動、屈伸、摘果ハンド１５の上下回動が可能
となっている。関節型アーム１４を屈曲させたとき、エ
ルボ部１９が下側にくるように折れ曲がる。摘果ハンド
１５は、果実を把握してその果柄を切断するように構成
されている。
に沿って昇降可能な基台１２と、該基台上に水平面内で
回動自在に設けた本体部１３と、該本体部に設けた関節
型アーム１４と、該関節型アームの先端部に設けた摘果
ハンド１５とからなる。関節型アーム１４は、本体部側
の上腕部１７と摘果ハンド側の前腕部１８をエルボ部１
９を介して連結したもので、人の腕と同様に、アーム全
体の上下回動、屈伸、摘果ハンド１５の上下回動が可能
となっている。関節型アーム１４を屈曲させたとき、エ
ルボ部１９が下側にくるように折れ曲がる。摘果ハンド
１５は、果実を把握してその果柄を切断するように構成
されている。
【０００８】視覚装置７は、図１のブロック図に示す如
く、緑色の色相成分だけを通すフィルタを有するイメー
ジセンサカメラ（ＣＣＤ）３１と、該カメラの入力光量
を検出する光量検出器３２と、これらからの入力信号を
処理する分析・識別手段としてのＣＰＵ３３と、該ＣＰ
Ｕに連結した記憶手段としてのメモリ３４とからなる。
く、緑色の色相成分だけを通すフィルタを有するイメー
ジセンサカメラ（ＣＣＤ）３１と、該カメラの入力光量
を検出する光量検出器３２と、これらからの入力信号を
処理する分析・識別手段としてのＣＰＵ３３と、該ＣＰ
Ｕに連結した記憶手段としてのメモリ３４とからなる。
【０００９】カメラ画像が入力されると、光量検出器３
２でその入力光量を検出し、入力光量が規定範囲内にな
るようにカメラ３１の絞り３１ａを調整する。そして、
カメラ３１が取り込んだ画像を、物体が存在する部分を
「１」、背景部分を「０」として２値化する（図３参
照）。図４は入力光量と絞り量の関係を示す図で、入力
光量が規定値ａ乃至ｂの範囲内に収まるようにするので
ある。
２でその入力光量を検出し、入力光量が規定範囲内にな
るようにカメラ３１の絞り３１ａを調整する。そして、
カメラ３１が取り込んだ画像を、物体が存在する部分を
「１」、背景部分を「０」として２値化する（図３参
照）。図４は入力光量と絞り量の関係を示す図で、入力
光量が規定値ａ乃至ｂの範囲内に収まるようにするので
ある。
【００１０】次に、このようにして得た２値化画像の輪
郭線を求める。この画像中に葉、茎等の果実以外の物体
が存在するかを判断し、存在する場合はそれを抽出し、
その部分、すなわち明らかに果実と異なるものの輝度平
均値αを求め、その値をメモリ３４に記憶しておく。次
回、カメラが果実と葉、茎等と同時に取り込んだ時、前
記輝度平均値αをしきい値として果実とそれ以外の物体
とを分離識別する（図５参照）。例えば、前回入画時に
おけるカメラ画像の輝度分布が図６にようになっていた
とする。Ａはきゅうりの部分、Ｂは葉の部分、αは葉の
部分Ｂの平均輝度である。そして、現在のカメラ画像の
輝度分布が図７のようになったとすれば、輝度がα以上
の部分がきゅうりであると迅速に判断できる。前述の如
く、カメラ画像の入力光量を調整することにより、外光
量の変化に随時対応させることができ、一定の精度で画
像を分離識別可能となる。
郭線を求める。この画像中に葉、茎等の果実以外の物体
が存在するかを判断し、存在する場合はそれを抽出し、
その部分、すなわち明らかに果実と異なるものの輝度平
均値αを求め、その値をメモリ３４に記憶しておく。次
回、カメラが果実と葉、茎等と同時に取り込んだ時、前
記輝度平均値αをしきい値として果実とそれ以外の物体
とを分離識別する（図５参照）。例えば、前回入画時に
おけるカメラ画像の輝度分布が図６にようになっていた
とする。Ａはきゅうりの部分、Ｂは葉の部分、αは葉の
部分Ｂの平均輝度である。そして、現在のカメラ画像の
輝度分布が図７のようになったとすれば、輝度がα以上
の部分がきゅうりであると迅速に判断できる。前述の如
く、カメラ画像の入力光量を調整することにより、外光
量の変化に随時対応させることができ、一定の精度で画
像を分離識別可能となる。
【００１１】さらに、精度を向上させるためには、次の
ように処理を行ってもよい。すなわち、カメラ入力画像
整を図９に示すように細分割（図示例では５分割）し、
分割された部分ごとの平均輝度を求め、この平均輝度に
基づいて各分割画面を２値化するのである（図８参
照）。このように処理すると、輝度むらの影響を極力排
除し、正確な果実の輪郭を検出することができる。
ように処理を行ってもよい。すなわち、カメラ入力画像
整を図９に示すように細分割（図示例では５分割）し、
分割された部分ごとの平均輝度を求め、この平均輝度に
基づいて各分割画面を２値化するのである（図８参
照）。このように処理すると、輝度むらの影響を極力排
除し、正確な果実の輪郭を検出することができる。
【００１２】視覚装置７が収穫可能な果実を見つける
と、マニピュレータ６が所定の動作を行い当該果実を収
穫する。視覚装置７の視野内の果実を全て収穫し終える
と、視覚装置７の向きを変えて果実の収穫を繰り返す。
マニピュレータ６の全作業範囲内の果実をすべて収穫し
終えると、走行台車２を移動させて次の株に移動する。
と、マニピュレータ６が所定の動作を行い当該果実を収
穫する。視覚装置７の視野内の果実を全て収穫し終える
と、視覚装置７の向きを変えて果実の収穫を繰り返す。
マニピュレータ６の全作業範囲内の果実をすべて収穫し
終えると、走行台車２を移動させて次の株に移動する。
【００１３】
【発明の効果】以上に説明した如く、本発明にかかる果
実収穫ロボットの視覚装置は、前回カメラ画像入力時に
記憶しておいた果実以外の物体の平均輝度を次回カメラ
画像入力時にフィードバックすることにより、果実とそ
れ以外の物体との分離識別操作を正確かつ迅速に行える
ようになった。
実収穫ロボットの視覚装置は、前回カメラ画像入力時に
記憶しておいた果実以外の物体の平均輝度を次回カメラ
画像入力時にフィードバックすることにより、果実とそ
れ以外の物体との分離識別操作を正確かつ迅速に行える
ようになった。
【図１】視覚装置のブロックである。
【図２】果実収穫ロボットの使用状態を示す図である。
【図３】第１の視覚装置制御のフローチャートである。
【図４】カメラの入力光量と絞り量の関係を示す図であ
る。
る。
【図５】第２の視覚装置制御のフローチャートである。
【図６】カメラ画像中における輝度分布の１例を示す図
である。
である。
【図７】図６とは異なる輝度分布を示す図である。
【図８】第３の視覚装置制御のフローチャートである。
【図９】第３の視覚装置制御の説明を補足するため説明
図である。
図である。
１ 果実収穫ロボット ６ マニピュレータ ７ 視覚装置 １５ 摘果ハンド ３１ イメージセンサカメラ ３２ 光量検出器 ３３ ＣＰＵ（識別手段） ３４ メモリ（記憶手段）
Claims (1)
- 【請求項１】 対象物を撮像するカメラと、該カメラの
入力画像中で明らかに果実と異なる物体の輝度の平均値
を記憶する記憶手段と、次回カメラ画像入力時に前記記
憶値を基準として果実とそれ以外の物体とを分離して識
別する識別手段とを備えた果実収穫ロボットの視覚装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23536791A JPH0554125A (ja) | 1991-08-21 | 1991-08-21 | 果実収穫ロボツトの視覚装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23536791A JPH0554125A (ja) | 1991-08-21 | 1991-08-21 | 果実収穫ロボツトの視覚装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0554125A true JPH0554125A (ja) | 1993-03-05 |
Family
ID=16985038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23536791A Pending JPH0554125A (ja) | 1991-08-21 | 1991-08-21 | 果実収穫ロボツトの視覚装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0554125A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2296452A1 (es) * | 2005-06-29 | 2008-04-16 | Universidad Politecnica De Madrid | Detector de pedunculos y tallos vegetales basado en la designacion optica con laser de linea. |
-
1991
- 1991-08-21 JP JP23536791A patent/JPH0554125A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2296452A1 (es) * | 2005-06-29 | 2008-04-16 | Universidad Politecnica De Madrid | Detector de pedunculos y tallos vegetales basado en la designacion optica con laser de linea. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102072883B (zh) | 农作物种子综合品质检测装置及方法 | |
| Fu et al. | A novel image processing algorithm to separate linearly clustered kiwifruits | |
| Zhao et al. | On-tree fruit recognition using texture properties and color data | |
| EP3552474A1 (en) | A system for controlling an operative parameter of a harvesting header | |
| Sites et al. | Computer vision to locate fruit on a tree | |
| CN102680414B (zh) | 基于机器视觉的红提葡萄自动分级装置及其方法 | |
| ES8600845A1 (es) | Procedimiento y aparato para recolectar frutas de arboles frutales | |
| CN210465246U (zh) | 小麦感染赤霉病等级及病粒率高光谱无损检测装置的光谱采集装置 | |
| JP3277529B2 (ja) | 果実収穫ロボット | |
| JP3139074B2 (ja) | 果実収穫ロボット等の視覚装置 | |
| CN108972556B (zh) | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 | |
| JPH0554125A (ja) | 果実収穫ロボツトの視覚装置 | |
| JP6721218B2 (ja) | ブドウ粒計数方法 | |
| JP3503207B2 (ja) | 収穫ロボットの果実識別装置 | |
| JP6929136B2 (ja) | 果実検出装置および果実検出方法 | |
| JP3489210B2 (ja) | 果菜収穫機の果菜類検出装置 | |
| CN112775032B (zh) | 一种水果分拣方法、装置及柔性机器人 | |
| JPH05168335A (ja) | 果実収穫ロボツトの視覚装置 | |
| JPH06261622A (ja) | 果菜収穫ロボット等の視覚装置 | |
| JPH09163853A (ja) | 果実の画像処理装置 | |
| JPH04184573A (ja) | 果実収穫機等の視覚装置 | |
| CA3111952A1 (en) | Mushroom harvesting vision system and method of harvesting mushrooms using said system | |
| CN212397337U (zh) | 残次品挑选系统 | |
| JPH05168333A (ja) | 果実収穫ロボツト | |
| JPH05174130A (ja) | 果実収穫ロボツトの視覚装置 |