JPH05168335A - 果実収穫ロボツトの視覚装置 - Google Patents
果実収穫ロボツトの視覚装置Info
- Publication number
- JPH05168335A JPH05168335A JP35515691A JP35515691A JPH05168335A JP H05168335 A JPH05168335 A JP H05168335A JP 35515691 A JP35515691 A JP 35515691A JP 35515691 A JP35515691 A JP 35515691A JP H05168335 A JPH05168335 A JP H05168335A
- Authority
- JP
- Japan
- Prior art keywords
- fruit
- luminance
- camera
- image
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Harvesting Machines For Specific Crops (AREA)
Abstract
(57)【要約】
【目的】 果実収穫ロボットの視覚装置において、簡単
な処理で果実や葉を認識できるようにする。 【構成】 複数の画素からなる画面に対象物を撮像する
カメラと判定手段とを備え、該判定手段は、カメラの入
力画像中における各画素の輝度と各画素相互間の輝度差
より対象物を認識するように構成した。
な処理で果実や葉を認識できるようにする。 【構成】 複数の画素からなる画面に対象物を撮像する
カメラと判定手段とを備え、該判定手段は、カメラの入
力画像中における各画素の輝度と各画素相互間の輝度差
より対象物を認識するように構成した。
Description
【０００１】
【産業上の利用分野】本発明は、果実収穫ロボットに設
けられる収穫物探索用の視覚装置に関するものである。
けられる収穫物探索用の視覚装置に関するものである。
【０００２】
【従来の技術】栽培作物の植付条に沿って自走しつつ、
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、従来、イメージ
センサカメラに撮像された画像を輝度が一定以上の部分
と輝度が一定未満の部分に２値化することにより対象物
の輪郭を抽出し、その輪郭で囲まれた部分の大きさやタ
テ・ヨコの寸法比から果実と葉を識別するように構成さ
れていた。
成熟した果実を自動的に収穫するようにした果実収穫ロ
ボットが開発されている。この種の果実収穫ロボットに
設けられる収穫物探索用の視覚装置は、従来、イメージ
センサカメラに撮像された画像を輝度が一定以上の部分
と輝度が一定未満の部分に２値化することにより対象物
の輪郭を抽出し、その輪郭で囲まれた部分の大きさやタ
テ・ヨコの寸法比から果実と葉を識別するように構成さ
れていた。
【０００３】
【発明が解決しようとする課題】しかしながら、上記画
像処理には複雑な手順を踏まなければならなかったの
で、従来の視覚装置は処理に時間を要するという問題が
あった。
像処理には複雑な手順を踏まなければならなかったの
で、従来の視覚装置は処理に時間を要するという問題が
あった。
【０００４】
【課題を解決するための手段】上記課題を解決するため
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットの視覚装置は、対象物を撮像
するカメラと、該カメラの入力画像中における各画素の
輝度レベルが所定値以上であり、かつ各画素相互間の輝
度差が所定の幅内にある場合に対象物が果実であると判
定する判定手段とを有することを特徴としている。
に、本発明は次のような構成とした。すなわち、本発明
にかかる果実収穫ロボットの視覚装置は、対象物を撮像
するカメラと、該カメラの入力画像中における各画素の
輝度レベルが所定値以上であり、かつ各画素相互間の輝
度差が所定の幅内にある場合に対象物が果実であると判
定する判定手段とを有することを特徴としている。
【０００５】
【作用】きゅうり等の果実は表面が比較的平滑であるの
で、果実の部分はカメラ入力画像中における各画素相互
間の輝度差が小さい。これに対して、葉の表面には凹凸
があるので、葉の部分はカメラ入力画像中における各画
素相互間の輝度差が大きい。この特徴を利用し、カメラ
に撮像された画像を輝度が一定以上の部分と輝度が一定
未満の部分に２値化して対象物を背景から抽出した後、
一定輝度値以上の部分の各画素相互間の輝度差を求め、
その輝度差が所定の幅内にある場合に対象物が果実であ
ると判定する。
で、果実の部分はカメラ入力画像中における各画素相互
間の輝度差が小さい。これに対して、葉の表面には凹凸
があるので、葉の部分はカメラ入力画像中における各画
素相互間の輝度差が大きい。この特徴を利用し、カメラ
に撮像された画像を輝度が一定以上の部分と輝度が一定
未満の部分に２値化して対象物を背景から抽出した後、
一定輝度値以上の部分の各画素相互間の輝度差を求め、
その輝度差が所定の幅内にある場合に対象物が果実であ
ると判定する。
【０００６】
【実施例】図２はきゅうり用果実収穫ロボットの使用状
態をあらわしている。この果実収穫ロボット１は、移動
手段として電動式の走行部２を備え、該走行部の上に果
実収穫用のマニピュレータ３、収穫物探索用の視覚装置
５等を設置してなる。この果実収穫ロボット１が使用さ
れる栽培場では、斜めに設けた支持体７にきゅうりの樹
体８を支持させている。
態をあらわしている。この果実収穫ロボット１は、移動
手段として電動式の走行部２を備え、該走行部の上に果
実収穫用のマニピュレータ３、収穫物探索用の視覚装置
５等を設置してなる。この果実収穫ロボット１が使用さ
れる栽培場では、斜めに設けた支持体７にきゅうりの樹
体８を支持させている。
【０００７】マニピュレータ３は、対面する樹体８の傾
斜とほぼ平行になるよう傾斜させた傾斜枠１０と、該傾
斜枠のガイドレール１１に沿って昇降自在に取り付けた
基台１２と、該基台の上に水平面内で回動自在に設けた
本体部１３と、該本体部に設けた関節型アーム１４と、
該関節型アームの先端に設けた摘果用ハンド部１５とか
らなる。傾斜枠１０は、ヒンジ１６にて走行部２に枢支
され、背面側を支持リンク１７で支えられている。支持
リンク１７の下端部は長穴１８の適所に止着するように
なっており、その止着位置を変えることにより傾斜枠１
０の傾斜角度を任意に調節することができる。マニピュ
レータ３の各部を適当に作動させることにより、ハンド
部１５を対象果実に接近させる。摘果用ハンド部１５
は、果実を把握してその果柄を切断するように構成され
ている。
斜とほぼ平行になるよう傾斜させた傾斜枠１０と、該傾
斜枠のガイドレール１１に沿って昇降自在に取り付けた
基台１２と、該基台の上に水平面内で回動自在に設けた
本体部１３と、該本体部に設けた関節型アーム１４と、
該関節型アームの先端に設けた摘果用ハンド部１５とか
らなる。傾斜枠１０は、ヒンジ１６にて走行部２に枢支
され、背面側を支持リンク１７で支えられている。支持
リンク１７の下端部は長穴１８の適所に止着するように
なっており、その止着位置を変えることにより傾斜枠１
０の傾斜角度を任意に調節することができる。マニピュ
レータ３の各部を適当に作動させることにより、ハンド
部１５を対象果実に接近させる。摘果用ハンド部１５
は、果実を把握してその果柄を切断するように構成され
ている。
【０００８】視覚装置５は、緑の色相成分のみを通すフ
ィルタ２０を有するイメージセンサカメラ（ＣＣＤカメ
ラ）２１と、該カメラの視野内にある対象物に閃光を当
てるストロボ２２を備えている。図１は視覚装置５の構
成をあらわすブロック図であり、コントローラ２３から
画像取込指令が出されると、ストロボ発光回路２４で発
生したストロボ発光指令によってストロボ２２が発光す
ると共に、ＣＣＤカメラ２１で撮像された画像データが
画像メモリ２５から判定手段である処理回路２６に取り
込まれる。処理回路２６で果実や葉の位置を検出し、そ
の位置データに基づいてコントローラ２３からマニピュ
レータ３に出力指令が出される。
ィルタ２０を有するイメージセンサカメラ（ＣＣＤカメ
ラ）２１と、該カメラの視野内にある対象物に閃光を当
てるストロボ２２を備えている。図１は視覚装置５の構
成をあらわすブロック図であり、コントローラ２３から
画像取込指令が出されると、ストロボ発光回路２４で発
生したストロボ発光指令によってストロボ２２が発光す
ると共に、ＣＣＤカメラ２１で撮像された画像データが
画像メモリ２５から判定手段である処理回路２６に取り
込まれる。処理回路２６で果実や葉の位置を検出し、そ
の位置データに基づいてコントローラ２３からマニピュ
レータ３に出力指令が出される。
【０００９】処理回路２６では、葉の検出に際し図３の
フローチャートに示す処理を行う。まず、ＣＣＤカメラ
２１の入力画像（図４参照）を水平方向に走査し、各画
素ごとの輝度を検出する。例えば、Ａ−Ａ´の輝度が図
５のようであったとする。果実の表面は比較的平滑であ
るので、果実部分の輝度変化は小さい。これに対して、
葉の表面には産毛等があるため、葉部分の輝度変化は大
きい。次に、輝度曲線のピークを求め、その位置をサン
プリングする（図６参照）。各サンプリングパルスの間
隔ｔを算出し、ｔ1 ＜ｔ＜ｔ2 となる点を求め、その点
をマーキングする（図７参照）。なお、ｔ1 およびｔ2
は葉の特性を合わせて予め設定された設定値である。同
様の処理を垂直方向に走査して行い、各マーキング点を
プロットする（図８参照）。果実部分は輝度変化がほと
んでないので消失し、輝度変化の大きい葉部分だけが抽
出される。そして、図９に示すように画面を適当間隔に
分割して各セルごとにコードを付け、葉の位置をコード
名であらわし葉位置データとする。
フローチャートに示す処理を行う。まず、ＣＣＤカメラ
２１の入力画像（図４参照）を水平方向に走査し、各画
素ごとの輝度を検出する。例えば、Ａ−Ａ´の輝度が図
５のようであったとする。果実の表面は比較的平滑であ
るので、果実部分の輝度変化は小さい。これに対して、
葉の表面には産毛等があるため、葉部分の輝度変化は大
きい。次に、輝度曲線のピークを求め、その位置をサン
プリングする（図６参照）。各サンプリングパルスの間
隔ｔを算出し、ｔ1 ＜ｔ＜ｔ2 となる点を求め、その点
をマーキングする（図７参照）。なお、ｔ1 およびｔ2
は葉の特性を合わせて予め設定された設定値である。同
様の処理を垂直方向に走査して行い、各マーキング点を
プロットする（図８参照）。果実部分は輝度変化がほと
んでないので消失し、輝度変化の大きい葉部分だけが抽
出される。そして、図９に示すように画面を適当間隔に
分割して各セルごとにコードを付け、葉の位置をコード
名であらわし葉位置データとする。
【００１０】また、果実の検出に際しては図１０のフロ
ーチャートに示す処理を行う。前述の如く各画素ごとの
輝度を検出した後、画面の平均輝度に基づいて２値化レ
ベルａを設定し、該２値化レベル以上の画素をサンプリ
ングする（図１１参照）。このサンプリングパルスの幅
ｕを計測し、ｕ1 ＜ｕ＜ｕ2 となる部分を果実とする。
きゅうりの場合、ｕ1 ＝１５cm程度、ｕ2 ＝２５cm程度
である。同様の処理を垂直方向に走査して行い、各マー
キング帯をプロットする（図１２参照）。葉の部分は輝
度変化が大きく、ｔ1 ＜ｔ＜ｔ2 の上限を満たさないの
で、図１２の処理画面上から消失し、輝度変化の小さい
果実だけが抽出される。そして、図１３に示すように画
面を適当間隔に分割して各セルごとにコードを付け、果
実の位置をコード名であらわし果実位置データとする。
ーチャートに示す処理を行う。前述の如く各画素ごとの
輝度を検出した後、画面の平均輝度に基づいて２値化レ
ベルａを設定し、該２値化レベル以上の画素をサンプリ
ングする（図１１参照）。このサンプリングパルスの幅
ｕを計測し、ｕ1 ＜ｕ＜ｕ2 となる部分を果実とする。
きゅうりの場合、ｕ1 ＝１５cm程度、ｕ2 ＝２５cm程度
である。同様の処理を垂直方向に走査して行い、各マー
キング帯をプロットする（図１２参照）。葉の部分は輝
度変化が大きく、ｔ1 ＜ｔ＜ｔ2 の上限を満たさないの
で、図１２の処理画面上から消失し、輝度変化の小さい
果実だけが抽出される。そして、図１３に示すように画
面を適当間隔に分割して各セルごとにコードを付け、果
実の位置をコード名であらわし果実位置データとする。
【００１１】図１４は果実の異なる検出方法のフローチ
ャートである。この検出方法は、２値化輝度レベル値ａ
と前記果実検出時に求めたサンプリングパルスの幅ｕの
積Ｖを算出する（Ｖ＝ａ×ｕ）。同様の処理を垂直方向
に走査して行い、得られた積Ｖの総和ΣＶを設定値Ｖ
1 ，Ｖ2 と比較し、Ｖ1 ＜ΣＶ＜Ｖ2 である領域を果実
であると判定する。積Ｖの総和ΣＶは、図１５に示す如
く、仮想体積をあらわすものである。ΣＶ＞Ｖ2 である
ものは、例えば、太陽の直射光等を撮像したものである
と考えられる。
ャートである。この検出方法は、２値化輝度レベル値ａ
と前記果実検出時に求めたサンプリングパルスの幅ｕの
積Ｖを算出する（Ｖ＝ａ×ｕ）。同様の処理を垂直方向
に走査して行い、得られた積Ｖの総和ΣＶを設定値Ｖ
1 ，Ｖ2 と比較し、Ｖ1 ＜ΣＶ＜Ｖ2 である領域を果実
であると判定する。積Ｖの総和ΣＶは、図１５に示す如
く、仮想体積をあらわすものである。ΣＶ＞Ｖ2 である
ものは、例えば、太陽の直射光等を撮像したものである
と考えられる。
【００１２】得られた果実位置データと葉位置データを
コントローラ２３に入力し、以後の果実収穫ロボット１
の動作決定に利用する。画面上に果実が単独で存在して
いるときは、ハンド部１５が直線的に果実に接近するよ
うにマニピュレータ３を作動させればよい。画面上に果
実と葉の両方が存在し、葉がハンド部の移動や摘果の障
害となる場合は、ハンド部１５が葉を回避して移動させ
るように制御したり、邪魔な葉を払いのけるようにハン
ド部１５を移動させるように制御する。
コントローラ２３に入力し、以後の果実収穫ロボット１
の動作決定に利用する。画面上に果実が単独で存在して
いるときは、ハンド部１５が直線的に果実に接近するよ
うにマニピュレータ３を作動させればよい。画面上に果
実と葉の両方が存在し、葉がハンド部の移動や摘果の障
害となる場合は、ハンド部１５が葉を回避して移動させ
るように制御したり、邪魔な葉を払いのけるようにハン
ド部１５を移動させるように制御する。
【００１３】前記２値化レベルａを決定するに際し、図
１６のフローチャートに示すように、高輝度レベル値か
ら段階的にレベルを下げてゆき、画像中に果実が検出さ
れた時点のレベル値を２値化レベル値とするよう制御す
る。このように２値化レベル値を決定すると、背景の明
るさの変動に対応させることができる。
１６のフローチャートに示すように、高輝度レベル値か
ら段階的にレベルを下げてゆき、画像中に果実が検出さ
れた時点のレベル値を２値化レベル値とするよう制御す
る。このように２値化レベル値を決定すると、背景の明
るさの変動に対応させることができる。
【００１４】また、カメラと対象物の距離を測定する距
離測定器を備えた視覚装置の場合、外乱光等によるノイ
ズと果実を明確に区別するために、図１７のフローチャ
ートに示す制御を行う。αはノイズであるか否かを判定
するための基準とする規定値であり、カメラと果実との
距離係数が近い場合はこの規定値αに距離係数ｆ（ｄ）
を掛けて規定値を補正する（補正後の規定値α´）。
離測定器を備えた視覚装置の場合、外乱光等によるノイ
ズと果実を明確に区別するために、図１７のフローチャ
ートに示す制御を行う。αはノイズであるか否かを判定
するための基準とする規定値であり、カメラと果実との
距離係数が近い場合はこの規定値αに距離係数ｆ（ｄ）
を掛けて規定値を補正する（補正後の規定値α´）。
【００１５】
【発明の効果】以上に説明した如く、本発明にかかる果
実収穫ロボットの視覚装置は、カメラの入力画像中にお
ける各画素の輝度と各画素相互間の輝度差より果実を認
識するように構成されており、画像中における果実と葉
の輝度分布の違いを利用して両者を識別することによ
り、比較的簡単な処理で果実や葉を識別できるようにな
った。
実収穫ロボットの視覚装置は、カメラの入力画像中にお
ける各画素の輝度と各画素相互間の輝度差より果実を認
識するように構成されており、画像中における果実と葉
の輝度分布の違いを利用して両者を識別することによ
り、比較的簡単な処理で果実や葉を識別できるようにな
った。
【図１】視覚装置のブロックである。
【図２】果実収穫ロボットの使用状態を示す図である。
【図３】第１の制御のフローチャートである。
【図４】カメラ入力画像の図である。
【図５】輝度分布を示す図である。
【図６】第１の制御における処理過程を説明する図であ
る。
る。
【図７】第１の制御における処理過程を説明する図であ
る。
る。
【図８】第１の制御における処理過程を説明する図であ
る。
る。
【図９】第１の制御における処理過程を説明する図であ
る。
る。
【図１０】第２の制御のフローチャートである。
【図１１】第２の制御における処理過程を説明する図で
ある。
ある。
【図１２】第２の制御における処理過程を説明する図で
ある。
ある。
【図１３】第２の制御における処理過程を説明する図で
ある。
ある。
【図１４】第３の制御のフローチャートである。
【図１５】第３の制御における処理過程を説明する図で
ある。
ある。
【図１６】第４の制御のフローチャートである。
【図１７】第５の制御のフローチャートである。
１ 果実収穫ロボット ３ マニピュレータ ５ 視覚装置 １５ 摘果用ハンド部 ２１ イメージセンサカメラ ２２ ストロボ ２６ 処理回路（判定手段）
Claims (1)
- 【請求項１】 対象物を撮像するカメラと、該カメラの
入力画像中における各画素の輝度レベルが所定値以上で
あり、かつ各画素相互間の輝度差が所定の幅内にある場
合に対象物が果実であると判定する判定手段とを有する
ことを特徴とする果実収穫ロボットの視覚装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35515691A JPH05168335A (ja) | 1991-12-19 | 1991-12-19 | 果実収穫ロボツトの視覚装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35515691A JPH05168335A (ja) | 1991-12-19 | 1991-12-19 | 果実収穫ロボツトの視覚装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05168335A true JPH05168335A (ja) | 1993-07-02 |
Family
ID=18442274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35515691A Pending JPH05168335A (ja) | 1991-12-19 | 1991-12-19 | 果実収穫ロボツトの視覚装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05168335A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| JP2011115044A (ja) * | 2008-09-18 | 2011-06-16 | National Agriculture & Food Research Organization | 果菜類の果房収穫装置及び果菜類の選択収穫方法 |
| JP2011229406A (ja) * | 2010-04-23 | 2011-11-17 | Ihi Corp | 自動収穫装置 |
-
1991
- 1991-12-19 JP JP35515691A patent/JPH05168335A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
| JP2011115044A (ja) * | 2008-09-18 | 2011-06-16 | National Agriculture & Food Research Organization | 果菜類の果房収穫装置及び果菜類の選択収穫方法 |
| JP2011229406A (ja) * | 2010-04-23 | 2011-11-17 | Ihi Corp | 自動収穫装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8600117B2 (en) | Automatic measurement system and method for plant features, and recording medium thereof | |
| US7808682B2 (en) | Image scanning system | |
| CN111307812A (zh) | 基于机器视觉的焊点外观检测方法 | |
| JP2000193601A (ja) | 表面欠陥検査装置 | |
| JPH05168335A (ja) | 果実収穫ロボツトの視覚装置 | |
| JP3277529B2 (ja) | 果実収穫ロボット | |
| JPH0554124A (ja) | 果実収穫ロボツト等の視覚装置 | |
| JPH05174130A (ja) | 果実収穫ロボツトの視覚装置 | |
| JP3336663B2 (ja) | 果菜収穫ロボット等の視覚装置 | |
| JP3451656B2 (ja) | 果菜類収穫機 | |
| JPH08103138A (ja) | 果菜類の収穫装置 | |
| JP3277530B2 (ja) | 果実収穫ロボツトの視覚装置 | |
| JPH05168333A (ja) | 果実収穫ロボツト | |
| JPH08266153A (ja) | 作物検出装置 | |
| JP3489210B2 (ja) | 果菜収穫機の果菜類検出装置 | |
| JPH0554125A (ja) | 果実収穫ロボツトの視覚装置 | |
| CN210456593U (zh) | 取物装置及探测装置 | |
| JPH08154450A (ja) | 果実認識装置 | |
| JPH0944650A (ja) | 果実認識装置 | |
| JP2813766B2 (ja) | 自動選別区分方法及び選別区分システム | |
| JP3396905B2 (ja) | 果菜収穫機の果菜類検出方式 | |
| JP3239280B2 (ja) | 果菜収穫機の果菜類中心線検出方式 | |
| JP2000262659A (ja) | ボール弾道の計測装置 | |
| JPH08122726A (ja) | 液晶パネル検査装置 | |
| JPH09163853A (ja) | 果実の画像処理装置 |