JPH0265725A - Introducing device in harvester of fruit vegetable - Google Patents

Introducing device in harvester of fruit vegetable

Info

Publication number
JPH0265725A
JPH0265725A JP63214271A JP21427188A JPH0265725A JP H0265725 A JPH0265725 A JP H0265725A JP 63214271 A JP63214271 A JP 63214271A JP 21427188 A JP21427188 A JP 21427188A JP H0265725 A JPH0265725 A JP H0265725A
Authority
JP
Japan
Prior art keywords
fruit
vegetables
fruits
information
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP63214271A
Other languages
Japanese (ja)
Other versions
JPH078177B2 (en
Inventor
Yoshihiro Ueda
吉弘 上田
Masaaki Nishinaka
正昭 西中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Original Assignee
Kubota Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp filed Critical Kubota Corp
Priority to JP63214271A priority Critical patent/JPH078177B2/en
Publication of JPH0265725A publication Critical patent/JPH0265725A/en
Publication of JPH078177B2 publication Critical patent/JPH078177B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

PURPOSE:To make possible to perform harvesting work in turn by introducing harvesting hand to another fruit vegetable in case of no harvest for introducing harvesting hand in some set times for harvesting some fruit vegetable forward of the harvester of fruit vegetables. CONSTITUTION:In an automatic harvester of fruit vegetables having a function of introducing a harvesting hand H to target fruit vegetables F by detecting the fruit vegetables F with an imaging means S1 installed in the harvesting hand H in a visual field forward of said imaging means, a function introducing the harvesting hand H to other fruit vegetables in another visual field with stopping harvest of first fruit vegetables F in a case of no harvest for some set times of introducing of the harvesting hand H to the first fruit vegetables F.

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、果菜類を捕捉する作業用ハンドの前方側に、
予め複数個に区画された作業範囲が設定され、一つの作
業範囲内にある果菜類を撮像する撮像手段と、その撮像
手段の撮像情報に基づいて前記−つの作業範囲内にある
果菜類が位置する方向を求める画像処理手段と、その画
像処理手段の情報に基づいて前記作業用ハンドを前記果
菜類の位置する方向に向けて誘導するハンド誘導手段と
、前記画像処理手段の情報に基づいて、「)1記撮像手
段が撮像する作業箱」内に果菜類が存在しない場合には
、前記撮像手段の撮像視野を次の作業範囲に変更する作
業範囲変更手段古が設けられてハる果菜類数f!機の誘
導装置に関する。
[Detailed Description of the Invention] [Industrial Application Field] The present invention provides a work hand for picking up fruits and vegetables.
A work range divided into a plurality of sections is set in advance, and there is an imaging means for taking an image of fruits and vegetables within one work range, and a position of the fruits and vegetables within the two work ranges based on the imaging information of the imaging means. an image processing means for determining the direction in which the fruits and vegetables are located; a hand guiding means for guiding the working hand in the direction in which the fruits and vegetables are located based on the information of the image processing means; If there are no fruits and vegetables in the work box imaged by the imaging means (1), a working range changing means for changing the imaging field of the imaging means to the next working range is provided. Number f! Regarding the guidance system of the aircraft.

〔従来の技術〕[Conventional technology]

上記この種の果菜類収穫機の誘導装置は、複数個の果菜
類を連続して自動的に収穫できるようにするために、一
つの作業範囲内に果菜類が存在しない場合、及び、作業
用ハンドによる収穫作動によって一つの作業範囲内に果
菜類が存在しなく?;っだ場合には、撮像視野を次の作
業範囲に自動的に変更させるようにしたものである。
The above-mentioned guidance device of this type of fruit and vegetable harvesting machine is designed to automatically harvest multiple fruits and vegetables in succession, when there are no fruits and vegetables within one working range, and when the work Are there no fruits and vegetables within one work area due to manual harvesting? ; If so, the imaging field of view is automatically changed to the next work range.

但し、従来で1よ、一つの作業N’JP内に果菜類が存
在しない場合のみ、撮像手段の撮像視野を次の作業範囲
に変更させるようにして′1)た。
However, in the conventional method (1), only when there are no fruits and vegetables within one work N'JP, the imaging field of the imaging means is changed to the next work range '1).

こ発明が解決しようとするJ題〕 例えば、果菜類の前に作業用ハンドのアプローチの邪魔
になる技等の他物がある場合には、作業用ハンドを何度
誘導しても果菜類を収穫できない状態となる。その結果
、同じ作業範囲内に果菜類が存在し続ける状態となり、
従来構成では、自動的には次の作業範囲に撮像視野を変
更することができなくなる不利があった。
[Problem J to be solved by this invention] For example, if there is another object in front of the fruits and vegetables that obstructs the approach of the work hand, no matter how many times the work hand is guided, the fruit and vegetables cannot be moved. It becomes impossible to harvest. As a result, fruits and vegetables continue to exist within the same work area,
The conventional configuration has the disadvantage that it is not possible to automatically change the imaging field of view to the next work range.

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、収穫できない果菜類がある場合には、自動的
に次の作業範囲に変更できるようにすることにある。
The present invention has been made in view of the above circumstances, and its purpose is to enable automatic change to the next work range when there are fruits and vegetables that cannot be harvested.

〔課題を解決するための手段〕[Means to solve the problem]

本発明による果菜類収穫機の誘導装置は、果菜類を捕捉
する作業用ハンドの前方側に、予め複数個に区画された
作業範囲が設定され、一つの作業範囲内にある果菜類を
撮像する撮像手段と、その撮像手段の撮像情報に基づい
て前記−つの作業範囲内にある果菜類が位置する方向を
求める画像処理手段と、その画像処理手段の情報に基づ
いて前記作業用ハンドを前記果菜類の位置する方向に向
けて誘導するハンド誘導手段と、前記画像処理手段の情
報に基づし1て、j再記撮像半没が撮像する作業範囲内
に果菜類が存在しない場合には、前記撮像手段の撮像視
野を次の作業範囲に変更する作業範囲変更手段とが設け
ろれて′J)るものであって、その特徴構成は以下の通
りである。
In the guidance device for a fruit and vegetable harvesting machine according to the present invention, a work range divided into a plurality of sections is set in advance on the front side of a work hand that captures fruits and vegetables, and the fruit and vegetables within one work range are imaged. an imaging means; an image processing means for determining the direction in which the fruits and vegetables within the two working ranges are located based on the imaging information of the imaging means; Based on the information from the image processing means and the hand guiding means for guiding the vegetables in the direction in which the vegetables are located, if there are no fruits and vegetables within the work range imaged by the re-recording imaging half-submerged A working range changing means for changing the imaging field of the imaging means to the next working range is provided, and its characteristic configuration is as follows.

すなわち、第1の特徴構成は、前記作業用ハンドが前記
果菜類を捕捉したか否かを検出する捕捉検出手段と、前
記画像処理手段の情報と前記捕捉検出手段の情報とに基
づいて前記作業用ハンドを同じ果菜類に向けて誘導した
回数を計数する誘導回数計数手段とが設けられ、前記作
業範囲変更手段は、前記捕捉検出手段の情報と前記誘導
回数検出手段の情報とに基づいて、同じ果菜類に対して
設定回数より大なる回数を誘導しても捕捉できなかった
場合には、前記撮像手段の撮像視野を次の作業範囲に変
更するように構成されで′7)る点にある。
That is, the first characteristic configuration includes a capture detection means for detecting whether or not the work hand captures the fruits and vegetables; guidance number counting means for counting the number of times the hand is guided toward the same fruits and vegetables, and the work range changing means is configured to: If the same fruit and vegetable cannot be captured even after being guided a number of times larger than the set number of times, the imaging field of the imaging means is changed to the next working range.'7) be.

又、第2の特@構成では、前記作業範囲変更手段は、前
記−つの作業範囲内に複数個の果菜頚が存在する場合に
は、それら複数個の果菜類の夫ンに対する誘導回数が全
て前記設定回数より大になった場合に、前記撮像手段の
撮像視野を次の作業範囲に変更するように構成されてい
る点にある。
Further, in the second special @ configuration, when a plurality of fruit and vegetable heads are present in the - two work ranges, the work range changing means changes the number of times that the husbands of the plurality of fruits and vegetables are all guided. The present invention is configured to change the imaging field of view of the imaging means to the next working range when the number of times exceeds the set number of times.

更に、第3の特徴構成は、前記作業用ハンドがアプロー
チした果菜類までの距離を検出する距離検出手段が設け
られ、前記誘導回数計数手段は、前記画像処理手段の情
報と前記距離検出手段の情報とに基づいて、同じ果菜類
に対する誘導回数を計数するように構成されている点に
ある。
Furthermore, a third characteristic configuration is that distance detection means for detecting the distance to the fruits and vegetables approached by the working hand is provided, and the guidance number counting means uses information from the image processing means and the distance detection means. The present invention is configured to count the number of times guidance is given to the same fruits and vegetables based on the information.

[1′乍  用〕 1iの特徴構成では、作業用ハンドを同じ果菜類に向け
て誘導した回数を計数して、収穫を失敗した果菜類に対
する誘導回数が設定回数より犬になると、その果菜類は
収穫できないものと間断して、撮像視野を自動的に次の
作業範囲1こ変更させるのである。
[For 1′] In the feature configuration of 1i, the number of times the work hand is guided toward the same fruit and vegetables is counted, and when the number of times the hand is guided toward the same fruit and vegetables that have failed to be harvested is less than the set number of times, that fruit and vegetable is This automatically changes the imaging field of view to the next work area by cutting off the items that cannot be harvested.

但し、上記竿1の特徴構成では、一つの作業範囲内に複
数個の果菜類がある場合には、そのうちの一つでも収穫
を失敗した果菜類に対する誘導回数が設定回数より大に
なると、収穫可能な果菜類が残っている場合でも、次の
作業範囲に変更される虞れがある。
However, in the characteristic configuration of the above-mentioned rod 1, if there are multiple fruits and vegetables within one working range, if the number of guiding times for any of the fruits and vegetables that have failed to be harvested is greater than the set number, the harvest will be stopped. Even if there are available fruits and vegetables left, there is a risk that the scope of work will change to the next one.

そこで、第2の特徴構成では、一つの作業範囲内に複数
個の果菜類が存在する場合には、それら複数個の果菜類
の夫々に対する誘導回数が全て前記設定回数より大にな
った場合に、次の作業範囲に変更させるのである。
Therefore, in the second characteristic configuration, when there are multiple fruits and vegetables within one work range, if the number of times of guidance for each of the multiple fruits and vegetables is all greater than the set number of times, , change to the next scope of work.

ところで、果菜類の後方側に別の果菜類が重なって見え
る状態で存在するような場合には、手前側の果菜類を収
穫すると、後方側に存在する果菜類が撮像視野の同じ位
置に存在する状態で見えることになり、撮像情報のみで
は、同じ位置にみえる果菜類が同じ果菜類であるか否か
を的確に判別することが困難な状態となることがある。
By the way, if another fruit vegetable appears to overlap behind the fruit vegetables, when the fruit vegetable in the front side is harvested, the fruit vegetable present in the rear side will appear at the same position in the imaging field of view. Therefore, it may be difficult to accurately determine whether or not fruits and vegetables that appear at the same position are the same, using only imaging information.

又、一つの果菜類に対する収穫を失敗した場合であって
も、次の果菜類を収穫すると、収穫を失敗した果菜類に
対する誘導の邪魔になる枝等の他物の位置が変わって、
その収穫を失敗した果菜類が、収穫可能な状態になって
いる場合もある。
In addition, even if the harvest of one fruit vegetable fails, when the next fruit vegetable is harvested, the position of other objects such as branches that get in the way of guiding the fruit vegetable that failed to be harvested changes,
Fruits and vegetables that failed to be harvested may still be ready for harvesting.

そ二で、第3の特徴構成では、作業用ハンドがアプロー
チした果菜類までの距離を検出する距離検出手段を設け
て、画像情報と距離情報とを併用することにより、撮像
視野内の同位置にある果菜類が同じ果菜類であるか否か
を区別しながろ、収穫を失敗した果菜類の誘導回数を的
確に計数させるようにしているのである。
Secondly, in the third characteristic configuration, a distance detection means is provided to detect the distance to the fruits and vegetables approached by the work hand, and by using image information and distance information together, the same position within the imaging field of view is provided. While distinguishing whether or not the fruit vegetables in the same fruit vegetable group are the same fruit vegetables, the number of induction times of the fruit vegetables that failed to be harvested is accurately counted.

C発明の効果〕 もって、一つの作業範囲内に収穫できない果菜類がある
場合にも、作業範囲を自動的に次の作業範囲に変更でき
るようになった。
C Effect of the Invention] As a result, even if there are fruits and vegetables that cannot be harvested within one working range, the working range can now be automatically changed to the next working range.

り実施例〕 以下、本発明の実施例を図面に基づいて説明する。Practical example] Embodiments of the present invention will be described below based on the drawings.

第6図に示すように、左右一対の走行車輪(1)を前後
に備えた車体(V)に、ブーム(2)が昇降挿びに旋回
自在に取り付けられ、そのブーム(2)の先端部に、補
助ブーム(3)が水平方向に揺動自在に取り付けられ、
そして、果実収穫用の作業用ハンド(H)を備えた作業
用マニプレータ(4)が、前記補助ブーム(3)の先端
部に取り付けふれて、もって、果実収穫機が構成されて
いる。
As shown in Fig. 6, a boom (2) is attached to a vehicle body (V) equipped with a pair of left and right running wheels (1) at the front and rear so as to be able to freely turn up and down, and the tip of the boom (2) , the auxiliary boom (3) is attached so as to be swingable in the horizontal direction,
A working manipulator (4) equipped with a working hand (H) for fruit harvesting is attached to the tip of the auxiliary boom (3), thereby forming a fruit harvesting machine.

尚、図中、(5)はブーム昇降用油圧シリンダ、(6)
はブーム旋回用油圧ンリンダ、(7)は補助ブーム揺動
用電動モータである。
In the figure, (5) is the hydraulic cylinder for lifting the boom, (6)
(7) is a hydraulic cylinder for swinging the boom, and (7) is an electric motor for swinging the auxiliary boom.

前記作業用マニプレータ(4)は、多関節型の伸縮アー
ム(8)と、その伸縮アーム(8)の先端部に取り付け
られた作業用ハンド(H)とからなる。
The working manipulator (4) consists of a multi-joint telescopic arm (8) and a working hand (H) attached to the tip of the telescopic arm (8).

前記伸縮アーム(8)は、電動モータ(9a)にて縦軸
芯(Y)周りで揺動操作されると共に、′電動モータ(
9c)にて伸縮操作されるように構成されている。
The telescoping arm (8) is swung around the vertical axis (Y) by an electric motor (9a), and the electric motor (
9c) is configured to be expanded and contracted.

前記作業用ハンド(1()について説明すれば、第5図
に示すように、その先端部に、作業対象果菜類としての
果実(F)を吸着するバキュームバッド(10)と、そ
のハ゛キュームパッド(10)の吸中口(10a)に1
及行された果実(F)を覆うだめの捕捉部ケース(12
)と、その捕捉部ケース(12)内に取り込んだ果実(
F)の柄部分を上下方向に挟み込んだ状態で切断する情
動断装置(13)とが設けられている。尚、前記バキュ
ームバンド<10)は、果実(F)を傷つけないように
、ゴム等の弾性を保する可撓性部材で形成されている。
To explain the working hand (1()), as shown in FIG. 1 in the suction opening (10a) of 10)
Capture part case (12) that covers the fruit (F)
) and the fruit (
F) is provided with an emotional cutting device (13) that cuts the handle part while holding it in the vertical direction. The vacuum band <10) is made of a flexible member such as rubber that maintains elasticity so as not to damage the fruit (F).

前記捕捉部ケース(12)は、前記バキュームバンド(
10)が果実(F)を吸着するまではアプローチの邪魔
にならないようにハンド後方側に引退させ、且つ、前記
バキュームバンド(10)が果実(F)を吸着した後は
、吸着された果実(F)を覆うようにハンド前方側に突
出させるために、前記バキュームパッド(10)の通気
管(11)に対して前後方向に出退自在に外嵌支持され
てし)る。尚、前記通気管(11)は、蛇腹式のホース
(14) (第6図参照)にて、前記車体(V)側に搭
載された吸引ポンプ(17) (第1図参照)に配管接
続されてしする。
The trapping part case (12) has the vacuum band (
10) is retracted to the rear side so as not to interfere with the approach until the fruit (F) is adsorbed, and after the vacuum band (10) has adsorbed the fruit (F), the adsorbed fruit ( In order to protrude to the front side of the hand so as to cover F), it is externally supported so as to be movable forward and backward relative to the ventilation pipe (11) of the vacuum pad (10). The ventilation pipe (11) is connected to the suction pump (17) (see Fig. 1) mounted on the vehicle body (V) through a bellows-type hose (14) (see Fig. 6). It's been done.

又、前記捕捉部ケース(12)は、前記通気管(11)
に外嵌される支持部材(12a)  に固着された上部
ケース(12b)と、前記支持部H(12a)に対して
縦軸芯周り:こ揺動自在に枢着された下部ケース<12
c)  とに2分割して形成され、前記下部ケース(1
2c)を、前記通気管(11)に対して漢方向に揺動さ
せることによって、前記捕捉部ケース(12)内に保持
される柄を切断された果実(F)を、外部に排出できる
ようにしである。
Further, the trapping part case (12) is configured to be connected to the ventilation pipe (11).
The upper case (12b) is fixed to the support member (12a) which is fitted onto the outside of the support member (12a), and the lower case (12b) is pivotally connected to the support part H (12a) so as to be swingable about the vertical axis.
c) The lower case (1) is formed by being divided into two parts.
2c) in the vertical direction with respect to the ventilation pipe (11), the fruit (F) with the stem cut off held in the trapping part case (12) can be discharged to the outside. It's Nishide.

前記情動断装置(13)は、前記果実(F)の柄を切断
するバリカン型の刃体(13a)  と、その刃体(1
3a)に前記果実(F)の柄を下方側から押圧支持する
柄支持部材(13b)とからなる。
The emotional cutting device (13) includes a clipper-shaped blade (13a) for cutting the handle of the fruit (F), and a blade (1) for cutting the handle of the fruit (F).
3a) and a handle support member (13b) that presses and supports the handle of the fruit (F) from below.

但し、詳述はしないが、前記作業用ハンドク11)には
、前記捕捉部ケース(12)を出退模作するためのアク
チュエータや前記情動所装置(13)を駆動するための
アクチュエータ等の収穫作動用の各種アクチュエータや
、前記バキュームパッド(10)に果実(F)を吸着し
たことを検出するたカの負圧センサ(S3)(第1図参
照)、前記浦捉邪ケース(12)の出退位置を検出する
ためのセンサ、及び、前記情動断装亙(13)の駆動状
態を検出するためのセンサ等の各種センサが設けろれる
ことになる。
However, although not described in detail, the work handk 11) includes a harvesting operation such as an actuator for moving in and out of the trapping case (12) and an actuator for driving the emotional center device (13). various actuators for the vacuum pad (10), a negative pressure sensor (S3) for detecting that the fruit (F) has been adsorbed to the vacuum pad (10) (see Figure 1), and the output of the Ura-tatsuja case (12). Various sensors such as a sensor for detecting the retreated position and a sensor for detecting the driving state of the emotional disconnection device (13) will be provided.

尚、図中、(S1)は前記作業用ハンド(H)が向、ま
た方向に位置する果実(F)を撮像する撮像手段として
のカラー式のイメージセンサ、(S2)は前記作業用ハ
ンド(H)が収穫対象果実に対して設定距離内に接近し
たことを検出する赤外光反射式の近接センサであって、
それら両センサ(S1)、 (S2) は、アプローチ
や果実収穫の邪魔にならないように、前記バキュームパ
ッド(10)の内部に設けられている。又、(15)は
前記イメージセンサ(S1)の撮像処理に同期して前記
作業用ハンド(14)の前方側を設定光量で照光するた
めの照光装置dであって、前記両センサ(S1)、 (
S2>と同様に、アプローチや果実収穫の邪魔にならな
いようにするために、前記捕捉部ケース(12)の内部
に位置する状態で、前記通気管(11)の先端兄近傍の
T:側箇所に取り付けである。
In the figure, (S1) is a color image sensor as an imaging means for capturing an image of the fruit (F) located in the direction of the working hand (H), and (S2) is the direction of the working hand (H). H) is an infrared light reflective proximity sensor that detects when the fruit approaches the target fruit within a set distance,
Both sensors (S1) and (S2) are provided inside the vacuum pad (10) so as not to interfere with approach and fruit harvesting. Further, (15) is an illumination device d for illuminating the front side of the working hand (14) with a set light amount in synchronization with the imaging process of the image sensor (S1), which illuminates both the sensors (S1). , (
S2>, in order not to interfere with approach and fruit harvesting, the T: side location near the tip of the ventilation pipe (11) is placed inside the trapping case (12). It is attached to.

そして、乍1記捕捉おケース(12)を引退させて前記
バキュームパッド(10)の吸引口(10a) が11
j記捕捉部ケース(12)よりも前方側へ突出する状態
で、前記作業用ハンド(H)を収穫対象果実が位置する
方向に向けて、前記照光装ff1(15)にて照光しな
がら前記イメージセンサ(S1)にて撮像処理し、その
撮像画像情報に基づいて背景となる技や葉等の他物から
果実に対応する画像情報を抽出すると共に、その抽出し
た画像情報に基づいて、前記作業用ハンド(H)のアプ
ローチ方向を決定するようにしである。
Then, by retiring the capturing case (12), the suction port (10a) of the vacuum pad (10) becomes 11.
j. With the work hand (H) protruding further forward than the catching part case (12), point the working hand (H) in the direction in which the fruit to be harvested is located, and while illuminating with the illumination device ff1 (15), The image sensor (S1) performs image processing, and based on the captured image information, extracts image information corresponding to the fruit from other objects such as backgrounds and leaves, and based on the extracted image information, This is to determine the approach direction of the working hand (H).

但し、一つの果樹に対して前記イメージセンサ(S1)
の撮像視野の大きさに対応した状態で複数個の作業範囲
が設定されている。そして、前記作業用ハンド(H)を
、前記複数個の偉業範囲のうちの一つにおける設定アプ
ローチ開始位置に位置させた状態で、前記作業用ハンド
(H)を向けた方向を撮像するようにしである。
However, the image sensor (S1)
A plurality of work ranges are set corresponding to the size of the imaging field of view. Then, with the working hand (H) positioned at a set approach start position in one of the plurality of feat ranges, an image is taken in the direction in which the working hand (H) is directed. It is.

説明を加えれば、第6図及び第7図に示すように、前記
ブーム(2)の昇降位置と旋回位置又び前記補助ブーム
〈3)の旋回位置の夫・セを、設定角度毎に変更するこ
とにより、前記各作業範囲に対応した撮像視野が隣の作
業範囲に対して互し1に隣接する状態となるように設定
されるよつ、−よっ、Jづつ アプローチ方向を決定した後は、前記作業用ハンド(1
4)が決定されたアプローチ方向に向かって直線的に移
動するように、前記各電動モータ(9a)、 (9b)
、 (9c)を作動させると共に、前記近接でンサ(S
2)が果実を感知するに伴って、前記ハ土ニームバンド
(10)を吸引作動させて収穫対象果実を吸着し、そし
て、前記捕捉部ケース(12)をハンド前方側に突出さ
せて、前記捕捉部ケース(12)内に果実を取り込んだ
後、晒を切断して収穫させることになる。
To explain, as shown in FIGS. 6 and 7, the vertical position and rotation position of the boom (2) and the rotation position of the auxiliary boom (3) are changed for each set angle. By doing this, the imaging field of view corresponding to each work range is set so that it is adjacent to the adjacent work range. , the working hand (1
4) move linearly toward the determined approach direction, each of the electric motors (9a), (9b)
, (9c) and operate the sensor (S) in the vicinity.
2) As the hand senses the fruit, the neem band (10) is actuated to attract the fruit to be harvested, and the catching case (12) is protruded to the front side of the hand. After the fruit is taken into the trap case (12), the fruit is cut and harvested.

但し、前記イメージセンサ(S1)の撮像視野内に複数
個の果実がある場合には、手前側に位置するものほど先
にアプローチさせるように、後さの如く、前記イメージ
センサ(S1)の撮像画像の明るさ情報に基づいてアプ
ローチ順序を自動的に決定させるようにしである。
However, if there are multiple fruits within the imaging field of the image sensor (S1), the imaging of the image sensor (S1) will be adjusted in such a way that the one located closer to the front will be approached first. The approach order is automatically determined based on image brightness information.

尚、前記近接センサ(S2)は、果実への接近を感知す
る距離を遠近二段階に検出できるように構成されている
。つまり、詳述はしないが、ハンド前方側に向けて投射
される赤外光の反射光の受光強度となる受光信号が、第
1設定距離(30cmに設定しである)に対応する設定
閾値より大になった場合と、前記バキュームパッド(1
0)が収穫対象果実の直前方側箇所に位置する状態とな
る第2設定距離(5amに設定しである)に対応する設
定閾値よりも大になった場合とに、夫々対応する感知信
号を出力するようになっている。
The proximity sensor (S2) is configured to be able to detect the distance at which it senses approach to the fruit in two stages: far and near. In other words, although I will not go into details, the received light signal, which is the received light intensity of the reflected infrared light projected toward the front side of the hand, is lower than the set threshold corresponding to the first set distance (set to 30 cm). If the vacuum pad (1
0) becomes larger than the set threshold value corresponding to the second set distance (set to 5 am) at which the target fruit is located immediately in front of the fruit to be harvested. It is designed to be output.

前記第1設定距離の感知信号は、前記吸引ポンプ(17
〉による前記バキュームバンド(10)の吸引作動を開
始させて、前記作業用ハンド(1()が前記第1設定距
離を移動する間に前記バキュームバンド(10)の吸引
力が果実吸着に要する1直よりも犬となるようにするた
めの起動情報として用いられることになり、又、前記第
2設定距離の感知信号は、前記バキュームパッド〈10
)が果実の直前方側まで接近するまでは、効率良く高速
移動させながら、果実の直前方側まで接近した後は的確
に果実を吸着して停止できるように、前記アーム(8)
の伸長速度を高低に切り換えるための制御情報として用
いられることになる。
The sensing signal of the first set distance is transmitted to the suction pump (17).
) starts the suction operation of the vacuum band (10) by The sensing signal of the second set distance will be used as activation information to make the vacuum pad <10
The arm (8) moves efficiently at high speed until the arm (8) approaches the front side of the fruit, and after it approaches the front side of the fruit, it can accurately adsorb the fruit and stop.
This is used as control information for switching the expansion speed between high and low.

そして、前記バキュームパッド(10)の吸引作動を開
始させた後、前記負圧センサ(S3)がON作幼して果
実吸着を検出するに伴って、前記アーム(8)の伸長を
停止させて、収穫作動を開始させることになる。
Then, after starting the suction operation of the vacuum pad (10), the extension of the arm (8) is stopped as the negative pressure sensor (S3) turns on and detects fruit adsorption. , which will start the harvesting operation.

但し、詳しくは後述するが、収穫を失敗した場合には、
自動的に次の果実に対してアプローチさせると共に、前
記アプローチ開始位置における撮像視野内にある全ての
果実に対するアプローチ回数を計数して、収穫を失敗し
た果実夫々に対するアプローチ回数が全て設定回数より
大になった場合には、自助的に次の作業範囲に移るよう
にしである。
However, as will be detailed later, if the harvest fails,
The method automatically approaches the next fruit, counts the number of approaches to all the fruits within the imaging field of view at the approach start position, and makes sure that the number of approaches to each fruit that fails to be harvested is all greater than the set number of times. If this happens, try to move on to the next area of work on your own.

欠に、前記イメージセンサ(S1)による撮像画像情報
に基づいて、果実の位置する方向つまりアプローチ方向
を検出して、前記作業用ハンド(H)を誘導するための
制御構成について説明する。
First, a control configuration for detecting the direction in which the fruit is located, that is, the approach direction, based on the image information captured by the image sensor (S1) and guiding the working hand (H) will be explained.

第1図に示すように、前記ブーム昇降用油圧シリンダ(
5)、前記ブーム昇降用油圧シリンダ(6)、及び、前
記補助ブーム揺動用モータ(7)の夫々を制御して、前
記イメージセンサ(S1)の撮像視野を所定の作業範囲
に対応する方向に向けると共に、前記イメージセンサ(
S1)によるtfi 像画像情報を画像処理して、収穫
対象果実(F)の位置する方向を検出し、且つ、その検
出情報に基づいて前記作業用ハンド(l()を収穫対象
果実に向けて誘導するように、前記アーム駆動用の各電
動モータ(9a)、 (9b)、 (9c)の夫々を制
御するためのマイクロコンピュータ利用の制御装置(1
6)が設けられている。
As shown in Fig. 1, the hydraulic cylinder for raising and lowering the boom (
5) Control each of the boom lifting hydraulic cylinder (6) and the auxiliary boom swinging motor (7) to direct the imaging field of view of the image sensor (S1) in a direction corresponding to a predetermined work range. The image sensor (
S1) performs image processing on the TFI image information to detect the direction in which the fruit to be harvested (F) is located, and based on the detected information, directs the working hand (l()) toward the fruit to be harvested. A microcomputer-based control device (1) for controlling each of the arm drive electric motors (9a), (9b), and (9c) so as to guide the arm.
6) is provided.

つまり、前記制御装置(16)を利用して、撮像手段と
しての前記イメージセンサ(S1)の撮像情報に基づい
て一つの作業範囲内にある果実が位置する方向を求める
画像処理手段(100)、その画像処理手段(100)
の情報に基づいて前記作業用ハンド(l()を果実の位
置する方向に向けて誘導するハンド誘導手段(101,
)、+i?j記画像処理手没(100)の情報に盾つい
て、前記イメージセンサ(S1)が撮像する作業・範囲
内に果実が存在しない場合、及び、その作業範囲内にお
ける果実夫々に対する収穫失敗回数の全てが設定回数よ
り人になった場合には、前記イメージセンサ(S1)の
撮像視野を次の作業範囲に変更する作業範囲変更手段(
102>、前記作業用)\ンド(H)が果実を捕捉した
か否かを検出する捕捉検出手段(103)、前記画像処
理手段(100)の情報と前記捕捉検出手段(103)
の情報とに基づいて前記作業用ノ\ンド(H)を同じ果
実に向けて誘導した回数を計数する誘導回数計数手段(
104)、及び、nil記作業用ハンド(H)がアプロ
ーチした果実までの距離を検出する距離検出手段(10
5)の夫々が構成されることになる。
That is, an image processing means (100) that uses the control device (16) to determine the direction in which a fruit within one working range is located based on the imaging information of the image sensor (S1) as an imaging means; The image processing means (100)
hand guiding means (101,
), +i? Based on the information of j. Image processing failure (100), if there is no fruit within the work/range imaged by the image sensor (S1), and all the number of harvest failures for each fruit within the work range. a work range changing means (for changing the imaging field of view of the image sensor (S1) to the next work range when the number of times becomes more than a set number of people);
102>, a capture detection means (103) for detecting whether the fruit (for the work)/end (H) has captured a fruit, information on the image processing means (100) and the capture detection means (103);
guidance number counting means (
104), and distance detection means (10) for detecting the distance to the fruit approached by the working hand (H).
5) will be configured.

次に、第2図に示すフローチマートに基づいて、前記側
御装置(16)の動作を説明しながら、前記各手段の構
成について詳述する。
Next, the configuration of each of the means will be described in detail while explaining the operation of the side control device (16) based on the flowchart shown in FIG.

先ず、前記ブーム昇降用油圧ンリンダ(5)、前記旋回
用油圧ンリンダ(6)、及び、前記補助ブーム侶動用油
圧シリンダ(7)の夫々を作動させて、前記作業用ハン
ド(H)が一つの作業範囲におけるアプローチ開始位置
にセットした後、前記作業範囲を撮像処理し、そして、
その撮像情報を画像処理して撮像視野内にある果実の位
置情報を求めることになる。
First, each of the hydraulic cylinder for lifting and lowering the boom (5), the hydraulic cylinder for swinging (6), and the hydraulic cylinder for moving the auxiliary boom (7) is operated so that the working hand (H) is in one position. After setting the approach start position in the work range, image processing is performed on the work range, and
The imaging information is image-processed to obtain positional information of the fruit within the imaging field of view.

前記画像処理について説明を加えれば、前記果実(F)
の色に対応した特定色領域(F1)と、その特定色領域
(F1)内において明るさが設定値以上となる設定領域
(F2)と、その設定領域(F2)の重心(F3)とを
求め、前記設定領域(F2)が複数個存在する場合には
、大きいものから先jこアプローチさせるように、前記
設定領域(F2)の大きさに基づいてアプローチ順序を
決定するようにしである(第4図参照)。
To explain the image processing, the fruit (F)
A specific color area (F1) corresponding to the color of If there are a plurality of setting areas (F2), the approach order is determined based on the size of the setting area (F2) so that the largest one is approached first. (See Figure 4).

前記特定色領域(F1)を抽出するための処理について
説明を加えれば、前記イメージセンサ(S1)から出力
される画像信号のうちの三原色信号(R)、 (G)、
 (f])を用いて、果実(F)の色成分を含む赤色信
号(R)かろそれ以外の色信号(G又はB)を減算した
信号を、設定闇値に基づいて2値化することにより、前
記・イメージセンサ(S1)の撮像画像(第4図(イ)
参照)から、前記特定色領域(F1)(第4図(oL$
照)を得るようにしているのである。
To explain the process for extracting the specific color region (F1), the three primary color signals (R), (G), among the image signals output from the image sensor (S1),
(f]) to binarize the signal obtained by subtracting the red signal (R) containing the color component of the fruit (F) or other color signals (G or B) based on the set darkness value. Accordingly, the image captured by the image sensor (S1) (Fig. 4 (a)
) from the specific color area (F1) (see FIG. 4 (oL$
The aim is to obtain the following:

但し、詳述はしなし)が、前記特定色領域(F1)内に
複数個の設定領域(F2)が抽出された場合には、複数
個の果実(F)が重なって見えていると判断させて、そ
れら複数個の設定領域(F2)夫々の重心(F1)の位
置を求めさせることになる。
However, if multiple setting areas (F2) are extracted within the specific color area (F1), it is determined that multiple fruits (F) are visible overlapping each other. Then, the position of the center of gravity (F1) of each of the plurality of setting areas (F2) is determined.

又、画像情報の明るさは、距離に反比例して近いものほ
ど明るく見え、且つ、距離が近い果実(F)  はど大
きさが犬に見えることから、前記イメージセンサ(Sυ
から出力される画像情報のうちの明るさ情報に対応する
輝度信号の′直に基づいて、前記特定色領域(F1)内
において明るさが設定・′置忘上となる前記設定領域(
F2)を抽出すると、その大きさは近距離に位置するも
のほど犬となる。そこで、前記設定領域(F2)の大き
さに基づいて収穫し易い手前側に位置する果実(F)か
ら先にアプローチさせることができるようjこしている
のである。そして、前記イメージセンサ(S1)の撮像
情報を画像処理して前記各領域(Fly、 (F2>や
重心(F2)の情報を求める処理が、前記イメージセン
サ(S1)の撮像情報に基づいて前記−つの作業範囲内
にある果菜類が位置する方向を求める画像処理手1(1
00) に対応することになる。
In addition, the brightness of image information is inversely proportional to the distance, and the closer the fruit (F) is, the brighter it appears.
The brightness is set within the specific color area (F1) based on the brightness signal corresponding to the brightness information of the image information output from the set area (F1).
When F2) is extracted, the closer the object is located, the larger the dog. Therefore, based on the size of the set area (F2), the fruit (F) located on the near side, which is easier to harvest, is approached first. Then, a process of performing image processing on the imaging information of the image sensor (S1) to obtain information on each region (Fly, (F2>) and center of gravity (F2) is performed based on the imaging information of the image sensor (S1). - Image processing method 1 (1
00).

尚、この画像処理手段(100)  によって抽出され
た特定色領域(F1)の個数(N)を、認識した収穫対
象果実の個数として求め、その個数(N)が零である場
合には、一つの作業範囲内における未収穫果実が無いと
判断して、前記ブーム(2)及び前記補助ブーム(3)
を移動させて、前記作業ハンド(1()のアプローチ開
始位1を次の作業範囲に変更することになる。但し、後
述の如く;、前記求めた果実(F)の個数(、〜)が零
でな?)場合であっても、未収穫果実全てに対する収穫
失敗回数が設定回数より大になった場合にも、前記作業
ハンド(1()のアプローチ開始位置を次の作業範囲に
変更させるようにしである。
The number (N) of specific color regions (F1) extracted by this image processing means (100) is determined as the number of recognized fruits to be harvested, and if the number (N) is zero, one The boom (2) and the auxiliary boom (3)
The approach start position 1 of the work hand (1()) is changed to the next work range by moving the work hand (1()).However, as described later; Even if the number of harvest failures for all unharvested fruits is greater than the set number of times, the approach start position of the work hand (1()) is changed to the next work range. That's how it is.

つまり、求めた果実(F)の個数(N)が零である場合
に、作業範囲を次の作業範囲に変更する処理が、前記イ
メージセンサ(S1)が撮像する作業範囲内に果実(F
)が存在しない場合には、前記イメージセンサ(S1)
の撮像視野を次の作業範囲に変更する作業範囲変更手段
(102)に対応することになる。
In other words, when the obtained number (N) of fruits (F) is zero, the process of changing the work range to the next work range is performed when the fruit (F) is within the work range imaged by the image sensor (S1).
) does not exist, the image sensor (S1)
This corresponds to a working range changing means (102) for changing the imaging field of view to the next working range.

求めた果実(F)の個数(N)が零でない場合には、前
述の如く、各設定領域(F2)の大きさに基づいてアプ
ローチ順序を決定して、前記作業用ハンド(l()がそ
の決定されたアプローチ順序に対応する果実(F)の位
置する方向すなわち前記設定領域(F2)の重心(F3
)が位置する方向に向けて移動するように、前記作業用
ハンド(It)の向きを調節して、前記アーム(8)を
伸長させることになる。
If the obtained number (N) of fruits (F) is not zero, as described above, the approach order is determined based on the size of each setting area (F2), and the working hand (l() is The direction in which the fruit (F) is located corresponding to the determined approach order, that is, the center of gravity (F3) of the set area (F2)
), the direction of the working hand (It) is adjusted so that the arm (8) is extended.

前記アーム〈8)の伸長を開始した後は、後述の如く、
一つの作業範囲における何れの果実(F)に対するアプ
ローチであるかを識別するために、アプローチさせた設
定領域(F2)の重心(F3)の画像上における位置情
報と、前記近接センサ(S2)がON作動するまでの前
記アーム(8)の伸長距離の情報とに基づいて、果実同
定の処理を行って、収穫作動させることになる。
After starting the extension of the arm <8), as described below,
In order to identify which fruit (F) in one work range is being approached, position information on the image of the center of gravity (F3) of the set area (F2) that has been approached and the proximity sensor (S2) are used. Based on the information on the extension distance of the arm (8) until the ON operation, fruit identification processing is performed and the harvesting operation is performed.

説明を加えれば、前記近接センサ(S2)から前記第1
設定距離の感知信号が出力されるに伴って、前記バキュ
ームパッド(10)の吸引作動を開始させ、そして、前
記第2設定距離の感知信号が出力されるに伴って、前記
アーム(8)の伸長速度を高速から低速に切り換え、そ
して、前記負圧センサ(S3)の検出情報に基づいて果
実(F)を吸着したか否かを判別し、果実(F)を吸着
するに伴って、前記アーム(8)の伸長を停止させて、
収穫作動させることになる。
To explain, from the proximity sensor (S2) to the first
As the sensing signal for the set distance is output, the suction operation of the vacuum pad (10) is started, and as the sensing signal for the second set distance is output, the arm (8) is activated. The elongation speed is switched from high speed to low speed, and it is determined whether or not the fruit (F) has been sucked based on the detection information of the negative pressure sensor (S3). Stop the extension of the arm (8),
Harvest will be activated.

つまり、前記作業用ハンド(H)が各作業範囲における
アプローチ開始位置から果実(F)の位置する方向に向
けて移動するように、前記アーム(8)を伸長させる処
理が、前記画像処理手段(100)の情報に基づいて前
記作業用ハンド(11)を前記果実(F)の位置する方
向に向けて誘導するハンド誘導手段(101)に対応す
ることになる。
In other words, the image processing means ( This corresponds to hand guiding means (101) that guides the working hand (11) toward the direction in which the fruit (F) is located based on the information of (100).

そして、収穫作動を開始した後は、前記負圧センサ(S
3)等の前記作業用ハンド(H)に付設された各種セン
サの検出情報に基づいて、収穫できたか否かを判別する
ことになる。
After starting the harvesting operation, the negative pressure sensor (S
Based on the detection information of various sensors attached to the work hand (H) such as 3), it is determined whether or not the harvest has been completed.

つまり、前記負圧センサ(S3)等の前記作業用ハンド
(l()  に付設された各種センサの検出情報に基づ
いて収穫できたか否かを判別する処理が、前記作業用ハ
ンド(11)が果実(F)を捕捉したか否かを検出する
捕捉検出手段(103)に対応することになる。
In other words, the process of determining whether or not the harvest has been completed based on the detection information of various sensors attached to the work hand (l()) such as the negative pressure sensor (S3) is performed by the work hand (11). This corresponds to capture detection means (103) that detects whether or not the fruit (F) has been captured.

但し、前記アーム(8)を前記アプローチ開始位置かみ
予め設定した設定距離に達するまで伸長しても前記近接
センサ(S2)がON作動しない場合にも、収穫失敗と
判断させるようにしである。
However, even if the arm (8) is extended from the approach start position until it reaches a preset distance, the proximity sensor (S2) is not turned on, so that it is determined that the harvest has failed.

収穫できた場合には、前記作業用ハンド()1)を前記
アプローチ開始位置まで戻して収穫した果実(F)を排
出した後、同じ作業範囲を再撮像して画像処理し、その
画像処理した情報に基づいて、作業範囲内に位置する果
実(F)の個数(N>が零であるか否かを判別して、零
でない場合には、未収穫の果実(F)が残っていると判
断して、前述の如く、アプローチ順序を再決定して収穫
させることになる。
If the harvest is successful, the work hand () 1) is returned to the approach start position and the harvested fruit (F) is discharged, and then the same work area is imaged again and image processed; Based on the information, it is determined whether the number (N>) of fruits (F) located within the work area is zero, and if it is not zero, it is determined that unharvested fruits (F) remain. Based on this judgment, the approach order will be re-determined and harvested as described above.

収穫を失敗した場合には、その果実(F) に対する収
穫失敗回数(K)を計数した後、前記果実(F)の個数
(N)に対応する回数分をアプローチしたか否かを判別
して、前記果実(F)の個数(N)に達していない場合
には、決定したアプローチ順序に基づいて、次の果実(
F) に対してアプローチさせることになる。
If the harvest fails, count the number of harvest failures (K) for that fruit (F), and then determine whether or not the number of approaches corresponding to the number (N) of the fruit (F) has been approached. , if the number (N) of fruits (F) has not been reached, the next fruit (F) is selected based on the determined approach order.
F) will be approached.

つまり、この収穫を失敗した果実(F)を同定して、ギ
1記収穫失敗回数(K)を計数する処理が、前記画像処
理手段(100)の情報と前記捕捉検出手段(103)
の情報とに基づいて前記作業用ハンド(1])を同じ果
菜類に向けて誘導した回数を計数する誘導回数計数手段
(104> に対応することになる。
In other words, the process of identifying the fruits (F) that failed to be harvested and counting the number of failed harvests (K) is performed using information from the image processing means (100) and the capture detection means (103).
This corresponds to a guidance number counting means (104>) that counts the number of times the work hand (1) is guided toward the same fruits and vegetables based on the information.

J2alaした果実(F)の全てに対してアプローチし
た場合には、求めた果実(F)の個数(N)やそれらの
位置情報と前記収穫失敗回数(K)の情報とに基づいて
、収穫を失敗した果実(F)夫々に対する誘導回数が全
て設定回数(3回に設定しである)に達しているか否か
を判別し、設定回数(N)  に達していない場合には
、再度撮像処理して次の未収穫果実に向けて再アプロー
チさせることになる。
When approaching all of the fruits (F) that have undergone J2ala, harvesting is performed based on the number (N) of fruits (F) obtained, their position information, and the information on the number of harvest failures (K). It is determined whether the number of guiding times for each failed fruit (F) has all reached the set number of times (set to 3 times), and if the set number of times (N) has not been reached, the imaging process is performed again. This will force them to re-approach the next unharvested fruit.

但し、収穫を失敗した果実(F)夫々に対するアプロー
チ回数が、全て設定回数(N)に達している場合には、
一つの作業範囲における収穫作業を完了して、作業範囲
を次の作業範囲に変更することになる。
However, if the number of approaches to each fruit (F) that failed to be harvested has reached the set number of times (N),
After completing the harvesting work in one work range, the work range will be changed to the next work range.

尚、詳述はしないが、全作業範囲に対する収穫作業が完
了した場合には、一つの果樹に対する収穫作業を林了し
て、次の果樹に対する収穫作業を行うことになる。
Although not described in detail, when the harvesting work for the entire work range is completed, the harvesting work for one fruit tree is completed and the harvesting work for the next fruit tree is started.

次に、第3図に示すフローチャートに基づいて、前記果
実同定の処理について詳述する。
Next, the fruit identification process will be described in detail based on the flowchart shown in FIG.

先ず、同定対象果実数04)が零であるか否かを判別し
、零でない場合には、前記同定対象果実数(M)に′1
′″を加算した後、前記重心(F1)の画像上における
座標(X、 Y)  と、前記近接センサ(S2)が第
2設定距離においてON作動するまで前記アーム(8)
を伸長した距離(σ)とを、アプローチした果実(F)
を同定するための情報として、決定されたアプローチ順
序(J)  に対応させて記憶させるようにしである。
First, it is determined whether or not the number of fruits to be identified (04) is zero, and if it is not zero, the number of fruits to be identified (M) is
'', the coordinates (X, Y) of the center of gravity (F1) on the image and the arm (8) until the proximity sensor (S2) is turned on at the second set distance.
The length of the extended distance (σ) and the approached fruit (F)
The information for identifying the approach order (J) is stored in correspondence with the determined approach order (J).

但し、前記アーム(8)を前記設定距離を伸長しても前
記近接センサ(S2)がON作動しない状態で収穫失敗
した場合には、前記設定距離の値を前記アーム(8) 
の伸長距離(σ)として記憶させることになる。
However, if harvesting fails in a state where the proximity sensor (S2) does not turn on even if the arm (8) is extended the set distance, the value of the set distance is extended to the arm (8).
This will be stored as the extension distance (σ) of .

尚、前記伸長距離(σ)の値は、前記アーム伸縮用の電
動モータ(9b)、 (9c)  に付設されることに
なる駆動蛍検出用のエンコーダ(図示せず)等によって
検出される前記アプローチ開始位置からの駆動量に基づ
いて求められることになる。
The value of the extension distance (σ) is detected by an encoder (not shown) for detecting driving fireflies attached to the electric motors (9b), (9c) for extending and retracting the arm. It is determined based on the amount of drive from the approach start position.

つまり、前記アーム伸縮用の電動モータ(9b)。That is, the electric motor (9b) for extending and retracting the arm.

(9C)の駆動量に基づいて前記アーム(8)を伸長し
た距離(σ)を求める処理が、前記作業用ハンド(1(
)がアプローチした果実(F)までの距離を検出する距
離検出手段(105)に対応することになる。
The process of determining the distance (σ) by which the arm (8) is extended based on the drive amount of the work hand (1(9C))
) corresponds to the distance detection means (105) that detects the distance to the fruit (F) approached.

そして、前記同定対象果実数にわが零でない場合には、
今回アプローチした果実(F) に対応する前記重心(
F3)の画像上における座標(X、 Y)と前記アーム
(8)の伸長距n(σ)の夫々と、前記記憶した座標(
X、Y) 及び前記記憶した伸長距離(σ)の何れに対
応するものであるかを判断する。
Then, if the number of fruits to be identified is not zero,
The above-mentioned center of gravity (
The coordinates (X, Y) on the image of F3), the extension distance n(σ) of the arm (8), and the stored coordinates (
It is determined which of the above-mentioned stored extension distance (σ) corresponds to.

説明を加えれば、今回アプローチした果実(F)に対応
する前記重心(F1)の画像上における座標(X、 Y
)と前記アーム(8)の伸長距離(σ)の全てが、前記
記憶した座標(X、 Y)及び前記記憶した伸長距離(
σ)の夫々に対して設定範囲内にある場合には、今回ア
プローチした果実(F)が記憶したアプローチ順序(J
)に対応する果実(F)であると同定するのである。但
し、今回アプローチした果実(F)の位置が決定したア
プローチ順序(J)に対応する果実(F)の位置の何れ
にも該当しない場合には、例えば、他の果実(F)を収
穫したために、元の位置が変わったか、あるいは、一つ
の果実(F)を収穫したためにその後方に位置する果実
(F)が新たに認識されたと判断して、今回アプローチ
させた果実(F)は新たな果実(F)であるとして処理
するために、前記同定対象果実数<M)を加算するよう
にしているのである。
To explain, the coordinates (X, Y) on the image of the center of gravity (F1) corresponding to the fruit (F) that we approached this time
) and the extension distance (σ) of the arm (8) are all based on the memorized coordinates (X, Y) and the memorized extension distance (
If the fruit (F) that was approached this time is within the set range for each of the
) is identified as the fruit (F) corresponding to the fruit (F). However, if the position of the fruit (F) approached this time does not correspond to any of the positions of the fruit (F) corresponding to the determined approach order (J), for example, because another fruit (F) has been harvested, , it is judged that the original position has changed, or that the fruit (F) located behind it has been newly recognized because one fruit (F) has been harvested, and the fruit (F) that was approached this time is In order to process it as a fruit (F), the number of fruits to be identified <M) is added.

〔別実施例〕[Another example]

上記実施例では、果実(F)の位置情報として、果実(
F)の色に対応する特定色領域(F1)内における明る
さが設定値以上となる設定領域(F2)の重心(F3)
を用いるようにした場合を例示したが、前記特定色領域
(F1)内における明るさが最大となる領域や、前記特
定色領域(F1)自体の重心を、一つの果実(F) に
対する位置情報として用いる二上もできる。
In the above embodiment, as the position information of the fruit (F), the fruit (
The center of gravity (F3) of the setting area (F2) where the brightness in the specific color area (F1) corresponding to the color of F) is equal to or higher than the setting value
In this example, the area where the brightness is maximum within the specific color area (F1) and the center of gravity of the specific color area (F1) itself can be used as position information for one fruit (F). It can also be used as a second-class.

つまり、複数個の果実(F)が重なって一つの特定色領
域(F1)として抽出されるような場合には、後方側に
位置する果実(F) は手前側に位置する果実(F)を
収穫した後でなければ収穫できないので、複数個の果実
(F)が重なって見えている場合であっても、それら複
数個の果実(F)を含む特定色領域(F1)を一つの果
実(F) に対応する領域として処理しても問題がない
のである。
In other words, if multiple fruits (F) overlap and are extracted as one specific color area (F1), the fruit (F) located at the rear side will be compared to the fruit (F) located at the front side. Since it can only be harvested after harvesting, even if multiple fruits (F) overlap, the specific color area (F1) containing those multiple fruits (F) can be combined into one fruit ( There is no problem even if it is processed as an area corresponding to F).

又、上記実施例では、本発明を果実収穫用の作業機に適
用した場合を例示したが、本発明はトマト等の野菜の収
穫機にも適用できるものであって、各部の具体構成は各
種変更できる。
Further, in the above embodiment, the present invention is applied to a working machine for harvesting fruits, but the present invention can also be applied to a machine for harvesting vegetables such as tomatoes, and the specific configuration of each part may vary. Can be changed.

尚、特許請求の範囲の項に図面との対照を便利にする為
に符号を記すが、該記入により本発明は添付図面の構造
に限定されるものではない。
Incidentally, although reference numerals are written in the claims section for convenient comparison with the drawings, the present invention is not limited to the structure shown in the accompanying drawings.

【図面の簡単な説明】[Brief explanation of the drawing]

図面は本発明に係る果菜類収穫機の誘導装置の実施例を
示し、第1図は制御 図、第2図は制御作動のフローチャート、第3図は果実
同定処理のフローチャート、第4図(イ)、 (0) 
は画像処理の説明図、第5図は作業用ハンドの概略構成
を示す断面図、第6図は作業機の全体側面図、第7図は
作業範囲の説明図である。 (l4)・・・・・・作業用ハンド、(S1)・・・・
・・撮像手段、(100)・・・・・・画像処理手段、
(101)・・・・・・ハンド誘導手段、(102)・
・・・・・作業範囲変更手段、(103)・・・・・・
捕捉検出手段、(104)・・・・・・誘導回数計数手
段、(105)・・・・・・距離検出手段。
The drawings show an embodiment of the guidance device for a fruit and vegetable harvesting machine according to the present invention, in which FIG. 1 is a control diagram, FIG. 2 is a flowchart of control operation, FIG. ), (0)
5 is an explanatory diagram of image processing, FIG. 5 is a sectional view showing a schematic configuration of a working hand, FIG. 6 is an overall side view of the working machine, and FIG. 7 is an explanatory diagram of a working range. (l4)... Working hand, (S1)...
...imaging means, (100)...image processing means,
(101)... Hand guiding means, (102).
...Work range changing means, (103)...
Acquisition detection means, (104) . . . guidance number counting means, (105) . . . distance detection means.

Claims (1)

【特許請求の範囲】 1、果菜類を捕捉する作業用ハンド(H)の前方側に、
予め複数個に区画された作業範囲が設定され、一つの作
業範囲内にある果菜類を撮像する撮像手段(S_1)と
、その撮像手段(S_1)の撮像情報に基づいて前記一
つの作業範囲内にある果菜類が位置する方向を求める画
像処理手段(100)と、その画像処理手段(100)
の情報に基づいて前記作業用ハンド(H)を前記果菜類
の位置する方向に向けて誘導するハンド誘導手段(10
1)と、前記画像処理手段(100)の情報に基づいて
、前記撮像手段(S_1)が撮像する作業範囲内に果菜
類が存在しない場合には、前記撮像手段(S_1)の撮
像視野を次の作業範囲に変更する作業範囲変更手段(1
02)とが設けられている果菜類収穫機の誘導装置であ
って、前記作業用ハンド(H)が前記果菜類を捕捉した
か否かを検出する捕捉検出手段(103)と、前記画像
処理手段(100)の情報と前記捕捉検出手段(103
)の情報とに基づいて前記作業用ハンド(H)を同じ果
菜類に向けて誘導した回数を計数する誘導回数計数手段
(104)とが設けられ、前記作業範囲変更手段(10
2)は、前記捕捉検出手段(103)の情報と前記誘導
回数検出手段(104)の情報とに基づいて、同じ果菜
類に対して設定回数より大なる回数を誘導しても捕捉で
きなかった場合には、前記撮像手段(S_1)の撮像視
野を次の作業範囲に変更するように構成されている果菜
類収穫機の誘導装置。 2、請求項1記載の果菜類収穫機の誘導装置であって、
前記作業範囲変更手段(102)は、前記一つの作業範
囲内に複数個の果菜類が存在する場合には、それら複数
個の果菜類の夫々に対する誘導回数が全て前記設定回数
より大になった場合に、前記撮像手段(S_1)の撮像
視野を次の作業範囲に変更するように構成されている果
菜類収穫機の誘導装置。 3、請求項1又は2記載の果菜類収穫機の誘導装置であ
って、前記作業用ハンド(H)がアプローチした果菜類
までの距離を検出する距離検出手段(105)が設けら
れ、前記誘導回数計数手段(104)は、前記画像処理
手段(100)の情報と前記距離検出手段(105)の
情報とに基づいて、同じ果菜類に対する誘導回数を計数
するように構成されている果菜類収穫機の誘導装置。
[Claims] 1. On the front side of the working hand (H) that captures fruits and vegetables,
A work range divided into a plurality of sections is set in advance, and an imaging means (S_1) is used to take images of fruits and vegetables within one work range, and based on the imaging information of the imaging means (S_1), a work range is divided into a plurality of parts. an image processing means (100) for determining the direction in which fruits and vegetables are located;
hand guiding means (10) for guiding the working hand (H) in the direction where the fruits and vegetables are located based on the information of
1), and based on the information of the image processing means (100), if there are no fruits or vegetables within the work range to be imaged by the imaging means (S_1), the imaging field of view of the imaging means (S_1) is changed to the following: Work range changing means (1) to change the work range to
02) A guidance device for a fruit and vegetable harvesting machine, comprising: a capture detection means (103) for detecting whether or not the work hand (H) has captured the fruit and vegetables; The information of the means (100) and the capture detection means (103)
) for counting the number of times the working hand (H) has been guided toward the same fruits and vegetables based on the information of the working range changing means (104).
2) is based on the information of the capture detection means (103) and the information of the number of induction detection means (104), and the same fruit and vegetables could not be captured even if they were guided a number of times greater than the set number of times. In this case, the guidance device of a fruit and vegetable harvester is configured to change the imaging field of view of the imaging means (S_1) to the next working range. 2. A guidance device for a fruit and vegetable harvesting machine according to claim 1,
The work range changing means (102) is configured to, when a plurality of fruits and vegetables exist within the one work range, the number of guiding times for each of the plurality of fruits and vegetables is all greater than the set number of times. A guidance device for a fruit and vegetable harvesting machine, which is configured to change the imaging field of view of the imaging means (S_1) to the next working range in the case of the invention. 3. The guidance device for a fruit and vegetable harvesting machine according to claim 1 or 2, further comprising distance detection means (105) for detecting a distance to the fruits and vegetables approached by the working hand (H), The frequency counting means (104) is configured to count the number of times the same fruit and vegetables are guided based on the information of the image processing means (100) and the information of the distance detection means (105). The aircraft's guidance system.
JP63214271A 1988-08-29 1988-08-29 Fruit and vegetable harvester guidance device Expired - Lifetime JPH078177B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP63214271A JPH078177B2 (en) 1988-08-29 1988-08-29 Fruit and vegetable harvester guidance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP63214271A JPH078177B2 (en) 1988-08-29 1988-08-29 Fruit and vegetable harvester guidance device

Publications (2)

Publication Number Publication Date
JPH0265725A true JPH0265725A (en) 1990-03-06
JPH078177B2 JPH078177B2 (en) 1995-02-01

Family

ID=16652968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP63214271A Expired - Lifetime JPH078177B2 (en) 1988-08-29 1988-08-29 Fruit and vegetable harvester guidance device

Country Status (1)

Country Link
JP (1) JPH078177B2 (en)

Also Published As

Publication number Publication date
JPH078177B2 (en) 1995-02-01

Similar Documents

Publication Publication Date Title
JPH01300822A (en) Harvester of fruits and vegetables
JPH0265725A (en) Introducing device in harvester of fruit vegetable
JPH078176B2 (en) Work machine guidance device
JP2641645B2 (en) Fruit and vegetable harvester guidance device
JP2813697B2 (en) Image processing device for fruit and vegetable harvester
JPH0695849B2 (en) Guidance device for working machines for fruits and vegetables
JPH02142410A (en) Guide unit for fruit tree operating machine
JPH0488916A (en) Guiding device of fruit vegetable harvester
JPS62275610A (en) Guide apparatus of working machine for fruit vegetables
JP2608999B2 (en) Fruit harvesting equipment
JPS63119614A (en) Guide apparatus of working machine for fruits and vegetables
JPS62275611A (en) Guide apparatus of working machine for fruit vegetables
JPH0697908B2 (en) Guidance device for working machines for fruits and vegetables
JP2574950B2 (en) Fruit and vegetable harvester guidance device
JPH0488917A (en) Guiding device of fruit vegetable harvester
JPS63102611A (en) Guide apparatus of working machine for fruits and vegetables
JPH01320921A (en) Guiding device of working machine for fruit
JPH074098B2 (en) Hands for harvesting fruits and vegetables
JPH02152780A (en) Guide for working machine
JPS62278917A (en) Guide apparatus of working machine for fruits
JPH02152781A (en) Driving device for working hand of suction type
JPH072052B2 (en) Hands for harvesting fruits and vegetables
JPH02152783A (en) Hand for work of suction type
JPH0585128B2 (en)
JPH0714298B2 (en) Fruit and vegetable harvesting equipment