JPH0787829A - 収穫ロボットの撮像方法 - Google Patents

Abstract

(57)【要約】 【目的】ＣＣＤカメラによる２位置ステレオ撮像の際
に、第１画像において存在した同一対象物を第２画像に
おいても必ず存在させるようにして、撮像対象物までの
距離を的確に検出できるようにする。 【構成】ＣＣＤカメラ１を一定距離スライドさせて２位
置から第１画像と第２画像とを撮像して撮像対象物２ま
での距離Ｄを検出するステレオ撮像法を用いた視覚部３
により、第１画像における対象物２の位置が、画像面の
中心線から左右側に偏位した位置にあれば、ＣＣＤカメ
ラ１をその偏位している側へスライドさせて第２画像の
撮像を行うことを特徴とする収穫ロボットの撮像方法の
構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、収穫ロボットの撮像
方法に関し、ＣＣＤカメラによるステレオ撮像を行って
撮像対象物までの距離を検出する収穫ロボットの視覚部
等に利用できる。

【０００２】

【従来の技術、及び発明が解決しようとする課題】従来
の収穫ロボットの視覚部では、ステレオ撮像を行う際の
ＣＣＤカメラのスライド方向が常に一定であり、例えば
撮像対象物が果実（キュウリ）であった場合、図１２に
示す如くＣＣＤカメラを右方向のみにスライドさせるも
のであるとした場合、Ａ画像のように第１画像で左端に
存在した果実が第２画像では欠落してしまって距離の検
出が不能となったり、Ｂ画像のように第２画像において
第１画像の果実と違う果実を誤検出して間違った距離で
アプローチを行い果実を傷つけたりすることがある。

【０００３】そこでこの発明は、ＣＣＤカメラによる２
位置ステレオ撮像の際に、第１画像において存在した同
一対象物を第２画像においても必ず存在させるようにし
て、撮像対象物までの距離を的確に検出できるようにし
ようとするものである。

【０００４】

【課題を解決するための手段】この発明は、ＣＣＤカメ
ラ１を一定距離スライドさせて２位置から第１画像と第
２画像とを撮像して撮像対象物２までの距離Ｄを検出す
るステレオ撮像法を用いた収穫ロボットの視覚部３にお
いて、第１画像における対象物２の位置が、画像面の中
心線から左右側に偏位した位置にあれば、ＣＣＤカメラ
１をその偏位している側へスライドさせて第２画像の撮
像を行うことを特徴とする収穫ロボットの撮像方法の構
成とする。

【０００５】

【作用、及び発明の効果】果実類を収穫する収穫ロボッ
トの作業時に、例えば収穫対象物２が果実である場合、
この果実を把持・切断して摘果するマニピュレータの近
傍に設けた視覚部３のＣＣＤカメラ１によって果実の撮
像を行うが、この撮像時に、図８に示す如く、ＣＣＤカ
メラ１を左右方向へ一定距離スライドさせて第１画像と
第２画像による２位置撮像を行うステレオ撮像法を用い
て、ＣＣＤカメラ１のスライド距離及びその焦点距離と
画像面上での対象物２の移動画素数とから対象物２とし
ての果実までの距離Ｄを求めることができるが、このス
テレオ撮像の際に、果実の撮像位置が第１画像において
画像面の中心線から、左側に偏位した位置にあればＣＣ
Ｄカメラ１を左方向へ、また右側に偏位した位置にあれ
ば右方向へ各々一定距離スライドさせて第２画像を撮像
することによって、撮像対象物２が第１画像の画像面の
中心線から如何に偏位していても第２画像の画像面に同
一対象物２を撮像することができる。

【０００６】このように、ＣＣＤカメラ１による撮像の
際に、第１画像で撮像した対象物２が画像面の中心線か
ら、左又は右側に偏位していても、ＣＣＤカメラ１をこ
の偏位方向に合わせて左又は右方向へ各々一定距離スラ
イドさせることができるので、従来の如く、ＣＣＤカメ
ラ１のスライド方向が一方向に限定されているため、第
１画像でこのスライド方向と反対側に偏位した対象物２
は第２画像では欠落してしまうというようなことがな
く、第１画像において存在した同一対象物２を必ず第２
画像においても存在させることができて、ＣＣＤカメラ
１から撮像対象物２までの距離を的確に検出しうるもの
である。

【０００７】

【実施例】以下に、この発明の実施例を果実のうちキュ
ウリを対象物２とした収穫ロボットについて説明する。
（以後、キュウリは特定の名称であり符号は省略する）
車台４の下側前後位置に左右一対の前輪５と後輪６とを
各々配設し、この前輪５と後輪６の４輪に対し各別に車
輪駆動モータ７を連動連結し、進行方向に対して旋回方
向自在に支承すると共に、この４輪５、６を各別に舵取
制御するための操向角度を検出する操向角度センサ８を
各々設けて走行車体９を構成する。

【０００８】該車台４の上側前部位置に前カバー１０を
設け、この前カバー１０の後方に、果実としてのキュウ
リを把持摘果するマニピュレータ１１を搭載した円錐状
の旋回カバー１２を旋回可能に設けると共に、この旋回
カバー１２の後方つまり該車台４の後部位置に、収穫し
たキュウリを運搬するための多数個のキャリア１３を格
納してタイムリーに供給するキャリア供給装置１４を配
設して収穫部関係を構成し、このキャリア供給装置１４
の後側面に収穫ロボットを手動により操作制御を行う操
作パネル１５と繰向レバー１６を設けて構成する。

【０００９】該マニピュレータ１１は多関節によって人
間の腕と手先の動きに近い作用を行わせるため、その基
部側から先端側にかけて各関節ごとに各々ショルダモー
タ１１ａ、エルボモータ１１ｂ、リストモータ１１ｃ、
ハンド部１７とを相互に連動連結させて構成する。該マ
ニピュレータ１１を昇降させるボールネジ等からなるス
ライダ１８を該旋回カバー１２の傾斜に沿ってその内部
に固定して設け、該マニピュレータ１１と旋回カバー１
２を共に旋回させるウエストモータ１９を該旋回カバー
１２の中心位置となる該車台４に固着し、このウエスト
モータ１９と該スライダ１８及び旋回カバー１２とを旋
回可能に接続すると共に、該マニピュレータ１１の基部
を、該スライダ１８に該旋回カバー１２の防塵ゴム１２
ａの摺動溝を貫通させて昇降可能に支承するスライドガ
イド２０を設け、該スライダ１８部分に該マニピュレー
タ１１を昇降させる上下スライドモータ２１を連動連結
して構成する。

【００１０】該マニピュレータ１１のハンド部１７に
は、キュウリを検出する果実検出センサ１７ａと、検出
したキュウリを把持する把持モータ１７ｂと、把持した
キュウリの果柄を検出する果柄検出センサ１７ｃと、こ
の検出のための果柄検出スライドモータ１７ｄと、検出
した果柄を切断する切断モータ１７ｅとを設けると共
に、図８に示す如く、該マニピュレータ１１の基部近傍
上側位置にスライドレール２２を横方向に固定し、この
スライドレール２２上を左右方向へ一定距離だけ均等に
スライド可能に、キュウリの画像を撮像してキュウリの
存在する方向と距離を検出するＣＣＤカメラ１（以後単
にカメラという）を装架し、このカメラ１を左右方向へ
スライドさせる左右スライドモータ２３を該スライドレ
ール２２の一端部に連動連結して視覚部３を構成する。

【００１１】この収穫ロボットには、図３に示す如く、
走行関係を制御する走行部コントローラ２４と、収穫関
係を制御する収穫部コントローラ２５と、該視覚部３を
制御する視覚部コントローラ２６と、これらの各コント
ローラ２４、２５、２６を接続して統括制御するメイン
コントローラ２７とを前記前カバー１０に内装して設け
る。該走行部コントローラ２４には前記車輪駆動モータ
７と、操向角度センサ８、及びキャリア供給装置１４等
を制御可能に接続すると共に、該メインコントローラ２
７へ非同期シリアル接続し、該メインコントローラ２７
には同時に前記操作パネル１５及び安全装置２８等を接
続して構成する。

【００１２】該収穫部コントローラ２５には、図４に示
す如く、サーボモータとしての前記ウエストモータ１
９、上下スライドモータ２１、ショルダモータ１１ａ、
エルボモータ１１ｂ、リストモータ１１ｃを各々コント
ロールドライバ２９を介して接続すると共に、前記果実
検出センサ１７ａと、把持モータ１７ｂと、果柄検出セ
ンサ１７ｃと、果柄検出スライドモータ１７ｄと、切断
モータ１７ｅを各々接続して構成する。なお、該各サー
ボモータ１９、２１、１１ａ、１１ｂ、１１ｃには各々
エンコーダ及び原点検出センサを組み合わせて設ける。

【００１３】該視覚部コントローラ２６は、図５に示す
如く、ＯＣＲ３０からの信号を受け、カメラ１を作動さ
せるに必要な信号を発生する駆動パルス発生回路３１か
らドライバ３２を介してレシーバ３３へ、このレシーバ
３３からカメラ１へ接続する。また、カメラ１の駆動に
より検出された信号をビデオ信号に変換する信号処理回
路３４とカメラ１を接続し、この信号処理回路３４から
ビデオ信号をデジタル変換するＡ／Ｄ変換器３５を経
て、画像を記憶させる画像メモリ３６へ接続すると共
に、この画像メモリ３６と高速画像処理を行う画像処理
回路３７と中央演算処理を行うＣＰＵ３８とを接続す
る。該ＣＰＵ３８からビデオ信号を基にストロボ発光タ
イミング、及び該Ａ／Ｄ変換器３５の開始タイミングを
設定するタイミング回路３９へ接続し、このタイミング
回路３９と該Ａ／Ｄ変換器３５、及びストロボ駆動回路
４０とを接続すると共に、該タイミング回路３９へ該信
号処理回路３４を接続させ、該ストロボ駆動回路４０を
介してストロボ４１を駆動させるべく接続して構成す
る。

【００１４】次に、以上の構成による作用について説明
する。収穫ロボットにより果実のうちキュウリを対象物
２として収穫を行うには、図６に示す如く、走行部を手
動又は自動による走行操作によって、走行部コントロー
ラ２４を介して車輪駆動モータ７や操向角度センサ８等
を制御して走行車体９の走行を行い、この走行により畝
溝Ａの走行を行いながらキュウリ栽培棚Ｂに栽培された
キュウリを、収穫部コントローラ２５の演算によりマニ
ピュレータ１１自体の左右旋回、上下昇降の制御とハン
ド部１７の自在運動とを制御して収穫適期のキュウリを
選択して摘果を行い、この摘果されたキュウリをキャリ
ア１３に集荷し、該キャリア１３が満杯になった時点で
地上に放出すると共に、次の該キャリア１３をキャリア
供給装置１４によってセットする。

【００１５】これら一連の収穫作業時に、該マニピュレ
ータ１１の目となるカメラ１を視覚部コントローラ２６
によって制御を行うと共に、このカメラ１により２位置
から撮像するステレオ撮像を行うときに、このステレオ
撮像において、図７のフローチャートに示す如く、第１
画像の撮像入力により、信号処理回路３４⇒Ａ／Ｄ変換
器３５⇒画像メモリ３６⇔画像処理回路３７⇔ＣＰＵ３
８による各回路の作用により画像処理を行い、この画像
処理によりキュウリの認識を行う。

【００１６】この認識の中から｜Ｘｍａｘ｜のキュウリ
を選択し、この選択されたキュウリが画像面の中心線か
ら左右何れの側にあるかをチェックし、図９に示す如く
中心線より右にある場合は第２画像の探索エリアをキュ
ウリより左へ設定し、図８に示す如く、カメラ１を右側
へ一定距離（例えば１５０ｍｍ）スライドさせ、中心線
より左にあれば逆に探索エリアをキュウリより右へ設定
し、カメラ３を左側へ１５０ｍｍスライドさせて第２画
像を撮像入力させる。

【００１７】この入力した第２画像のエリア内のみを前
記と同様な画像処理を行い、図８に示す如く、カメラ１
のスライド距離Ｌとカメラ１の焦点距離ｄとを乗じた積
を、第１画像と第２画像とにおけるキュウリの移動した
画素数で除した値Ｄつまりカメラ１とキュウリとの距離
を算出し、この算出された距離からキュウリの長さを算
出する。

【００１８】この算出されたキュウリの長さが所定の基
準長（１７０ｍｍ程度）より大きい場合には収穫可と判
断して、前記マニピュレータ１１をショルダモータ１１
ａ、エルボモータ１１ｂ、リストモータ１１ｃを作用さ
せてそのハンド部１７を収穫マークのキュウリへアプロ
ーチさせ、このアプローチによりハンド部１７の果実検
出センサ１７ａの検出により把持モータ１７ｂを作用さ
せてキュウリを把持し、この把持されたキュウリの果柄
を果柄検出センサ１７ｃと果柄検出スライドモータ１７
ｄにより検出し、この検出された果柄を切断モータ１７
ｅを作用させて切断し摘果を終了する。

【００１９】また、図１０に示す如く、第１画像撮像時
に、この第１画像にキュウリが複数例えば２個存在し画
像面の中心線に対して左右に分かれているときは、この
中心線に対して離隔距離の大きいキュウリａが右にある
場合は、第２画像の探索エリアをこのキュウリａより左
に設定するためカメラ１を右にスライドさせる。しか
し、この対応によりキュウリｂは益々左に移動して不利
となるが中心線に対して離隔距離が小さいので第２画像
撮像時に画像面から欠落する確率は少ない。第１画像に
おいて中心線に対してキュウリａが左にあれば前記と逆
の対応を行う。

【００２０】このように、第１画像撮像時に中心線に対
して離隔距離の大きいキュウリａを優先させてカメラ１
をスライドさせることにより、他方のキュウリｂに対す
るカメラ１のスライド方向が逆になっても中心線に対す
る離隔距離が小さいため、第２画像撮像時に画像面に存
在する可能性が高いので、１回の撮像操作によって複数
のキュウリの距離を同時に検出することができる。

【００２１】例えば、図１１に示す如く、２個のキュウ
リの距離を検出してキュウリａを摘果した後、確認しな
いでキュウリｂにアプローチすると、キュウリａの重量
が消失した分だけ主茎の弛みが変化し、キュウリｂの位
置が変化することがあるため把持できなかったり、該ハ
ンド部１７で茎葉等を傷付けることがあるので、キュウ
リａを摘果後、第２画像位置において再度撮像を行い、
探索エリア内のみを画像処理を行って、キュウリｂの位
置（方向）にズレがないかを確認する。位置にズレがな
いときはそのままキュウリｂにアプローチを行い、位置
にズレがあるときは今度は前に撮像した第１画像位置に
戻して、第１画像位置にてキュウリｂの撮像を行い、探
索エリア内のみ画像処理を行って、距離を算出しキュウ
リｂへアプローチさせる。

【００２２】このように、キュウリ個々にカメラ１の撮
像操作を行っていては、手間と時間０を要するため、キ
ュウリの位置にズレがある場合にのみ距離の検出を行う
ようにすることにより、位置検出操作の効率化と的確な
キュウリの把持及び摘果を可能にすることができる。ま
た、キュウリの長さによって収穫可否の判定を行う場
合、キュウリの上端及び下端部が隠れていないことが必
要条件となるが、この上下端部が茎葉等によって隠れて
いるような場合には、キュウリの長さによる収穫可否判
定ができない。しかし、キュウリの長さと太さとは ０.
９以上の相関係数をもっており、太さによってある程度
長さを推定することができるので、これによりキュウリ
の一部が見えていれば収穫適期のキュウリと認識するこ
とができる。

【００２３】これにより、図１３のフローチャートに示
す如く、波長８５０ｎｍ及び５５０ｎｍでの画像入力を
行い、この入力画像の演算によって演算画像が検出さ
れ、しきい値の算出により演算画像が２値化され、この
２値画像（１）から重ね合わせエリアが設定され、波長
８５０ｎｍの画像が２値化されて、２値画像（１）へ重
ね合わせられる。この２値画像のスムージングのための
細目処理（収縮）と太目処理（拡散）を行った後、ラベ
リング処理を施してキュウリの周囲長を算出し、定数長
以下を削除してフェレ長比を算出する。

【００２４】このフェレ長比の算出値が定数値以下であ
ればＦＬＡＧの算出を行ってからＦＬＡＧのチェックを
行い、ＦＬＡＧ＝１でないときはキュウリではないと判
定削除し、ＦＬＡＧ＝１であればフエレ長比の算出値が
定数値以上の場合と共に、中心線の抽出を行い、雑音成
分を削除した後、中心線の結合を行い、その長さが定数
値以上であればキュウリと判定して収穫のためのアプロ
ーチを行い、定数値以下であればキュウリではないと判
定し削除する。

【００２５】また、葉によって隠れているキュウリを把
持する場合には、図１４のフローチャートに示す如く、
キュウリの画像入力を行い、この入力画像の画像処理を
行ってキュウリの果頂部（下端部）の情報により収穫可
否を判定し、収穫を可とするときは、前記マニピュレー
タ１１のハンド部１７をキュウリの近傍位置まで高速ア
プローチを行い、この接近後更に果頂部に低速アプロー
チさせる。

【００２６】このアプローチにより該ハンド部１７をキ
ュウリに沿って上方へ、キュウリの太さにより長さを推
定してスライドさせ、キュウリを該ハンド部１７の把持
モータ１７ｂを作用させて把持し、果柄検出センサ１７
ｃにより果柄を検出し、切断モータ１７ｅを作用させて
果柄を切断する。これにより回避方向を選定しながらア
プローチする必要がなく、直線アプローチによって収穫
時間の短縮を図ると共に、葉によって隠れているキュウ
リについても収穫可能となり収穫率を向上させることが
できる。

【００２７】なお、この実施例では収穫の対象物２をキ
ュウリに限定して説明したが、本発明の要旨はキュウリ
以外の他の果実にも適応できることは勿論である。

【図面の簡単な説明】

【図１】収穫ロボットの全体を示す斜面図。

【図２】（Ａ）収穫ロボットの全体を示す正面図。 （Ｂ）収穫ロボットの全体を示す平面図。 （Ｃ）収穫ロボットの全体を示す側面図。

【図３】収穫ロボット全体の制御関係を示すブロック
図。

【図４】収穫部の制御関係を示すブロック図。

【図５】視覚部の制御関係を示すブロック図。

【図６】収穫ロボットの作業状態を示す正面図。

【図７】視覚部の処理手順を示すフローチャート。

【図８】視覚部による距離の算出手法を示す計算図。

【図９】第１画像と第２画像の変位関係を示す画像図。

【図１０】第１画像と第２画像の変位関係を示す画像
図。

【図１１】第１画像と第２画像の変位関係を示す画像
図。

【図１２】第１画像と第２画像の変位関係を示す画像
図。

【図１３】視覚部の処理手順を示すフローチャート。

【図１４】マニピュレータのアプローチ手順を示すフロ
ーチャート。

【符号の説明】

１ ＣＣＤカメラ ２ 撮像対象物 ３ 視覚部

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ＣＣＤカメラ１を一定距離スライドさせ
   て２位置から第１画像と第２画像とを撮像して撮像対象
   物２までの距離Ｄを検出するステレオ撮像法を用いた収
   穫ロボットの視覚部３において、第１画像における対象
   物２の位置が、画像面の中心線から左右側に偏位した位
   置にあれば、ＣＣＤカメラ１をその偏位している側へス
   ライドさせて第２画像の撮像を行うことを特徴とする収
   穫ロボットの撮像方法。