JP4961555B2

JP4961555B2 - 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット

Info

Publication number: JP4961555B2
Application number: JP2006352905A
Authority: JP
Inventors: 功一尾崎
Original assignee: Utsunomiya University
Current assignee: Utsunomiya University
Priority date: 2005-12-28
Filing date: 2006-12-27
Publication date: 2012-06-27
Anticipated expiration: 2026-12-27
Also published as: JP2007200309A

Description

本発明は、果実、野菜、花卉などの植物の実、花、葉などの対象部分の摘み取りなど各種作業を自動的に行うために、カメラで捉えた広域画像の中から対象部分の存在位置を認識するための方法と、その方法によって対象部分の存在位置を認識するための装置、及びその装置を用いて植物の実や花などの摘み取り作業などの各種作業を実行するための作業用ロボットに関する。

イチゴ、トマト、ナス、キュウリ等の果実や野菜等の摘み取り及び収穫作業などの各種作業をロボットなどの装置で自動的に実行さるためには、まず対象となる果実や野菜の存在する位置を認識しなければならないが、果実を茎や葉の中から機械的に認識させることは殆ど不可能である。
そこで、果実の存在は、その果実から反射される光の存在から、果実の存在、存在位置、存在位置の方向及び果実の形状が認識可能であることから、コンピュータを用いて、画像処理技術により果実部分の存在を認識する方法が考えられる。
そのため、そのような果実の位置や形状などから果実などを把握する方法として、摘み取る果実に特有の形状パターンを事前に登録して、このパターンと合致したものを選び出そうとするパターン・マッチング法の可能性が検討できる。
しかし、形状によるパターン・マッチング法では、イチゴ等に代表される農作物の実の部分は大きさや外形などの形状が様々であり、すべての形状を想定して摘み取るに適した形状の実のパターンを事前に登録することは極めて困難である。
このため、植物分野での形状によるパターン・マッチング法は採用できるものではない。

また、果実は、商品として出荷するなどの場合のように、摘み取る時期が重要であるが、「形状」の認識だけで行うコンピュータを用いた画像処理技術では、成熟の度合いが区別できず、成熟したか否かは色の識別がなされないと、摘み取るに適したものであるかが判別できない。
したがって、形状認識のみによる装置では摘み取りなどの機械による自動作業化を行うことはできない。

そこで、果実などの存在の確認は光で感知して行う方法が可能あるが、さらに果実などから反射される光の波長からは「色」の認識が可能となることに着眼し、カメラによりその光の波長を捉え、その撮影した画像を見ればその果実の存在とその色や形状までを把握することが可能となる。
このことから果実などの色を識別すべき要素として認識しようとする場合、摘み取るに適した果実の色を事前に登録しておき、その登録した色と現場作業での果実から捉えられた色とが合致したとき、その色を持つ果実が摘み取るに適した果実であるとの識別判断が可能となる。
この「色」の認識は、明度、色相、色彩の三要素を用いて識別可能であるが、それらの色の三要素からの識別をしようとすると識別すべき色のデータを３つのパラメータで考えなければならない。
現在のコンピュータを用いた画像処理技術では、色を対象として３つのパラメータで識別し判断することはデータ処理上極めて複雑となる。
また、イチゴ等の実のように色が緑から白を含んで赤に至るまでその中間色を含めて微妙な色が含まれているような農産物の色情報は正確に捉えることが困難であり、これを判断材料の基になる色のデータとして定量化させて扱うことは容易ではない。

例えば、色を扱った従来の技術である特許文献１には、「果菜収穫用ロボットシステムの手首先端に取り付けられる摘採ハンドにおいて、開閉駆動される一対のフィンガーの対向面の上部及び下部に一対の摘採刃及び調製刃をそれぞれ設け、かつ、前記一対のフィンガーの対向面に、同フィンガーを開放したときに付着する柄をフィンガー内面から除去するための圧縮空気を噴き出す空気噴出穴を形成したことを特徴とする果菜収穫用摘採ハンド」が提案され、この文献１の中に、「カメラで撮影したカラーの原画像を画像処理してＬ・ａ・ｂ・表色系のａの濃淡画像を算出し、この濃淡画像を最適な閾値で２値化して果実の位置抽出のための図を得、該図からイチゴ果実の重心を演算して果実位置の座標値を求める方法」の記載がある。
特開２００１−９５３４８号公報

しかし、上記特許文献１の提案する「色」の技術は、色の三要素を使用してイチゴ果実の重心を把握しようとするものなので、明度、色相、色彩から成る色の三要素の全ての色のデータが必要となり、その中で特に明度に関する情報は、使用環境の変化に大きく影響されることから明度に関する情報処理だけでも使用するデータ量が極めて莫大となってしまい、またその画像処理のための装置も大変複雑となってしまうので装置が極めて高価となるだけではなく、データの処理だけでも長時間かかってしまうため、そのような「果菜収穫用摘採ハンド」を実用化しようとしても識別判断に多くの時間を取られ、作業があまりに遅くなってしまうため作業現場での実際の運用は極めて困難である。
たとえ、明度の変化を最小限度にした室内栽培などの特殊な光環境下で使用するにしても、その明度に関する色のデータは必要なのでデータの処理に長時間かかることに変わりはなく、やはり実施するのは困難である。

一方、イチゴ、トマト等の柄（ステム）を有する実の摘み取りは、実そのものをロボットハンドなどで機械的に掴んでむしり取ると実を傷めやすいので、そのような傷を付けずに収穫するには、ステムを直接切り取って実を収穫した方が商品としての品質を低下させないという研究報告がある。
しかし、ステムをコンピュータで画像処理して認識することは、殆どのステムが細く小さいものであるために正確に把握することは実の部分を把握するよりも格段に困難であった。

そのような実情において、本発明者は、果実の摘み取り作業などを行う装置での各種作業の自動化について種々研究した結果、植物の分野においては機械等の工業分野とは違って、商品である果実などが成熟度の判定は形だけではなく色によって行わなければならず、その色を扱う場合には、色の三要素の一つである明度が植物周囲の自然の環境条件の影響で大きく変化することに重要な問題があること気がついた。
そして、植物を扱う作業現場では時間の効率性が要求され、素早く作業を行うためには機械的作業の速さと同時に、コンピュータによるデータ処理のスピードアップが不可欠であり、コンピュータの演算速度が限られていた場合には処理するデータ量をどれだけ少なくし得るかが決定的となるとの認識から、果実などを色で判別する場合には、色の三要素として３つのパラメータとなる色のデータの数を少なくすれば容易に全体のデータ量を少なくできるはずであるとの構想が生まれた。
そこで、まず、果実などの存在位置が把握されればいいので、対象となる果物や野菜の実の「形状」に関するデータ量を最小限に少なくすること、また作業場所の光の環境で大きく変化し、そのことでデータ量が膨大化する明度に関する色要素を省略することの可能性を考えた。

そこで本発明は、カメラで撮影したモニタ画面に表れる果実などの周辺を含むカラー画像の中から、成熟した果実などを光環境の変化する自然環境下においてもその特有の色で見分けられ、収穫すべき果実などの存在と位置を正確に認識し、植物の果実などの作業対象部分の位置特定が容易にできるようにする方法と、その方法を実施するための装置を提供し、さらにその装置で特定された果実などを摘み取る作業などの各種作業が自動的に行える作業用ロボットを提供できるようにすることを目的とする。

上記目的を実現させるために、本発明の植物の対象部分の位置特定方法の請求項１の発明にあっては、デジタルカメラを含むデータ及び命令の入力装置と、ディスプレイ装置を含む出力装置と、ＣＰＵとメモリを有するコンピュータ本体とから成るコンピュータシステム及びそのコンピュータ本体に組み込まれたデータ処理用のコンピュータプログラムを用いる。
そして、一種又は多種の植物の一つ又は複数の部分を対象とし、その対象部分のデジタル化された全色系のカラー画像のデータをコンピュータ本体に入力して記憶させ、それを前記ディスプレイ装置のモニタ画面に再生してその再生画像内で該対象部分に特徴的な色を固有色として選択する固有色選択工程と、その選択された固有色の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る色要素２元化処理工程と、その色要素２元化処理工程で得られた色彩空間データを前記モニタ画面に表示し、そのカラー画像から、さらに特徴的な一つ又は少数の色を選別し、これを識別用の色彩パターンデータとしてコンピュータに記憶させる色彩パターン登録工程とから成る事前準備を行う。
そして、実作業において、前記コンピュータプログラムを備えた前記コンピュータシステムを用いて、作業すべき前記対象部分が存在する周辺を含む区域を前記デジタルカメラで撮影し、その撮影した全色系のデジタルカラー画像から、明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る作業域色要素２元化処理工程と、その作業域色要素２次元化処理工程で得られた作業域の色彩空間データと、前記事前準備において記憶されている前記色彩パターンデータとを照合し、モニタ画面に表示された前記作業域の画像中に両者が合致した部分のみを区別して位置表示させる対象部分位置表示工程とで構成される。
そして、作業環境の明暗に係らず前記モニタ画面中の周辺を含む区域から正確に対象部分の存在位置を表示できるようにしたことを特徴とする。

請求項２の発明にあっては、上記請求項１に記載の植物の対象部分の位置特定方法において、対象部分位置表示工程の後に、モニタ画面の画像中に存在位置が表示された対象部分に対して、コンピュータで認識すべき画像内の対象部分の大きさに合わせて画面内での囲い範囲を決めておき、前記対象部分位置表示工程でモニタ画面の画像中に表示された対象部分の位置データが前記囲い範囲に存在するものについて自動的にその位置を識別し、その識別位置のデータにマーキング処理する対象部分マーキング工程を有することを特徴とする。

請求項３の発明にあっては、上記請求項２に記載の対象部分マーキング工程において、モニタ画面の画像中に複数の表示された各対象部分に対して、コンピュータで優先条件を設定したプログラムにしたがって自動的に優先順のマーキング表示をするマーキング優先順位決定工程を有することを特徴とする。

請求項４の発明にあっては、上記請求項１に記載の色彩パターン登録工程において、コンピュータにより、一つの対象部分に対してその対象部分の色彩パターンのデータを異なった箇所から複数記憶してその複数の対象部分の色彩パターンデータをラベリングし、そのラベリングした各色彩パターンデータを、実作業におけるモニタ画面の画像中に同時に表示できるように設定し、前記対象部分位置表示工程で前記モニタ画面の画像中に存在位置が表示された植物の対象部分の異なる箇所の囲い範囲が一部分重なった部分を抽出し、その抽出された部分のみに対象部分が存在すると自動的に判断する複合選別工程を有することを特徴とする。

請求項５の発明にあっては、上記請求項１に記載の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データである二軸の座標（ｘ）、（ｙ）を求めるに方法が、
ＣＩＥ−ＸＹＺ表色系より算出されるｘｙ色度図から、

の数式（ａ）、（ｂ）にＲ、Ｇ、Ｂの輝度値を入力して色度座標（ｘ）、（ｙ）値を求めることを特徴とする。

請求項６の発明にあっては、上記請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置である。

請求項７の発明にあっては、上記請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置であって、ＣＰＵ１とメモリ２を備えたコンピュータ本体と、カラー画像用のデジタル入力装置３と、画像を見るためのモニタ用のディスプレイ装置４とを備えたコンピュータシステムＣ1とから成り、前記コンピュータ本体には前記コンピュータシステムで請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法での処理工程に従ってデジタルカラー画像の色と位置のデータの処理を実行させるプログラムＰ1を備えたことを特徴とする。

請求項８の発明にあっては、上記請求項６又は７に記載の植物の対象部分の位置特定装置を用いた作業用ロボットある。

請求項９の発明にあっては、上記請求項６又は７に記載の植物の対象部分の位置特定装置を用いた作業用ロボットであって、走行移動用の駆動手段６を備えた装置搭載用のボディ５上に、植物撮影用のデジタルカラー画像の入力装置７、作業実行用の作業ハンド８、該作業ハンド駆動用のマニュピレ−タ９、及びボディ位置確認用のセンサー１１を備え、また前記ボディ５、マニュピレ−タ９、作業ハンド８、デジタルカラー画像の入力装置７及びボディ位置確認用のセンサー１１の各部分をコンピュータの命令で操作を実行する駆動制御部を有する。
そして、前記ボディ５上又は別の場所に、前記装置を構成する各部分の操作を命令する駆動用プログラムＰ2と前記デジタルカラー画像の入力装置７で入力したデジタル画像から植物の対象部分の位置特定する請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法を行うデータ処理用プログラムＰ1を備えたコンピュータ本体Ｃ2を有する。
そして、前記駆動制御部と前記コンピュータＣ2とで命令信号及びデータ処理信号の送受信を行い、前記位置特定装置で植物の対象部分の位置を特定しつつ、前記マニュピレ−タ９を稼動させて前記作業ハンド８を特定した対象部分の位置に自動的に移動させ、前記作業ハンド８で植物の対象部分への作業を実行できようにしたことを特徴とする。

本発明は上記の構成なので以下の効果を奏する。
本発明は、色要素２元化処理工程で、収穫したい成熟した果実などの色の特徴部分から明暗に関する色要素を除いた二つの色要素による二軸座標面でカラー表示可能な色彩空間データが得られ、このデータからさらに、色彩パターン登録工程で、より特徴的な色が選別されて、収穫したい果実などの識別の基となる対象部分の色彩パターンデータの登録がなされる。
そして、実作業では、この事前に登録された対象部分の色彩パターンデータと、作業現物で撮影した色データを作業域色要素２元化処理工程で明暗に関する色要素を除いて得られた作業域の色彩空間データとを照合することで、撮影したモニタ画面内での色の合致箇所から収穫したい成熟した果実などの対象部分の存在とその存在する位置が自動的に確認できるようになった。

この色の照合に使用される前記色彩空間データと前記色彩パターンデータは、明度などの明暗に関する色要素が排除されたデータなので、昼夜や天候などの自然環境の変化や照明条件の変動などにより光の量（明暗）に変化があってもその変化が色のデータに反映されず、この結果、屋外などのように作業場所の明暗変化の激しい光環境にあっても殆ど影響されない安定した色のデータを得ることが可能になる。
即ち、明るい晴れの日や暗い雨の日等の天候や、栽培室内の照明と外の天候条件によって明るさが時事刻々変化するような植物の生育する作業場所においても、また、実が葉の裏に隠れて暗がりとなってしまうころがある作業場合においても、そのような周囲の光の影響を受けて果実の色の明度が変化することがあっても、果実などの対象部分を葉などがある周囲から区別することができ、その位置を確実に特定することが可能となった。

その際のコンピュータでのデータ処理においては、この色彩空間データは明度、色相及び彩度から成る色の三要素のうち明暗に関する色要素を除いた二つの色要素の色のデータだけとしたものなので、全色系の色のデータと比べると、情報量として極めて小さく、その分データ処理においてメモリへの記憶容量を消費することなく、且つＣＰＵでの演算処理に要する時間が極めて短時間で行えるようになる。
そして、その二つの色要素の色彩空間データからは、さらに少ないデータ量であり対象部分の「色彩パターン」を抽出する処理をすることによって、照合するデータを極力少なくし、データ処理に要する時間をさらに大幅に短縮することが可能となり、加えて、果実などの特徴的な部分から対象部分の存在をさらに正確に絞込めるようになった。

また、この対象部分の色による存在の位置確認は、従来行われている形状に基づく存在の確認とは位置情報のデータ量が格段に少なく、また、特に植物では葉、実、茎、根などの各部分での固有色が種によって決まっていることから、葉、実、茎など成長による形状変化の多きい部分のデータよりも、変化の少なく実などの部分においてそれぞれ個別の特徴を有する固有色による存在の確認のほうが誤認の発生が起こり難い利点がある。

実際に位置特定装置を製造して屋外のイチゴ栽培農場で確認実験をした結果では、上記のように色は明暗に関する色要素を除いた二つの色要素による二軸座標面でカラー表示可能な色彩空間データを基にデータ処理されコンピュータ及びプログラムでそのデータの照合を行って判断をするものなので、対象部分の色の特徴から安定した識別が可能となり、ビニールハウス内での実験においては、イチゴの実の誤認発生率が「０」という驚異的な結果を得ることができた。
従来では、形状のみでの認識や形状と色の両者による認識で作動させる識別装置を使用しても、半分近くの誤認が生じ、このような精度では実際の作業には使用することができなかったが、本発明によって収穫作業などの植物に関する各種作業への実用化の道が開かれた。

さらに、従来のような形状認識に要するコンピュータ及びプログラムもさほど複雑ではなく、実際の運用にあっては障害の発生がほとんどないので取り扱いが大変簡単で、使用する装置も安価に提供することが可能となる。

また、請求項２の発明では、対象部分位置表示工程の後に行う対象部分マーキング工程によって、画像を見た人が認識するのではなく、対象部分の位置データから囲い範囲に存在する対象部分をコンピュータが自動的に識別できるようになる。
このことによって、人が付き添わずに作業を行う植物に対する全自動的な作業用ロボットが、本発明の方法による植物の対象部分の位置特定装置を実装することで、人の作業よりも早く効率良く作業が実施可能な程度にまで性能を向上させることが可能となった。

また、その作業の際に、請求項３の発明により、前記対象部分マーキング工程にマーキング優先順位決定工程を有することで、モニタ画面の画像中に複数の表示された各対象部分に対して、コンピュータによって優先条件を設定したプログラムにしたがって自動的に優先順にマーキングをすることができ、各対象部分が多い場合に、前記モニタ画面の画像中に多数の存在位置が表示されたときに、このマーキング優先順位に従った順番で作業用ロボットが迷うことなく効率の良い作業を行うことが可能となった。

さらに、請求項４の発明では、色彩パターン登録工程に、一つの対象部分に対して複数をラベリングして登録しておく複合選別工程を有することによって、一つの対象部分が、ステムと果実というように複数の特徴がある場合に、前記モニタ画面の画像中に植物の対象部分が存在しても、複数の囲い範囲の一部分重なった場合にのみ自動的に対象部分であると判断し、それ以外はマーキングを外すことが可能となる。
そしてその結果、例えば実の部分の画像とステム部分の画像との関連付けが可能となり、両方の存在が一部の重なった位置を共有した場合に収穫したい実であると判断でき、片方のみの識別よりも確実に対象部分であると識別が可能となり、例えば、実部分の識別に誤りが生じても、他方のステム部分の識別を加味することで識別誤りの確率を大幅に減少させ、極めて正確にステム付き果実を識別することが可能となった。
さらに、果実及びステムの部分を別々に正確に把握することで、例えば、ステムを切り取って収穫しようとするイチゴなどの場合には、そのステムの存在と位置を素早く正確に把握して、実の部分を傷付けないように回避して正確にステムに対して摘み取り作業をすることが可能になり、収穫時に起こり得る傷を極力減らし、傷による品質低下が起こらない商品価値の高い果実が得られるようになった。

また、請求項５の発明では、明度を排除したＣＩＥ−ＸＹＺより算出されるｘｙ色度図から、全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データである二軸の座標ｘ、ｙを前記「数１」の数式による計算で求めることができる。
そして、この方法の計算により、コンピュータによって座標数式のプログラムにしたがって色データが容易に加工できるようになって上記対象部分の色彩パターンが容易に得られる。
さらに、その対象部分の色彩パターンのデータを基にした色の照合と対象部分の識別判断が素早く実行できるようになり、その結果、個体数の極めて多いイチゴなどの個々の対象部分に対して作業が素早く且つ数多く繰り返して実施可能な高性能の作業ロボットの製作が可能となった。

さらに、請求項６及び７の発明は、上記請求項１から請求項５に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置であり、請求項７の発明の装置では、色と位置のデータを有するデジタルカラー画像のデータを取り込むデジタルカメラなどのデジタル入力装置と備えたコンピュータシステムに、上記植物の対象部分の位置を特定するための方法を実行させるコンピュータプログラムが組み込まれているので、上記請求項１から請求項５に記載の植物の対象部分の位置特定方法により対象部分の位置の特定を実行することが可能になった。

そして、請求項８及び９の作業ロボットの発明では、上記請求項６及び請求項７の植物の対象部分の位置特定装置を搭載しているので、備えたデジタルカメラで画像を取り込みながら、植物の対象部分の位置を特定しつつコンピュータに組み込んだ駆動用プログラムによりマニュピレ−タを自動的に制御し、作業ハンドの位置を移動させてその作業ハンドによる各種作業を、ボディを移動させながら素早く実行することが可能となった。
その際、前記作業ハンドは、果実の摘み取り、花の受粉、摘花などの作業に応じた形状、構造及び機能を備えたものを実装したり、作業に適した構造の装置に交換することで、それらの各種作業が行えるようになる。

本発明は、植物の対象部分の位置特定方法と、その特定方法による対象部分の位置特定装置と、その位置特定装置を用いた作業用ロボットの発明であり、その実施の形態を以下順に説明する。
まず、植物の対象部分の位置特定方法について説明する。

本発明の植物の対象部分の位置特定方法においては、その具体的な作業は、その対象部分の位置を特定するための装置とその装置を操作し得られたデータを処理するためのプログラムが必要である。
この装置は、図８の（イ）及び（ロ）に示すように、ＣＰＵ１とメモリ２を有するコンピュータ本体に、ＣＣＤカメラなどのカラー画像の入力装置３を含むデータ及び命令を入力するためのキーボード１０、マウス、タッチパネル及びライトペン等の入力装置と、モニタ用のディスプレイ装置４を含む画像を表示するための出力装置を備えた位置特定用のコンピュータシステムＣ1が使用され、そのコンピュータ本体には画像データ処理用のコンピュータプログラムＰ1が組み込まれる。
前記コンピュータプログラムＰ1は、画像処理機能を中心に位置情報などのデータの入力、記憶、加工、判断及び保存等を処理するためのコンピュータプログラムである。

本発明では、対象となる植物はイチゴ、トマトなどの作業対象となり得る一種又は多種の植物であり、そしてその植物の所望する対象部分は果実や葉などの作業に対象となる一つの部分又は、果実とステムなどの複数の部分である。
そしてそのような対象部分は、例えばトマトの場合には、収穫するのは赤く熟した実の部分であるが、作業は、苗から生育して苗の抜取り廃棄処分まで、その成長段階に応じた受粉や間引きなどの各種作業があり、それらの作業対象となる部分の全てが所望する対象部分である。

次に、本発明の方法を、対象の植物がトマトで、対象部分を赤く熟した収穫すべきトマトの実の部分とした場合を例に説明する。
本発明では、現場での実際の作業の前に準備作業が必要である。
この準備作業として、図１に示すように、固有色選択工程と、色要素２元化処理工程と、色彩パターン登録工程を行う。
前記、固有色選択工程においては、所望する対象部分がトマトの実であるので、その実のカラー写真やカラービデオ写真や実その物を一旦デジタル化された全色系のカラー画像のデータに転換し直す作業をする。
このデジタル画像は、カラー画像の色そのものではなく、色のデジタル情報を取得するために行うものである。したがって、対象部分として選ぶ箇所は熟れた実であれば熟れた実の現物をデジタルカメラで撮影することで手っ取り早く行うことができる。
しかし、収穫後にしばらく保存して、保存による熟成をまって出荷するような場合には完熟してまくまだ薄緑の部分が少し残るトマトを早期に収穫し、その未熟の薄緑の部分のある現物を、対象部分としてデジタルカメラで撮影することになる。
そして、そのデジタル化された全色系のカラー画像のデータをモニタ画面に再生し、その再生画像内で熟れたトマトなら、その部分に特徴的な色であるトマトの赤の部分を固有色として選択をする。

そして次の色要素２元化処理工程では、上記で選択された赤の部分の全色系のデジタル化した画像の色データ、即ち選択されたトマトの固有色の全色系の色データを基に、コンピュータプログラムにより明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データ（図４はイチゴの例であるが、トマトでも（ロ）と同じように表示される）を得る。
この色彩空間データは、イチゴなどの形状を表示すものではなく、図６の（ｂ）に示すように、２つの色要素を縦横の軸方向とした座標による二軸座標面の形状で示されるデータである。

ここで、従来の色の技術的処理の一般的な手法について、補足的に説明をしておくこととする。
色は、自然の中では全色が存在し、その全色の色を表現する方法として、ＣＩＥ（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｍｍｉｓｓｉｏｎｏｎＩｌｌｕｍｉｎａｔｉｏｎ）−ＸＹＺ、Ｌ・ａ・ｂ、Ｌ・ｕ・ｖ、マンセル表色系、オストワルド表色系、ＮＣＳ表色系等の様々な表色系が提案され、これらの色は工業製品の着色、画像機器の色彩調整等に多く用いられている。
特に近年では、Ｌ・ａ・ｂ、Ｌ・ｕ・ｖ等の表色系が視覚認識に利用される場合が多い。
上記全色系の表色系に共通するのは、全て３つのパラメータによって色を決めなければならない点である。
通常では、物の存在は物理的な空間のように位置情報のみの「距離」という同質の３つのパラメータでの３次元座標で立体形状が把握できるが、色で物の存在を色で把握するのは、色相、彩度及び明度という３つの異質なパラメータで３次元的に色を置き換えて評価しないと把握することが難しい。
したがって、色から物の存在を把握するには専門的な知識が必要で、コンピュータによるデータ処理も極めて面倒となる。

その色のパラメータである色相、彩度及び明度の３つの色要素が数値化されて特定の色が表現されるが、この３つの色要素を基に、コンピュータによる色のデータ処理においては三刺激値（ＣＩＥ−ＸＹＺの各値は光の三原色であるＲ（赤）Ｇ（緑）Ｂ（青）の数値の配分により算出される）としてどの色であるかが決まることになる。

そこで、例えば、色のパラメータの一つである「明暗」についてみると、本発明で扱う対象となる植物の場合では、光合成で成長、成熟するものなので光環境と密接に存在し、存在場所は上記のように昼夜や天候などの自然環境の変化や照明条件の変動などにより光の量（明暗）に変化が常にあるの場所に存在するのが普通であり、このような、量的変化が大きい要素を色のデータとして扱う場合に、そのデータ処理には莫大な容量と時間が必要となる、
したがって、明暗の要素を入れた色による物の存在位置の確認をしようとすると、データ処理の遅れが避けられず、結果として速さなどの効率性を要求される作業現場においては実用化することが極めて困難である。

以上の実情に直面した本発明者は、本発明で扱う対象となる植物では、葉茎実などの各部に固有に色を持っており、且つその色は光の明暗によって変わるものではないことに気付き、また色に特徴がある物では、明暗に関する色要素を判断材料として扱うデータの中から積極的に排除することで、自然の中でも安定した色の判定ができるのではないかとの推論をし、もしそうであるならば、これまで明暗の色要素をパラメータにすることでデータ処理に大きな遅れが生じていた問題も、データ量が激減できて一気に解決できるはずであるとの結論に達した。
そして、この結論を実現しようと各種手法を試みて、全色系の色要素のデータを明暗に関する色要素を除いた残りの二つの色要素のデータに変換させる色のデータ処理が可能であることがわかった。
本発明では、そのデータ処理の方法として上記請求項５に記載した方法が最適な方法なので以下その方法で説明する。

上記請求項５に記載した方法は、全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データである二軸の座標を求める方法である。
この方法では、ＣＩＥ−ＸＹＺ表色系より算出されるｘｙ色度図から、上記「数１」の数式を用いる。
そして、この中の式（ａ）、（ｂ）ではＲ、Ｇ、Ｂの輝度値を入力して色度座標値ｘ及びｙが求められる。
このように、色のデータの扱いが簡素化されると、コンピュータでの対象物の存在位置の最終的な判断までを瞬時に行えるようになる。

この方法は、専用のコンピュータプログラムにより自動的にコンピュータで演算処理され、２つの色要素を二軸の座標に変換でき、さらに進めて、座標上に分布する色彩領域を基準にある色彩のみの抽出が行われる。
それにはまず、二軸の座標として、図６の（ａ）に示す、色の国際規格のＣＩＥ−ＸＹＺ表色系より算出される二軸座標で表現されるｘｙ色度図を使用する。
この図６の（ａ）に示すｘｙ色度図では、赤、青、緑、黄、橙、紫等の色をx軸とy軸の座標で表わすことができるため、２次元平面で色を数値で把握することができる。
このｘｙ色度図から色度座標ｘ値とｙ値が求められる。

本発明では、対象部分を含むモニタ画面の全画像（図４の（イ）に示す）の色の画像データから、上記上記数１の数式（ａ）、数式（ｂ）にＲ、Ｇ、Ｂの輝度値が入力されて、この式１中の各値から色座標ｘ値、ｙ値が算出される。
なお、この式１中のＲは赤、Ｇは緑、Ｂは青で、これは光の三原色を示し、それらの各輝度値を入力して色座標のｘ値とｙ値とを求めるものである。
そして、対象部分を含むモニタ画面の前記全画像を、その画像上のすべての部分を、それぞれ一つの点としてのＲＧＢ値からｘ値とｙ値を求める。その際、ｘ軸方向とｙ軸方向それぞれに３０に区分した平面的な座標で表現可能になるように、その部分の色のデータは、連続的な数値（０〜１）で指定した区間上の指定した数で区分された座標上にデータを転換させる。
こうして、図４の（ロ）、図５の（イ）及び図６の（ｂ）に示すモザイクブロック状の数種類の近い色のカラー図形、即ち、明暗に関する色要素を除いた上記色度と輝度の二つの色要素の色彩空間データが表現された二軸座標面であるブロック状の近い色のカラー図形をモニタ画面に表現することが可能となる。
この図形の空間で表現できる色データ（色彩空間データ）を得るために行われる工程が、上記色要素２元化処理工程である。

この色彩空間データは、可視的に把握する場合にはモニタ画面に図像として表すこともでき、数学的には行列（表）によって表すこともできる。また、前記各区分に、そこに表現する画素の数を入力した場合にはｘ軸とｙ軸の二軸を指定した数で区分されたｘｙ色度図を平面とする色情報のヒストグラムとなる。

また、上記ＣＩＥ−ＸＹＺ表色系より算出されるｘｙ色度図とは、ＲＧＢに代えて、色（Ｆ）を３原色ＲＧＢの混色で等色してＦ＝ＲＲ＋ＧＧ＋ＢＢとしたとき、ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）、ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）とするときｒ＋ｇ＋ｂ＝１が成り立ち、このうちの２つで現したものをいう。
なお、上記式（ａ）の適用にあって、係数の比率を変換するか、又は有効桁数を調整して適用することも可能である。
このような色彩空間データのｘ値及びｙ値を求めるにあたっての計算方法として、変換式(ａ)の係数は小数点以下４桁であり、４桁ずらして係数を整数と見なせば３２ビット長のデータで表現できる数値となり、且つ、その計算の過程で値は負にならないので、このプログラムでは浮動小数点演算を適用せずに４桁ずらした整数値で係数を表現し演算することができる。
本発明では、データ処理を以上のように行うことで、上記色彩空間データへの変換を容易に高速化することが可能となる。

この上記色要素２元化処理工程で得られる色彩空間データは対象となる対象部分の特徴的な色のデータではあるが、本発明ではこの色彩空間データをさらに２次加工して、次の工程での色彩パターンデータ（このデータのモニタ画面に表示された色彩パターンを図６（ｃ）に示す）との比較照合と絞込みができるようにする。

そこで次の色彩パターン登録工程では、前記色要素２元化処理工程で得られた色彩空間データをモニタ画面に表示し、そのカラー画像（図４（ロ）に示す）から、さらに特徴的な一つ又は少数の色を選別し、これを対象部分の色彩パターン（図４（ニ）に示す）の色データとして登録する。
このとき、色彩空間データの取り扱いとして、図５の（ロ）に示すように数学的に行列で表現し、取り扱うことができる。
つまり、色彩空間上における色彩パターンの表現方法として、図４の（ロ）及び図５の（イ）に示される色彩空間データでは、色彩を行例で表現することができる。図５の（ロ）においては、３０×３０で区分された行列Ｍによって色彩空間データを表現しており、a_1、1〜ａ_30、30の各要素には、そこに配置されている色彩の数が入力される。
なお、３０×３０の区分は実験例であり、対象や作業現場に応じて区分数を適切に設定することができる。
また、図４の（ニ）及び図５の（ハ）の枠線で表現された部分がモニタ画面にデータを画像化して表示した「色彩パターン」であり、これも色彩空間データと同様に行列で表現することができる。
この図５の（二）は、色彩パターンである図５の（ハ）を行列Ｐによって表現している。
この対象部分の色彩パターンデータを事前に登録することにより、次の実作業の現場で得られた対象部分の色の明暗に関するデータが含まれない色彩空間データと比較照合が可能になり、正確な存在位置の絞込み特定ができるようになる。

このように請求項５の発明の、容易に二つの色要素から成る二軸に座標を求める方法によって、明度を排除したＣＩＥ−ＸＹＺより算出されるｘｙ色度図から前記「数１」の数式で求めることが可能となり、そのｘｙ色度図を基に、作業環境の明暗に関係なく対象となる果実などの植物の対象部分をコンピュータによって座標数式のプログラムにしたがって色データが容易に加工でき、対象部分が素早く識別されることで、個体数の極めて多いトマトやイチゴなどの個々の対象部分に対して作業が数多く繰り返して実施される作業を実行する装置の実用化が可能となる。

以上のように、色彩空間データが得られ、そこにｘｙ色度図を指定した区分でブロック状の画像又は行列で表現したら、次いで、その画像又は行列の中から、トマトの実部分の色の特徴から一定の部分を取捨選択し、その選択した部分から色彩パターンデータが得られる。
即ち、上記色彩空間データから、さらにトマトの実を特徴付けるデータを選出したのが色彩パターンデータである。
そこで、トマトでは赤色系に特徴があるので、その色相、彩度からトマトの成熟期に発色する濃い赤の色彩パターンデータにする。
つまり、色彩パターンとは色彩パターンデータを画像に表現した色の図形的表現であり、色彩空間データの図形的表現でのブロック状の色図形から対象となるトマトを特徴付ける色のブロック状部分を取捨選択し、その選出されたブロック状部分の集合体で形成される組み合わせ形状をいう。

以上詳しく色彩空間データと対象部分の色彩パターンデータについて説明したが、再度トマトの場合の次の説明に戻すと、トマトでは、前記色要素２元化処理工程で得られた色彩空間データをモニタ画面に表示し、そのカラー画像から、さらに特徴的な濃い赤の部分の一箇所を選別し、この濃い赤をトマトの対象部分の色彩パターンデータとしてコンピュータに記憶し、登録することになる。
以上でこの色彩パターンデータの登録で実際の現場作業に入る前の事前準備的な作業工程が終わる。

以上の工程の準備作業をしたら次に栽培現場での所望のトマトの位置を特定する実作業を行う。
この実作業では、作業域色要素２元化処理工程と対象部分位置表示工程を行う。
前記作業域色要素２元化処理工程では、実際の作業において、作業すべき前記トマトの苗の周辺を含む区域を全色系のデジタルカラー画像としてデジタルカメラで撮影し、コンピュータシステムを用いて、その全色系の色データをコンピュータプログラムにより明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る。
この色彩空間データはトマトを含めた作業域の全部の色のデータである。
そして次の対象部分位置表示工程で、前記作業域色要素２次元化処理工程で得られたトマトの苗を含む現場広域の色彩空間データと前記登録されているトマトの色彩パターンデータである濃い赤の色データとを照合し、前記二軸座標面でカラー表示可能な作業域の色彩空間データとトマトの色彩パターンデータとの両者の色のデータが合致した部分のみの前記モニタ画面の画像中に存在位置を表示させる。
即ち以上の工程で、色のデータが合致した部分がトマトの存在する位置でありその部分が前記モニタ画面の画像中に表示され、トマトの存在位置が確認される。

その周囲の中でのトマトの相対的位置の確認は、その抽出された部分を表示する画像を加工前のデジタルカラーの色をそのままで残した原画像上に表示するともできる。
また、トマト以外を他の色にすることによって位置の表示された画像を得ることができる。
さらに、トマトの色彩パターンデータを、二軸座標面でカラー表示可能な色彩空間データである固有色選択工程で得られたトマトの色のデータの中で、選択した部分の輝度値を変えるようにプログラムすることで、全体のカラー表示画像の中で、前記色彩空間データとトマトの色彩パターンデータとが合致した部分のみを明るく、他の部分は暗く表現することで、より明確に存在位置が周囲の中から浮き上がって明確に判別できるようにすることも可能となる。

また、色彩空間データの中で色彩パターンデータが合致したトマトの部分のみの前記モニタ画面の画像中に存在位置を表示させるに際して、事前に登録してあるトマトの色彩パターンデータに位置する表示画像上の画素は（一部でも存在すれば）そのままとし、その色彩パターンに位置しない表示画像上の画素部分を消去（その他の画素を黒にする、Ｒ＝０、Ｇ=０、Ｂ=０）することもできる。
そうすれば、前記モニタ画面に表示される画像には、前記トマトの色彩パターンデータで特定された濃い赤の色彩を有する画素部分のみが残り、この黒でない画素部分の集まった塊を対象として番号や名前を付けるラベリングが行え、前記モニタ画面の画像中の複数のトマトの存在を示す塊の中から、さらに所望する１つのトマトの実のみを選択することが可能となる。

本発明では上記のようにトマトの色のデータから明度などの明暗に関する色要素を排除したデータを使用するので、天候などの自然環境の変化や照明条件の変動などにより光の量（明暗）に変化があってもその変化が色データに反映されず、この結果、作業場所での変化の激しい光環境に影響されないトマトの特徴的な色データが安定して得られ、明暗の変化の大きい栽培場所においてもその周辺を含む区域から正確に所望の熟れたトマトの存在位置を確実に特定することが可能となるのである。

次に、請求項２の発明について説明する。
この発明は対象部分位置表示工程の後に行う対象部分をマーキングする対象部分マーキング工程である。
前記対象部分位置表示工程まででは、モニタ画面の画像中に特定のトマトを表示できるようになり画像を見た人はトマトの存在位置を認識できるが、コンピュータが判断するまでの段階にはない。
このため、この工程で対象部分の位置データから囲い範囲に存在する対象部分をコンピュータが自動的にトマトを識別できるようにする。
このことによって、植物の対象部分の位置特定装置又はその位置特定装置を用いた植物に対する作業用ロボットに対しての実装が可能となる。

また、請求項３の発明については、前記対象部分マーキング工程にマーキング優先順位決定工程を組み込むことで、モニタ画面の画像中に複数の表示された各対象部分に対して、コンピュータによって優先条件を設定したプログラムにしたがって自動的に優先順にマーキングをすることができるようになる。
そして、各対象部分が多い場合に、前記モニタ画面の画像中に多数の存在位置が表示されたときに、このマーキング優先順位に従った順番で作業用ロボットが迷うことなく効率の良い作業を行うことが可能となる。
この優先順位をつける方法は、右順、上順の設定など各種順位の設定が可能である。

さらに、請求項４の発明では、色彩パターン登録工程に、一つの対象部分に対して色彩パターンデータを複数ラベリングして登録しておく複合選別工程を有することによって、一つの対象部分が、ステムと果実というように複数の特徴がある場合に、前記モニタ画面の画像中に植物の対象部分が存在しても、複数の囲い範囲の一部分重なった場合にのみ自動的に対象部分であると判断し、それ以外は排除することが可能となる。
この場合、複数ラベリングした色彩パターンデータはそれらの各色彩パターンデータの並列化と、モニタ画像上の多重化が必要であるが、これを実現するために、色彩パターンデータを共有メモリに保存し、前記各色彩パターンデータについてそれぞれ独立した画像の処理を前記共有メモリ上でそれぞれ実行できるようにする。

また、上記色彩パターンデータを得るに当たって色彩パターンデータを複数得て、それらをラベリングして登録することが可能であり、この場合、その登録した複数の色彩パターンデータでの照合が可能となるが、モニタ画面にラベリングされた色彩を有する対象部分を示す塊の表示は広範囲に拡散することがある。
そうなると、そのままでは、トマトやイチゴの実などの存在する領域を絞ることも、さらにそこから１つの対象部分について実とステムの部分を１組で抽出することはできない。
したがって、このような場合には、色彩パターンデータを別々に関連させて並列化して複数の囲い範囲に別々に認識させ、その認識した複数の囲い範囲の一部分重なった場合にのみ自動的に対象部分であると判断させれば良く、そのために各ラベリングされたデータをそれぞれ並列的に処理できるようにすることが必要となる。
こうすれば、実とステムの組み合わせに限らず、実、ヘタ、ステムなどの複数の異種の対象部分についても並列処理を行いより複雑な関連づけで、極めて近い色の対象部分から特定したい場合などでも正確な識別が可能となる。

したがって、実の部分の画像とステム部分の画像とが関連付けられることで、片方の識別に対象部分であるとの誤りが生じた場合に、もう一方の認識で正確に対象部分であるかが判断できるようになり、また、例えば、実部分の識別に誤りが生じても、他方のステム部分の識別で誤りの確率を大幅に減少させ、正確に識別することができるようになる。
そして、果実及びステムの部分を正確に把握することで、例えば、ステムを切り取って収穫しようとするトマトやイチゴなどの場合には、そのステムの存在と位置を早く正確に把握し、ステムに対して摘み取る作業することによって、果実に触らずに実を全く機械で傷めることなく高品質な状態を維持して収穫することが可能となる。

なお、上記共有メモリ上に入力画像だけでなく、処理過程の画像、処理結果の画像を保存することもでき、共有メモリは複数のプログラムでデータを共有でき、そのような共有ネットワークによって、遠隔地からでも、入力画像、処理過程の画像、処理結果の画像を表示したり、データや命令の送受信を行って共同作業をすることも可能となる。

また、本発明では、図５(a)のようなカラー表示された実際のｘｙ色度図と、その色の分布上で区分されている色名がかかれている図があれば、その実際のｘｙ色度図で指定されている色を参考にしながら、カメラカラー画像がなくても、その色から色彩パターンデータが得られ、そのデータの登録も可能となる。
また、たとえばトマトの実は対象部分であれば赤に位置する区分をデジタルカメラ撮影して色彩パターンデータを得て記憶させることも可能であり、正確を期するようにする場合には実際の使用結果を見ながらさらに色の微調整をすることも可能となる。
以上トマトの実などの対象部分となる部分の色彩空間データと色彩パターンデータの説明したが、このほかの植物の果実、葉、花の部分に対しても、同様な工程でデータ処理することが可能である。

次に、色彩空間データと登録した色彩パターンデータとの照合による存在位置をどのように特定するかについては別の方法も可能であり、それを以下で説明する。
現場で入力したデジタルカラー画像を基に形成した色彩空間データと登録した色彩パターンデータとが一致した場合には、この色彩空間データと同じ色彩パターンデータをコンピュータに記憶させ登録することも可能である。
この場合、色彩空間データと色彩パターンデータとは完全に一致する。
即ち、図６（ｂ）に示す色彩空間データから図６（ｃ）のような色彩パターンデータが作成できず、図６（ｂ）がそのまま色彩パターンデータとなり登録される。
この場合でも、上記工程と同様な工程で対象部分を絞り込んで位置の特定が可能でなる。
そしてこの場合でも色彩パターンデータは複数登録することが可能であり、これによって、複数の種類の対象部分の識別やデータを複数ラベリングしてそれらを並列させて処理することも可能となる。
以上のように、モニタ画面で、事前に色彩パターンデータを用いた表示された画像を、作業現場で入力した全色系のデジタルカラー画像に重ねて表示し、色彩パターンデータで捉えた対象部分の画像の囲い範囲を特定しラベリングすることができるが、この囲い範囲の周囲を枠取りしその枠部分を画面表示し特定された対象部分を把握しやすくする方法もある。

本実施例１はイチゴの実を対象とした場合であり、成熟したイチゴの実を特定する場合についての工程を示す図２を基に以下説明する。
イチゴは実の部分と葉の部分と根に部分があり実は柄（ステム）の先端に着いており、この熟れた実の部分の存在位置どのように特定するかについて本発明の方法を説明する。
この方法の工程では、前段の前記色彩パターンを登録するまでの工程と、その後の実際にイチゴの実を捜し出す工程とがあり、前段の工程から説明する。
まず図２に示す固有色選択工程ではおいては、成熟したイチゴの実のデジタル化された全色系のカラー画像のデータを、図４の（イ）に示すように、モニタ画面に入力して再生し、その再生画像内で実からその部分に特徴的な色である赤の部分を所望する固有色として選択する。
この色のデータは、デジタル化された全色系のカラー画像のデータは作業現場での現物のイチゴをデジタルカメラで撮影した画像から得ても良いし、すでに撮影されていたカラー写真をスキャナーでデジタル化した画像から得ても良い。

次に、色要素２元化処理工程では、選択された赤部分の全色系の色データをコンピュータプログラムにより明暗に関する色要素を除いた二つの色要素の色データに転換させて、図４の（ロ）に示すように、二軸座標面でカラー表示可能な色彩空間データを得る。
この段階では、イチゴの選択された箇所の周辺部分の色が一部含まれている。

次の色彩パターン登録工程では、前記色要素２元化処理工程で得られた図４の（ロ）に示す色彩空間データをモニタ画面に表示し、そのカラー画像から、さらに特徴的な赤部分をさらに濃い赤に選別し、この濃い赤を、図４の（二）に示すように、対象部分の色彩パターンの色データとしてメモリに記憶させ登録しておく。
この画像処理は、ブロック状に表示された前記色彩空間データの中の最も特徴的な色彩を表すブロックを選択することによって色彩パターンが決まり、所望する成熟したイチゴが確実に識別されるようになる。
なお、一度得られた色彩パターンはハードディスクやフラッシュメモリなどのメモリに登録して記録させれば、コンピュータの電源を切ったとしても、再度その記憶させたメモリから色彩パターンのデータを呼び出すこともでき、これは何度でも使用できる。

その後の実際にイチゴの実を捜し出す工程については、次の作業域色要素２元化処理工程において、作業すべき成熟イチゴが着いている前記イチゴの苗の周辺を含む区域を全色系のデジタルカラー画像としてデジタルカメラで撮影し、コンピュータシステムを用いて、その全色系の色データをコンピュータプログラムにより明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る。
この色彩空間データは二軸座標面に変数としてメモリに保存する。
そして次の対象部分位置表示工程では、前記作業域色要素２次元化処理工程で得られた色データと前記登録されている濃い赤である実の色彩パターンデータとを照合し、両者が合致した部分のみを抽出しそのデータをメモリに記憶させ、図４の（ハ）に示すように、前記モニタ画面の画像中に存在位置を表示させる。

そして、次の対象部分マーキング工程では、モニタ画面の画像中に存在位置が表示された濃い赤があるイチゴの実に対して、コンピュータで認識すべき画像内の濃い赤のある部分の大きさに合わせて画面内での囲い範囲を決めておき、前記対象部分位置表示工程でモニタ画面の画像中に表示された濃い赤のある部分の位置データが前記囲い範囲に存在するものについて自動的にその位置を識別し、その識別位置にマーキング処理する。
また、マーキング優先順位決定工程では、対象部分マーキング工程において、モニタ画面の画像中に濃い赤の部分が複数表示されたとき、各濃い赤部分に対して、コンピュータで優先条件を設定したプログラムにしたがって自動的に優先順にマーキングをする。
これによって作業すべき１個が選択される。

イチゴの実とステムの認識については、次の複合選別工程で行う。
この複合選別工程では、前の工程でステム及びヘタ部分の色彩パターンデータも記憶させて登録しておいてから行われる。
即ち、１つのイチゴの実の部分に対して対象部分色彩パターンデータを実の赤の部分とステムの緑の部分とを別々に記憶させて登録し、その赤の色彩パターンデータのラベリングと緑の色彩パターンデータのラベリングとを行い、実際の作業におけるモニタ画面の画像中にその両方を並列的に同時処理し、同じ画面で表示できるように設定し、対象部分位置表示工程で前記モニタ画面の画像中に存在位置が表示されたイチゴの実部のうち赤と緑の両者の囲い範囲が一部分重なった場合のみ実とステムがあるイチゴの実が存在するとプログラムにしたがって自動的に判断し、それ以外の位置データは捨象する。
こうすることで、実及びステムに対して誤って識別して取り入れている画像は消去されて実及びステムの存在位置と範囲が明確になる。
このように得られた実とステムの同時存在とその位置データを基に、作業ロボットにより実を避けてステムをカットして収穫したり、花のみの摘み取りや間引き等の各種作業を行うことが可能となる。

ステムの把握は、イチゴでは、モニタ画面の画像に特定された熟成イチゴの位置の囲い範囲の位置よりも上部を拡大表示し、その領域の画像を分離しさらに色彩空間データに変換して行われる。
この処理結果は色彩空間データを表わす変数としてメモリ上に保存される。
さらにこの色彩空間データを色彩パターンデータに基づいてデータの照合をし、対象部分の色彩を有する画素のみを抽出しその処理結果を表示画像のデータとしてメモリ上に保存する。
この表示画像にラベリング処理を施すことにより、画像上のステム及びヘタの位置が特定される。これによって、成熟イチゴの実部分を掴まずにステムを切って摘み取るためのステムの位置が正確に識別することが可能となる。

ステムは、それ自体が細く、小さい等の理由で、それ単独での識別は非常に困難であり、また実や花の部分は、大きさや色の特徴から識別は比較的容易であったが、摘み取り等の採取の際に機械でそれを直接掴むと実又は花を傷め易いという矛盾がある。
そこで、本発明では実とステムとを関連付けてデータ処理を並列に同時処理を行うことにより、探しにくいステムを効率的に識別することが可能となる。
同時に、ロボットによる摘み取り作業では、実又は花を掴まずステム部分を切り取れば、実や花を傷めることなく収穫や採取が可能となる。

また、本発明では、葉を背景とし、キュウリやピーマンなどの同じ緑の同系色の中から所望の対象部分のみを識別する場合、前記色彩空間データの分解能をより細かくすることで、微妙な色彩の違いを捉えることが可能となる。
またこのような場合には、上記イチゴの識別をした場合と同様の複数のラベリングを行って対象部分を特定する手法が使用できる。
本実施例２は、そのような同系色のピーマンとキュウリが混合された栽培をした場合における例を示し、のようにピーマンもキュウリも同じ緑色をしているので色による識別は難しい場合について以下図３及び図７を基に説明する
本実施例２は、先ず固有色選択工程では、ピーマンとキュウリのデジタル化された全色系のカラー画像のデータをモニタ画面に再生し、その再生画像内でピーマンとキュウリからその部分に特徴的な色であるピーマンの緑とキュウリの緑の部分を所望の固有色として選択する。

次に色要素２元化処理工程では、選択された緑の部分の全色系の色データをコンピュータプログラムにより明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る。
そして、色彩パターン登録工程では、前記色要素２元化処理工程で得られた色彩空間データをモニタ画面に表示し、そのカラー画像から、さらに特徴的な緑の部分をさらにピーマンでは緑、キュウリでは黄緑に選別し、この緑と黄緑をピーマンとキュウリの対象部分の色彩パターンデータ（図７の（ロ）に示す）としてコンピュータに記憶させ登録する。

次に、実際の作業において、作業域色要素２元化処理工程では、作業すべき前記ピーマンとキュウリの苗の周辺を含む区域を全色系のデジタルカラー画像（図７の（イ）に示す）としてデジタルカメラで撮影し、コンピュータシステムを用いて、その全色系の色データをコンピュータプログラムにより明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能なそれぞれの色彩空間データを得る。

そして、対象部分位置表示工程では、前記作業域色要素２次元化処理工程で得られたピーマンとキュウリの色彩空間データと前記登録されている色彩パターンデータの前記ピーマンの緑とキュウリの黄緑の色データとを照合をする。
そして、それぞれの前記二軸座標面でカラー表示可能な色彩空間データと色彩パターンデータとの両者が合致した部分のみの前記モニタ画面の画像中に存在位置を表示させる。

そして、対象部分マーキング工程では、モニタ画面の画像中に存在位置が表示された緑のピーマンと黄緑のキュウリに対して、コンピュータで認識すべき画像内の緑よ黄緑のある部分の大きさに合わせて画面内での囲い範囲（図７の（ハ）に示す）を決めておく。
そして、前記対象部分位置表示工程でモニタ画面の画像中に表示された緑と黄緑のある部分の位置データが前記囲い範囲に存在するものについて自動的にその位置を識別し、その識別位置にマーキング処理する。
この場合単に色だけの存在確認には類似色の場合には識別が難しい場合がある。
そこで、丸いピーマンと長いキュウリは大きさが異なった囲い範囲となるので、ピーマンに合う囲い範囲を選択条件とすることで自動的にピーマンの位置が識別できるようになる。

図７では（イ）がカメラのカラー撮影画像であり、（ロ）がキュウリの色彩空間データと色彩パターンデータとの両者が合致した部分のみの前記モニタ画面の画像中に表示された図像であり、（二）がピーマンの色彩空間データと色彩パターンデータとの両者が合致した部分のみの前記モニタ画面の画像中に表示された図像である。
図７の（ハ）に示すように、囲い範囲がピーマンとキュウリとではキュウリは縦に長い枠で囲い範囲が異なった形状となっており、即ち、囲い範囲の違いによって、色彩パターンデータでは誤認される虞があるものを識別し、確実に欲しいものの存在位置が特定される。
また、マーキング優先順位決定工程では、対象部分マーキング工程において、モニタ画面の画像中に黄緑の部分及び長い方の枠で囲い範囲を優先順位に設定した場合、コンピュータでキュウリが自動的に選択されることになる。
さらにこの表示画像にラベリング処理を施すことによって、画像上のピーマン及びキュウリの大きさ及び位置などが区別されてそれぞれの個別の特定が可能となる。

次に上記植物の対象部分の位置特定方法による植物の対象部分の位置特定装置について説明する。
この位置特定装置は、図８の（イ）及び（ロ）に示すように、装置自体は、台板上にＣＰＵ１とメモリ２を備えたコンピュータ本体を載置し、コンピュータ本体にはカラー画像をデジタルデータとして入力させる入力装置３と、画像を見るためのモニタ表示用のディスプレイ装置４とが接続されて載置される。
このようなコンピュータシステムＣ1は装置そのものとしては、普及されているディスクトップ型やノート型のパソコンが使用できる。
そしてこのコンピュータシステムＣ1のコンピュータ本体には、上記請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法によりその処理工程に従ってデジタルカラー画像の色と位置のデータの処理を実行させるプログラムＰ1が前記ＣＰＵ１と及びメモリ２に組み込まれる。

上記位置特定方法の実施に当たっては、前記メモリ２ではデジタル画像の色と位置情報が記憶され、また対象部分の色彩パターン等を記憶し登録データとしてコンピュータ本体に記憶格納される。
また前記ＣＰＵ１では、対象部分の色彩空間データや色彩パターンデータを得るためのデータの加工や照合、比較、演算や判断などのデータ処理がコンピュータプログラムによって行われる。
そして、モニタ用の前記ディスプレイ装置４では、デジタルカラーカメラで入力したデジタルカラー画像のデータを出力したり、処理された画像データの対象部分の色彩空間データや色彩パターンデータを色の図像として存在位置などが見て確認できるようになる。

また、入力装置としては、デジタルカラーカメラなどのカラー画像のデジタル入力装置３の他に、色彩パターンを登録操作するなどのためのキーボード１０、マウス、タッチパネル、ライトペン等が必要に応じてコンピュータ本体に接続され、それらも使用できるようにすることができる。
そして、上記入力装置や出力装置を操作することによって、対象部分の色彩パターンの登録、識別結果の確認、画像処理の実行や、実行過程の確認等はモニタ画面でその都度行え、例えば固有色の明暗に関する色要素を除いた二つの色要素の色彩空間と対象部分の色彩パターンを表示したり、各識別過程や識別結果及びその他のパラメータの数値を適宜画面表示し確認することができる。
そして、デジタルカラーカメラで撮影した画像中に植物の実や花などの対象部分の位置が前記ディスプレイ装置４のモニタ画面の中に特定できるようになる。

次に、上記植物の対象部分の位置特定装置を用いた植物に対する作業用ロボットを、イチゴ摘みロボットで説明する
この作業用ロボットは、図９及び図１０に示すように、ベンチ式のボディ５には装置全体を移動させる駆動手段６を備える。
本発明では、上記位置特定装置のように実際に作業を行わない装置に対して、移動させる駆動手段６を備えて移動して各種作業を行う装置を「作業用ロボット」と呼ぶ。
そして、この作業用ロボットは、図１１に示すように、この軌道手段６は四輪の車輪とバッテリー電源のモーター駆動部を備え、その車輪の駆動はコンピュータの指令で駆動制御部を介して行われる。その際にボディ５には距離を測定するボディ位置確認用のセンサー１１を前に備えることによって、周囲の障害物などを感知し、自動走行が可能なようになる。
また、前記ボディ５の上に設ける植物を撮影するデジタルカラー画像の入力装置７は、作業ハンドに近く且つ中央支持軸上に対象部分の撮影を行えるように設置されるとともにコンピュータシステムＣ2のコンピュータ本体に接続する。
そして、作業を実行する作業ハンド８も前記中央支持軸上部に設置され、その作業ハンド８は前後駆動用マニュピレ−タ９ｃ、左右駆動用マニュピレ−タ９ａ、上下駆動用マニュピレ−タ９ｂを備えて、四方に自由に作業ハンド８を移動させ作業を行えるようにする。
また前記ボディ５上には前記ボディ５の移動及び作業ハンド８の駆動などの電子制御を行う駆動制御部を備える。
そして、前記駆動制御部と前記コンピュータＣ2とで命令信号及びデータ処理信号の送受信を行い、駆動用プログラムＰ2によってコンピュータシステムＣ2で走行や停止及び前記各マニュピレ−タ９の駆動制御が行えるようにする。

そして、この作業ロボットには前記デジタルカラー画像の入力装置７で入力したデジタル画像から植物の対象部分の位置特定する上記請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法を行うための専用プログラムＰ1を備えた上記実施例３の植物の対象部分の位置特定装置を搭載する。
その位置特定装置の部分は作業ロボットの前記ボディ５上に全て搭載しての良いが、作業ロボットを軽量化し操作性を高めるには前記ボディ５から外すことも可能である。
その場合、作業ロボットの駆動用プログラムＰ2を備えたコンピュータシステムＣ2と位置特定方法を行うための専用プログラムＰ1を備えたコンピュータシステムＣ2とは統合させることもできる。
そして、データの交信や駆動制御への駆動命令などは無線通信回線で接続すれば、繋いだ配線による作業ロボットの移動の障害が起こらず、自由に移動できて作業が行えるようになる。
そして、前記植物の対象部分の位置を特定しつつマニュピレ−タ９を稼動させて前記作業ハンド８を特定した対象部分の位置に自動的に移動させて作業を実行することができよるうになる。

そして、例えばイチゴ摘み用の作業ロボットは、図１３に示すように、イチゴ畑の中で畝に沿って移動させながら、前記デジタルカラー画像入力装置７で周囲のイチゴＭに画像を入力しつつ、そのデジタル画像から植物の対象部分の位置を上記方法で素早く特定し、熟したイチゴのステムＳにマニュピレ−タを稼動させて前記作業ハンドを自動的に移動させ、そのステムを図１２に示す作業ハンドに設けたカッターでステムＳ部分をカットして熟したイチゴの実Ｍの収穫を実行させることが可能となる。

なお、作業ロボットには、現場の使用に当たって、作業する対象部分の色彩パターンデータをコンピュータに記憶させ登録しておけば、現場における実作業では作業域色要素２元化処理工程から実施できるようになる。
上記請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法のうち、前記固有色選択工程と、前記色要素２元化処理工程及び前記色彩パターン登録工程までは、実際の作業現場では行わなくても作業ロボットの使用が可能であるので、製品としての作業ロボットは、実作業のみ行わせる態様が可能となる。

データ処理工程を示す工程図である。イチゴのデータ処理工程を示す工程図である。ピーマンとキュウリのデータ処理工程を示す工程図である。（イ）がイチゴのデジタル全色系カラー画像、（ロ）がイチゴの色彩空間データ（ニ）イチゴの色彩パターンデータ、（ハ）がイチゴの位置を特定した状態を示す各モニタ画面図である。（イ）が色彩パターンデータのモニタ画面図、（ロ）が数式表現図、（ハ）が色彩パターンデータのモニタ画面図、（ニ）が色彩パターンデータの数式表現図である。（ａ）が色度分布図、（ｂ）ＲＧＢを入力して求めたｘｙ色度分布を示すモニタ画面図である。ピーマン、キュウリの画像のモニタ画面図である。本発明の位置特定装置を示す（イ）が正面図、（ロ）が側面図である。本発明の作業ロボットの前面側から見た斜視図である。図９の作業ロボットの後面側から見た斜視図である。本発明の作業ロボットを示す（イ）が平面図、（ロ）が正面図、（ハ）が側面図、（ニ）が背面図である。作業ロボットの作業ハンド部分を示す（イ）が平面図、（ロ）が側面図、（ハ）が正面図である。作業ロボットの作業状態を示す模式的正面図である。

符号の説明

１ＣＰＵ
２メモリ
３カラー画像の入力装置
４ディスレイ装置
Ｃ1 位置特定用コンピュータシステム
Ｃ2 駆動用コンピュータシステム
５ボディ
６駆動手段
７デジタルカラー画像の入力装置
８作業ハンド
９マニュピレ−タ
９ａマニュピレ−タ
９ｂマニュピレ−タ
９ｃマニュピレ−タ
１０キーボード
１１ボディ位置確認用のセンサー
Ｐ2 駆動用プログラム
Ｐ1 位置特定用プログラム
Ｓステム
Ｍ実

Claims

デジタルカメラを含むデータ及び命令の入力装置と、ディスプレイ装置を含む出力装置と、ＣＰＵとメモリを有するコンピュータ本体とから成るコンピュータシステム及びそのコンピュータ本体に組み込まれたデータ処理用のコンピュータプログラムを用い、
ａ）準備作業において、
一種又は多種の植物の一つ又は複数の部分を対象とし、その対象部分のデジタル化された全色系のカラー画像のデータをコンピュータ本体に入力して記憶させ、それを前記ディスプレイ装置のモニタ画面に再生してその再生画像内で該対象部分に特徴的な色を固有色として選択する固有色選択工程と、
選択された前記固有色の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る色要素２元化処理工程と、
前記色要素２元化処理工程で得られた色彩空間データを前記モニタ画面に表示し、そのカラー画像から、さらに特徴的な一つ又は少数の色を選別し、これを識別用の色彩パターンデータとしてコンピュータに記憶させる色彩パターン登録工程と、
ｂ）実作業において、
前記コンピュータプログラムを備えた前記コンピュータシステムを用いて、作業すべき前記対象部分が存在する周辺を含む区域を前記デジタルカメラで撮影し、その撮影した全色系のデジタルカラー画像から、明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データを得る作業域色要素２元化処理工程と、
前記作業域色要素２次元化処理工程で得られた作業域の色彩空間データと記憶されている前記色彩パターンデータとを照合し、モニタ画面に表示された前記作業域の画像中に両者が合致した部分のみを区別して位置表示させる対象部分位置表示工程と、から成り、
作業環境の明暗に係らず前記モニタ画面中の周辺を含む区域から正確に対象部分の存在位置を表示できるようにしたことを特徴とする植物の対象部分の位置特定方法。
請求項１に記載の植物の対象部分の位置特定方法において、対象部分位置表示工程の後に、モニタ画面の画像中に存在位置が表示された対象部分に対して、コンピュータで認識すべき画像内の対象部分の大きさに合わせて画面内での囲い範囲を決めておき、前記対象部分位置表示工程でモニタ画面の画像中に表示された対象部分の位置データが前記囲い範囲に存在するものについて自動的にその位置を識別し、その識別位置のデータにマーキング処理する対象部分マーキング工程を有することを特徴とする植物の対象部分の位置特定方法。
請求項２に記載の対象部分マーキング工程において、モニタ画面の画像中に複数の表示された各対象部分に対して、コンピュータで優先条件を設定したプログラムにしたがって自動的に優先順のマーキング表示をするマーキング優先順位決定工程を有することを特徴とする植物の対象部分の位置特定方法。
請求項１に記載の色彩パターン登録工程において、コンピュータにより、一つの対象部分に対してその対象部分の色彩パターンデータを異なった箇所から複数記憶してその複数の対象部分の色彩パターンデータをラベリングし、そのラベリングした各色彩パターンデータを、実作業におけるモニタ画面の画像中に同時に表示できるように設定し、前記対象部分位置表示工程で前記モニタ画面の画像中に存在位置が表示された植物の対象部分の異なる箇所の囲い範囲が一部分重なった部分を抽出し、その抽出された部分のみに対象部分が存在すると自動的に判断する複合選別工程を有することを特徴とする請求項１から３のうちいずれか１項に記載の植物の対象部分の位置特定方法。
請求項１に記載の全色系の色データを明暗に関する色要素を除いた二つの色要素の色データに転換させて二軸座標面でカラー表示可能な色彩空間データである二軸の座標を求めるに方法が、
ＣＩＥ−ＸＹＺ表色系より算出されるｘｙ色度図から、

の数式（ａ）、（ｂ）にＲ、Ｇ、Ｂの輝度値を入力して色度座標（ｘ）、（ｙ）値を求めることを特徴とする請求項１から４のうちいずれか１項に記載の植物の対象部分の位置特定方法。
請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置。
請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法による植物の対象部分の位置特定装置であって、ＣＰＵ（１）とメモリ（２）を備えたコンピュータ本体と、カラー画像用のデジタル入力装置（３）と、画像を見るためのモニタ用のディスプレイ装置（４）とを備えたコンピュータシステム（Ｃ1）とから成り、前記コンピュータ本体には前記コンピュータシステムで請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法での処理工程に従ってデジタルカラー画像の色と位置のデータの処理を実行させるプログラム（Ｐ1）を備えたことを特徴とする植物の対象部分の位置特定装置。
請求項６又は７に記載の植物の対象部分の位置特定装置を用いた作業用ロボット。
請求項６又は７に記載の植物の対象部分の位置特定装置を用いた作業用ロボットであって、走行移動用の駆動手段（６）を備えた装置搭載用のボディ（５）上に、植物撮影用のデジタルカラー画像の入力装置（７）、作業実行用の作業ハンド（８）、該作業ハンド駆動用のマニュピレ−タ（９）、及びボディ位置確認用のセンサー（１１）を備え、また前記ボディ（５）、マニュピレ−タ（９）、作業ハンド（８）、デジタルカラー画像の入力装置（７）及びボディ位置確認用のセンサー（１１）の各部分をコンピュータの命令で操作を実行する駆動制御部を有し、さらに前記ボディ（５）上又は別の場所に、前記装置を構成する各部分の操作を命令する駆動用プログラム（Ｐ2）と前記デジタルカラー画像の入力装置（７）で入力したデジタル画像から植物の対象部分の位置特定する請求項１から５のうちいずれか１項に記載の植物の対象部分の位置特定方法を行うデータ処理用プログラム（Ｐ1）を備えたコンピュータ本体（Ｃ2）を有して成り、前記駆動制御部と前記コンピュータ（Ｃ2）とで命令信号及びデータ処理信号の送受信を行い、前記位置特定装置で植物の対象部分の位置を特定しつつ前記マニュピレ−タ（９）を稼動させて前記作業ハンド（８）を特定した対象部分の位置に自動的に移動させ、前記作業ハンド（８）で植物の対象部分への作業を実行できようにしたことを特徴とする作業用ロボット。