JPH0944650A - 果実認識装置 - Google Patents
果実認識装置Info
- Publication number
- JPH0944650A JPH0944650A JP7209362A JP20936295A JPH0944650A JP H0944650 A JPH0944650 A JP H0944650A JP 7209362 A JP7209362 A JP 7209362A JP 20936295 A JP20936295 A JP 20936295A JP H0944650 A JPH0944650 A JP H0944650A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- fruit
- peak
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Harvesting Machines For Specific Crops (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】ヒストグラムのピーク輝度値からしきい値を決
める場合、輝度変化の小さい画像ではヒストグラムにピ
ークが存在せず、しきい値が求まらないことがある。 【解決手段】まず、画像を1画素単位に入力し、入力し
た画像をR,G,B画像に分解し、それぞれの画像の輝
度の最低値から最高値を0から255の値に線形変換
し、R,G,B画像の輝度の変化量を拡大する。次に、
R,G,B画像それぞれの輝度分布を計算してヒストグ
ラムを作成し、さらに、作成したR,G,B画像のヒス
トグラムを移動平均法により平滑化する。ここで、R,
G,Bそれぞれの画像のヒストグラムの低輝度側から見
て最初のピークである最低輝度ピークを、微分係数10
以下で微分して検出し、この最低輝度ピークの輝度値を
平均して2値化のしきい値を決定する。最後に、画像の
R,G,B信号を輝度加算してR+G+B画像を作成
し、このR+G+B画像を前記しきい値で2値化する。
める場合、輝度変化の小さい画像ではヒストグラムにピ
ークが存在せず、しきい値が求まらないことがある。 【解決手段】まず、画像を1画素単位に入力し、入力し
た画像をR,G,B画像に分解し、それぞれの画像の輝
度の最低値から最高値を0から255の値に線形変換
し、R,G,B画像の輝度の変化量を拡大する。次に、
R,G,B画像それぞれの輝度分布を計算してヒストグ
ラムを作成し、さらに、作成したR,G,B画像のヒス
トグラムを移動平均法により平滑化する。ここで、R,
G,Bそれぞれの画像のヒストグラムの低輝度側から見
て最初のピークである最低輝度ピークを、微分係数10
以下で微分して検出し、この最低輝度ピークの輝度値を
平均して2値化のしきい値を決定する。最後に、画像の
R,G,B信号を輝度加算してR+G+B画像を作成
し、このR+G+B画像を前記しきい値で2値化する。
Description
【0001】
【発明の属する技術分野】本発明は、カラーCCDカメ
ラの視覚情報により果実収穫マニピュレータを操縦して
果実を自動的に収穫する果実自動収穫機に関し、特にそ
の果実認識装置の画像処理に関する。
ラの視覚情報により果実収穫マニピュレータを操縦して
果実を自動的に収穫する果実自動収穫機に関し、特にそ
の果実認識装置の画像処理に関する。
【0002】
【発明が解決しようとする課題】2値化のしきい値は、
きゅうりなどの対象物が一番際立つように、人間が試行
錯誤的に調整しながら人為的に決めるのが一般的である
が、コンピュータで自動的に画像処理する場合、画像の
階調を256段階に分け、横軸に階調の輝度値、縦軸に
階調の出現頻度を表す輝度分布曲線(ヒストグラム)を
作成し、この曲線の低輝度側から見て最初のピーク輝度
値と次のピーク輝度値との間の谷のところにしきい値を
設定して決める例などもある。しかし、ヒストグラムの
ピーク輝度値からしきい値を決める場合、輝度変化の小
さい画像ではヒストグラムにピークが存在せず、しきい
値が求まらないことがある。
きゅうりなどの対象物が一番際立つように、人間が試行
錯誤的に調整しながら人為的に決めるのが一般的である
が、コンピュータで自動的に画像処理する場合、画像の
階調を256段階に分け、横軸に階調の輝度値、縦軸に
階調の出現頻度を表す輝度分布曲線(ヒストグラム)を
作成し、この曲線の低輝度側から見て最初のピーク輝度
値と次のピーク輝度値との間の谷のところにしきい値を
設定して決める例などもある。しかし、ヒストグラムの
ピーク輝度値からしきい値を決める場合、輝度変化の小
さい画像ではヒストグラムにピークが存在せず、しきい
値が求まらないことがある。
【0003】本発明は、このような問題を解消するた
め、例えば、きゅうりなどの果実の輝度がR,G,Bい
づれの画像においても低い傾向があり、R,G,B画像
ヒストグラムの低輝度領域においてピークをなす知見を
もとに、2値化のしきい値を決定する。これにより、輝
度変化の小さい画像でも、しきい値が求まらず果実が抽
出できないことのないようにする。
め、例えば、きゅうりなどの果実の輝度がR,G,Bい
づれの画像においても低い傾向があり、R,G,B画像
ヒストグラムの低輝度領域においてピークをなす知見を
もとに、2値化のしきい値を決定する。これにより、輝
度変化の小さい画像でも、しきい値が求まらず果実が抽
出できないことのないようにする。
【0004】
【課題を解決するための手段】かかる目的を達成するた
めに、本発明は以下のように構成した。
めに、本発明は以下のように構成した。
【0005】すなわち、カラーCCDカメラのカラー画
像を解析して果実認識を行う果実認識装置において、前
記カラー画像のR,G,B輝度分布曲線の低輝度側から
見て最初のピークを検出する最低輝度ピーク検出手段
と、前記R,G,B輝度分布曲線それぞれの最低輝度ピ
ークの輝度値から2値化のしきい値を決定するしきい値
決定手段と、前記カラー画像を輝度加算したR+G+B
画像を前記しきい値で2値化して果実抽出2値画像を得
る2値化手段と、を備え、前記果実抽出2値画像を解析
して果実認識を行うことを特徴とする果実認識装置であ
る。
像を解析して果実認識を行う果実認識装置において、前
記カラー画像のR,G,B輝度分布曲線の低輝度側から
見て最初のピークを検出する最低輝度ピーク検出手段
と、前記R,G,B輝度分布曲線それぞれの最低輝度ピ
ークの輝度値から2値化のしきい値を決定するしきい値
決定手段と、前記カラー画像を輝度加算したR+G+B
画像を前記しきい値で2値化して果実抽出2値画像を得
る2値化手段と、を備え、前記果実抽出2値画像を解析
して果実認識を行うことを特徴とする果実認識装置であ
る。
【0006】
【発明の実施の形態】以下に図面を参照して本発明の実
施の形態について説明する。
施の形態について説明する。
【0007】図1は本発明の実施の形態の果実認識装置
のブロック図である。果実認識装置1は、被写体を撮像
して画像信号を出力するカラーCCDカメラ2と、前記
画像信号を入力して信号処理結果画像を出力する信号処
理装置3と、前記信号処理結果画像を入力して画像認識
を行うCPU4とから構成される。
のブロック図である。果実認識装置1は、被写体を撮像
して画像信号を出力するカラーCCDカメラ2と、前記
画像信号を入力して信号処理結果画像を出力する信号処
理装置3と、前記信号処理結果画像を入力して画像認識
を行うCPU4とから構成される。
【0008】カラーCCDカメラ2は、対象物の像を光
学レンズ5でCCDイメージセンサ6の感光面に結像さ
せる。CCDイメージセンサ6はラスタ走査により、各
画素に当たっている光の照度に応じた電気信号をアナロ
グ信号として、順次出力する。
学レンズ5でCCDイメージセンサ6の感光面に結像さ
せる。CCDイメージセンサ6はラスタ走査により、各
画素に当たっている光の照度に応じた電気信号をアナロ
グ信号として、順次出力する。
【0009】信号処理装置3は、前段のアナログのプロ
セス増幅器7で前記画像情報のアナログ信号を整形し、
同期パルスに基づいて各画素を読み出す。次のA/D変
換器8では、アナログ信号を量子化してデジタル信号に
変換する。後段の信号処理部9では、種々の画像処理ア
ルゴリズムにより、雑音除去、ひずみ補正などの処理を
行った後、信号処理結果画像を出力する。
セス増幅器7で前記画像情報のアナログ信号を整形し、
同期パルスに基づいて各画素を読み出す。次のA/D変
換器8では、アナログ信号を量子化してデジタル信号に
変換する。後段の信号処理部9では、種々の画像処理ア
ルゴリズムにより、雑音除去、ひずみ補正などの処理を
行った後、信号処理結果画像を出力する。
【0010】CPU4は、前段の前処理部10で、前記
信号処理結果画像を入力して画像を2値化する。次の特
徴抽出部11で、この2値画像を解析して果実などの対
象物の特徴抽出を行う。最後の認識部12で、この抽出
した対象物の特徴量を算出して果実か否かを判定する。
信号処理結果画像を入力して画像を2値化する。次の特
徴抽出部11で、この2値画像を解析して果実などの対
象物の特徴抽出を行う。最後の認識部12で、この抽出
した対象物の特徴量を算出して果実か否かを判定する。
【0011】前処理部10は、前記信号処理結果画像を
入力して画像を2値化する。図2に示すフローチャート
を参照してこの2値化処理について説明する。処理を開
始すると(ステップ101)、まず前記信号処理結果画
像を1画素単位に入力する(ステップ102)。次に、
入力した前記信号処理結果画像をR,G,B画像に分解
し、それぞれの画像の輝度の最低値から最高値を0から
255の値に線形変換し、R,G,B画像の輝度の変化
量を拡大する(ステップ103)。その後で、R,G,
B画像それぞれの輝度分布を計算してヒストグラムを作
成し(ステップ104)、さらに、作成したR,G,B
画像のヒストグラムを移動平均法により平滑化する(ス
テップ105)。ここで、R,G,Bそれぞれの画像の
ヒストグラムの低輝度側から見て最初のピークである最
低輝度ピークを、微分係数10以下で微分して検出し
(ステップ106)、この最低輝度ピークの輝度値を平
均して2値化のしきい値を決定する(ステップ10
7)。次に、前記信号処理結果画像のR,G,B信号を
輝度加算してR+G+B画像を作成し(ステップ10
8))、このR+G+B画像を前記しきい値で2値化し
て(ステップ109)、処理を終了する(ステップ11
0)。
入力して画像を2値化する。図2に示すフローチャート
を参照してこの2値化処理について説明する。処理を開
始すると(ステップ101)、まず前記信号処理結果画
像を1画素単位に入力する(ステップ102)。次に、
入力した前記信号処理結果画像をR,G,B画像に分解
し、それぞれの画像の輝度の最低値から最高値を0から
255の値に線形変換し、R,G,B画像の輝度の変化
量を拡大する(ステップ103)。その後で、R,G,
B画像それぞれの輝度分布を計算してヒストグラムを作
成し(ステップ104)、さらに、作成したR,G,B
画像のヒストグラムを移動平均法により平滑化する(ス
テップ105)。ここで、R,G,Bそれぞれの画像の
ヒストグラムの低輝度側から見て最初のピークである最
低輝度ピークを、微分係数10以下で微分して検出し
(ステップ106)、この最低輝度ピークの輝度値を平
均して2値化のしきい値を決定する(ステップ10
7)。次に、前記信号処理結果画像のR,G,B信号を
輝度加算してR+G+B画像を作成し(ステップ10
8))、このR+G+B画像を前記しきい値で2値化し
て(ステップ109)、処理を終了する(ステップ11
0)。
【0012】本発明の実施の形態では2値化のしきい値
を、R,G,Bそれぞれの画像のヒストグラムから求め
る。図3、図4および図5に、サンプル画像のR,G,
B画像それぞれのヒストグラムを、また、図6に、この
サンプル画像のR,G,B画像を輝度加算したR+G+
B画像のヒストグラムを、さらに図7に、このR+G+
B画像のヒストグラムを移動平均法により平滑化したヒ
ストグラムを示す。
を、R,G,Bそれぞれの画像のヒストグラムから求め
る。図3、図4および図5に、サンプル画像のR,G,
B画像それぞれのヒストグラムを、また、図6に、この
サンプル画像のR,G,B画像を輝度加算したR+G+
B画像のヒストグラムを、さらに図7に、このR+G+
B画像のヒストグラムを移動平均法により平滑化したヒ
ストグラムを示す。
【0013】図3、図4、図5、図6および図7に示す
ヒストグラムは、画像の階調を256段階に拡大し、横
軸に階調の輝度値、縦軸に階調の出現頻度を示したもの
である。これらのヒストグラムを参照して、本発明の実
施の形態のしきい値の算出方法を説明する。しきい値の
算出は、次の計算式で行う。 s = p+a×p ここで、sはしきい値、pはR,G,B画像の最低輝度
ピークの輝度値の平均、aは定数である。本発明の実施
の形態ではpを次の2通りの方法で計算する。第1番目
の計算方法は p=(R,G,B画像の最低輝度ピーク輝度値の合計)
÷3 とし、第2番目の計算方法は p=(R,G,B画像の最低輝度ピーク輝度値の高い方
の2つの合計)÷2 とする。
ヒストグラムは、画像の階調を256段階に拡大し、横
軸に階調の輝度値、縦軸に階調の出現頻度を示したもの
である。これらのヒストグラムを参照して、本発明の実
施の形態のしきい値の算出方法を説明する。しきい値の
算出は、次の計算式で行う。 s = p+a×p ここで、sはしきい値、pはR,G,B画像の最低輝度
ピークの輝度値の平均、aは定数である。本発明の実施
の形態ではpを次の2通りの方法で計算する。第1番目
の計算方法は p=(R,G,B画像の最低輝度ピーク輝度値の合計)
÷3 とし、第2番目の計算方法は p=(R,G,B画像の最低輝度ピーク輝度値の高い方
の2つの合計)÷2 とする。
【0014】以上の計算式に従って図3、図4および図
5の例でしきい値を計算すると、それぞれの最低輝度ピ
ークの輝度値は、図3に示すR画像のヒストグラムが2
9、図4に示すG画像のヒストグラムが36、図5に示
すB画像のヒストグラムが16となる。従って、第1番
目の計算方法では p=(29+36+16)/3=27 となり、第2番目の計算方法では p=(29+36)/2=32.5 となる。ここで、a=0.3とすると、求めるしきい値
sは、第1番目の計算方法では s=27+0.3×27=35 となり、第2番目の計算方法では s=32.5+0.3×32.5=42.3 となる。
5の例でしきい値を計算すると、それぞれの最低輝度ピ
ークの輝度値は、図3に示すR画像のヒストグラムが2
9、図4に示すG画像のヒストグラムが36、図5に示
すB画像のヒストグラムが16となる。従って、第1番
目の計算方法では p=(29+36+16)/3=27 となり、第2番目の計算方法では p=(29+36)/2=32.5 となる。ここで、a=0.3とすると、求めるしきい値
sは、第1番目の計算方法では s=27+0.3×27=35 となり、第2番目の計算方法では s=32.5+0.3×32.5=42.3 となる。
【0015】次に、第1番目の計算方法で求めたしきい
値と、第2番目の計算方法で求めたしきい値を、人間が
人為的に設定したしきい値と比較する。ここでの標本数
は、第1番目の計算方法の場合が20で、第2番目の計
算方法の場合が18である。図8の表に、計算で求めた
しきい値と人間が設定したしきい値の平均を示す。この
表から、計算で求めたしきい値と人間が設定したしきい
値の間には危険率1%で有意差は認められない。図9の
表に、計算で求めたしきい値と人間が設定したしきい値
の相関を示す。この場合の相関係数は適正範囲の中央値
とし、計算値が適正範囲に含まれる画像を対象とした。
この表から、計算で求めたしきい値と人間が設定したし
きい値の間には危険率1%でいずれの計算方法において
も強い相関があることが分かる。
値と、第2番目の計算方法で求めたしきい値を、人間が
人為的に設定したしきい値と比較する。ここでの標本数
は、第1番目の計算方法の場合が20で、第2番目の計
算方法の場合が18である。図8の表に、計算で求めた
しきい値と人間が設定したしきい値の平均を示す。この
表から、計算で求めたしきい値と人間が設定したしきい
値の間には危険率1%で有意差は認められない。図9の
表に、計算で求めたしきい値と人間が設定したしきい値
の相関を示す。この場合の相関係数は適正範囲の中央値
とし、計算値が適正範囲に含まれる画像を対象とした。
この表から、計算で求めたしきい値と人間が設定したし
きい値の間には危険率1%でいずれの計算方法において
も強い相関があることが分かる。
【0016】次に、本発明に関連してきゅうりなどの果
実表面に生じる光の正反射部の穴埋め処理について説明
する。きゅうりなどの果実の表面には、日光の当たり具
合によって、光が正反射(ハレーション)する部分が生
じる。この光の正反射部は輝度が周囲より極端に高いの
で、R,G,B信号を直接2値化したのでは、果実の正
反射部に相当する部分に穴の明いた画像ができてしま
う。そのため、その後の果実認識の精度が低下し、マニ
ピュレータの操縦に支障をきたすので果実を正確に収穫
できないという問題があった。
実表面に生じる光の正反射部の穴埋め処理について説明
する。きゅうりなどの果実の表面には、日光の当たり具
合によって、光が正反射(ハレーション)する部分が生
じる。この光の正反射部は輝度が周囲より極端に高いの
で、R,G,B信号を直接2値化したのでは、果実の正
反射部に相当する部分に穴の明いた画像ができてしま
う。そのため、その後の果実認識の精度が低下し、マニ
ピュレータの操縦に支障をきたすので果実を正確に収穫
できないという問題があった。
【0017】このような問題を解消するため、次のよう
にして果実の認識精度を向上させることができる。ま
ず、R,G,Bの輝度差画像G−R、G−B、R−B画
像毎にそれぞれのヒストグラムの最低輝度ピークと最高
輝度ピークの間に存在するピーク輝度値を検出し、この
ピーク輝度値をしきい値としてそれぞれの輝度差画像を
2値化する。次に、これらの2値画像をAND処理して
果実表面に生じる光の正反射部を抽出する。最後に、こ
のAND画像とR,G,Bの輝度加算画像R+G+B画
像を2値化した果実抽出2値画像をOR処理してこの光
の正反射部を穴埋めする。
にして果実の認識精度を向上させることができる。ま
ず、R,G,Bの輝度差画像G−R、G−B、R−B画
像毎にそれぞれのヒストグラムの最低輝度ピークと最高
輝度ピークの間に存在するピーク輝度値を検出し、この
ピーク輝度値をしきい値としてそれぞれの輝度差画像を
2値化する。次に、これらの2値画像をAND処理して
果実表面に生じる光の正反射部を抽出する。最後に、こ
のAND画像とR,G,Bの輝度加算画像R+G+B画
像を2値化した果実抽出2値画像をOR処理してこの光
の正反射部を穴埋めする。
【0018】図10に示すフローチャートを参照して、
この果実表面に生じる光の正反射部の穴埋め処理につい
て説明する。処理を開始すると(ステップ201)、カ
ラーCCDカメラのカラー画像を1画素単位に入力し
(ステップ202)、このカラー画像のR,G,B輝度
差G−R、G−B、R−Bを計算し(ステップ20
3)、低輝度部分を見易くするために、計算した輝度差
を対数変換し(ステップ204)、G−R、G−B、R
−B輝度差画像の輝度分布を計算して、それぞれの輝度
分布曲線を作成する(ステップ205)。次に、これら
の輝度分布曲線を階状歩補間処理し(ステップ20
6)、補間処理したこれらの輝度分布曲線を移動平均法
により平滑化し(ステップ207)、平滑化したこれら
の輝度分布曲線を一次微分計算により微分して度数の増
加部分を判定し(ステップ208)、さらに二次微分計
算により微分して度数の増加部分のピークを判定する
(ステップ209)。以上の処理により、輝度分布曲線
の最低輝度ピークと最高輝度ピークの間に存在するピー
ク輝度値を検出し(ステップ210)、このピーク輝度
値をしきい値としてG−R、G−B、R−B輝度差画像
をそれぞれ2値化し(ステップ211)、この2値化し
たG−R、G−B、R−B輝度差画像をAND処理して
果実表面に生じる光の正反射部を抽出し(ステップ21
2)、先にR+G+B画像を2値化した果実抽出2値画
像と、このAND画像をOR処理して光の正反射部を穴
埋めする(ステップ213)。
この果実表面に生じる光の正反射部の穴埋め処理につい
て説明する。処理を開始すると(ステップ201)、カ
ラーCCDカメラのカラー画像を1画素単位に入力し
(ステップ202)、このカラー画像のR,G,B輝度
差G−R、G−B、R−Bを計算し(ステップ20
3)、低輝度部分を見易くするために、計算した輝度差
を対数変換し(ステップ204)、G−R、G−B、R
−B輝度差画像の輝度分布を計算して、それぞれの輝度
分布曲線を作成する(ステップ205)。次に、これら
の輝度分布曲線を階状歩補間処理し(ステップ20
6)、補間処理したこれらの輝度分布曲線を移動平均法
により平滑化し(ステップ207)、平滑化したこれら
の輝度分布曲線を一次微分計算により微分して度数の増
加部分を判定し(ステップ208)、さらに二次微分計
算により微分して度数の増加部分のピークを判定する
(ステップ209)。以上の処理により、輝度分布曲線
の最低輝度ピークと最高輝度ピークの間に存在するピー
ク輝度値を検出し(ステップ210)、このピーク輝度
値をしきい値としてG−R、G−B、R−B輝度差画像
をそれぞれ2値化し(ステップ211)、この2値化し
たG−R、G−B、R−B輝度差画像をAND処理して
果実表面に生じる光の正反射部を抽出し(ステップ21
2)、先にR+G+B画像を2値化した果実抽出2値画
像と、このAND画像をOR処理して光の正反射部を穴
埋めする(ステップ213)。
【0019】次に、本発明に関連してきゅうり果実の識
別方法について説明する。従来、棚栽培中のきゅうりの
画像認識において、2値画像の水平方向の中心線が直線
的に伸びているものをきゅうりとして識別していた。こ
の場合、中心線には上下方向の形態的特徴しか反映され
ないため、葉の形態によっては中心線が直線となり、き
ゅうりと誤認するという問題があった。
別方法について説明する。従来、棚栽培中のきゅうりの
画像認識において、2値画像の水平方向の中心線が直線
的に伸びているものをきゅうりとして識別していた。こ
の場合、中心線には上下方向の形態的特徴しか反映され
ないため、葉の形態によっては中心線が直線となり、き
ゅうりと誤認するという問題があった。
【0020】このような問題を解消するため、次のよう
にしてきゅうりの認識精度を向上させることができる。
すなわち、画像の中心線をあらかじめ設定した傾斜角度
方向から求めることにより中心線に上下方向と左右方向
の形態的特徴を反映させることができる。図11に示す
ように、例えば、矩形の水平方向の中心線は垂直線を形
成するが、傾斜角度方向の中心線は斜線または水平線を
形成する。このように、傾斜角度方向の中心線には一般
的に形状の特性が現れる。
にしてきゅうりの認識精度を向上させることができる。
すなわち、画像の中心線をあらかじめ設定した傾斜角度
方向から求めることにより中心線に上下方向と左右方向
の形態的特徴を反映させることができる。図11に示す
ように、例えば、矩形の水平方向の中心線は垂直線を形
成するが、傾斜角度方向の中心線は斜線または水平線を
形成する。このように、傾斜角度方向の中心線には一般
的に形状の特性が現れる。
【0021】商品価値のあるきゅうりの形態は、2値画
像においても曲りがなく、垂直方向に長方形のような形
を形成するが、葉など果実以外の部分は不定形である。
この方法では、あらかじめ設定した傾斜角度方向の中心
線には水平方向と垂直方向の形態的特徴が反映されると
いう現象を利用して果実認識を行うもので、きゅうりに
ついては垂直方向の直線性が保たれるが、葉などは水平
方向の形態が反映されるので、その中心線は水平方向に
伸びたりする。また、垂直方向の直線も短くなる。従っ
て、あらかじめ設定した傾斜角度方向の中心線を利用す
ることにより、最終的な果実の認識精度を向上させるこ
とができる。
像においても曲りがなく、垂直方向に長方形のような形
を形成するが、葉など果実以外の部分は不定形である。
この方法では、あらかじめ設定した傾斜角度方向の中心
線には水平方向と垂直方向の形態的特徴が反映されると
いう現象を利用して果実認識を行うもので、きゅうりに
ついては垂直方向の直線性が保たれるが、葉などは水平
方向の形態が反映されるので、その中心線は水平方向に
伸びたりする。また、垂直方向の直線も短くなる。従っ
て、あらかじめ設定した傾斜角度方向の中心線を利用す
ることにより、最終的な果実の認識精度を向上させるこ
とができる。
【0022】次に、本発明に関連してきゅうりなどの果
実の太さを計測する方法について説明する。きゅうり
は、真っ直ぐなものから曲がっているものまで、その形
状がまちまちなため、きゅうり全体の太さを計測するの
は困難である。また、計測できても精度の悪いものとな
るという問題があった。
実の太さを計測する方法について説明する。きゅうり
は、真っ直ぐなものから曲がっているものまで、その形
状がまちまちなため、きゅうり全体の太さを計測するの
は困難である。また、計測できても精度の悪いものとな
るという問題があった。
【0023】このような問題を解消するため、次のよう
な方法できゅうりの太さを計測することができる。すな
わち、きゅうりの画像認識において、図12に示すよう
に、きゅうりの果柄部からいぼのある境界までの部分を
きゅうりの把持部とし、この把持部の一部中心線に回帰
直線を当てはめ、この回帰直線に直交する果実幅線の平
均長をきゅうりの太さとする。この方法は、上部、中
央、下部などいろいろな果実の各部の太さを計測すると
きにも応用可能である。
な方法できゅうりの太さを計測することができる。すな
わち、きゅうりの画像認識において、図12に示すよう
に、きゅうりの果柄部からいぼのある境界までの部分を
きゅうりの把持部とし、この把持部の一部中心線に回帰
直線を当てはめ、この回帰直線に直交する果実幅線の平
均長をきゅうりの太さとする。この方法は、上部、中
央、下部などいろいろな果実の各部の太さを計測すると
きにも応用可能である。
【0024】この方法では、果実の果柄部側など、曲る
率の低い限定された領域の太さを計測するので、安定し
た測定精度を維持することができる。また、画像認識の
計算時間も短くなるので、果実の収穫効率が向上する。
率の低い限定された領域の太さを計測するので、安定し
た測定精度を維持することができる。また、画像認識の
計算時間も短くなるので、果実の収穫効率が向上する。
【0025】次に、本発明に関連して果実収穫のスライ
ド・アップ制御について説明する。画像認識により棚作
の果菜類を収穫する収穫ロボットにおいて、植物の緑色
の面積割合など入力画像中の植物の状態によってスライ
ド・アップ制御を行い、果実の収穫効率を向上させるこ
とができる。すなわち、栽培棚の下方を画像入力して収
穫する果実がなければ、上方は写さないようにスライド
・アップ制御を行う。
ド・アップ制御について説明する。画像認識により棚作
の果菜類を収穫する収穫ロボットにおいて、植物の緑色
の面積割合など入力画像中の植物の状態によってスライ
ド・アップ制御を行い、果実の収穫効率を向上させるこ
とができる。すなわち、栽培棚の下方を画像入力して収
穫する果実がなければ、上方は写さないようにスライド
・アップ制御を行う。
【0026】図13に示すフローチャートを参照して、
このスライド・アップ制御について説明する。処理を開
始すると(ステップ301)、カラーCCDカメラのカ
ラー画像を1画素単位に入力し(ステップ302)、こ
のカラー画像の緑色の面積割合を計算して(ステップ3
03)、緑色の面積割合が収穫実行面積以上あるかを判
定し(ステップ304)、収穫実行面積以上あれば収穫
実行フラグをセットする(ステップ305)。次に、緑
色の面積割合が棚上方に果実が存在する面積以上あるか
を判定し(ステップ306)、存在面積以上あれば棚上
方収穫フラグをセットする(ステップ307)。
このスライド・アップ制御について説明する。処理を開
始すると(ステップ301)、カラーCCDカメラのカ
ラー画像を1画素単位に入力し(ステップ302)、こ
のカラー画像の緑色の面積割合を計算して(ステップ3
03)、緑色の面積割合が収穫実行面積以上あるかを判
定し(ステップ304)、収穫実行面積以上あれば収穫
実行フラグをセットする(ステップ305)。次に、緑
色の面積割合が棚上方に果実が存在する面積以上あるか
を判定し(ステップ306)、存在面積以上あれば棚上
方収穫フラグをセットする(ステップ307)。
【0027】この方法では、作物の成長に合わせた収穫
作業を収穫ロボットに行わせることができるので、バッ
テリーの使用効率や、作物の収穫効率を向上させること
ができる。
作業を収穫ロボットに行わせることができるので、バッ
テリーの使用効率や、作物の収穫効率を向上させること
ができる。
【0028】次に、本発明に関連してカメラレンズの曇
り防止装置について説明する。カラーCCDカメラの画
像を解析して果実を認識する果実収穫ロボットにおい
て、あらかじめ記憶している湿り空気線図テーブルと気
温および相対湿度から、露点温度を算出し、気温との温
度差があらかじめ設定した値以下になった時に、例えば
ヒーターなどのカメラレンズの曇り防止装置を作動させ
る。これにより、曇り除去などの作業をなくすことがで
きる。露点温度を算出するには、気温および相対湿度の
他に湿球温度、絶対湿度、エンタルピの内の2つを求め
ることによっても可能であるが、現状では測定が容易な
気温および相対湿度により露点温度を算出する。
り防止装置について説明する。カラーCCDカメラの画
像を解析して果実を認識する果実収穫ロボットにおい
て、あらかじめ記憶している湿り空気線図テーブルと気
温および相対湿度から、露点温度を算出し、気温との温
度差があらかじめ設定した値以下になった時に、例えば
ヒーターなどのカメラレンズの曇り防止装置を作動させ
る。これにより、曇り除去などの作業をなくすことがで
きる。露点温度を算出するには、気温および相対湿度の
他に湿球温度、絶対湿度、エンタルピの内の2つを求め
ることによっても可能であるが、現状では測定が容易な
気温および相対湿度により露点温度を算出する。
【0029】図14に示すフローチャートを参照して、
このカメラレンズの曇り防止処理について説明する。処
理を開始すると(ステップ401)、まず、乾球温度を
測定し(ステップ402)、次に、相対湿度を測定して
(ステップ403)、湿り空気線図テーブルにより露点
温度を計算する(ステップ404)。そして、気温との
温度差Δtを計算し(ステップ405)、Δtが一定値
以下かどうかを判定し(ステップ406)、一定値以下
であれば曇り防止装置をオンにし(ステップ407)、
そうでなければ曇り防止装置をオフにする(ステップ4
08)。
このカメラレンズの曇り防止処理について説明する。処
理を開始すると(ステップ401)、まず、乾球温度を
測定し(ステップ402)、次に、相対湿度を測定して
(ステップ403)、湿り空気線図テーブルにより露点
温度を計算する(ステップ404)。そして、気温との
温度差Δtを計算し(ステップ405)、Δtが一定値
以下かどうかを判定し(ステップ406)、一定値以下
であれば曇り防止装置をオンにし(ステップ407)、
そうでなければ曇り防止装置をオフにする(ステップ4
08)。
【0030】この方法では、カメラレンズ表面に曇りが
生じる前に曇り防止装置が作動するため、曇り除去作業
によるロスタイムがなくなると共に、ほこりなどがカメ
ラレンズに付着することがなくなる。従って、果実の収
穫効率を向上させることができる。
生じる前に曇り防止装置が作動するため、曇り除去作業
によるロスタイムがなくなると共に、ほこりなどがカメ
ラレンズに付着することがなくなる。従って、果実の収
穫効率を向上させることができる。
【0031】次に、本発明に関連してカメラ絞りの調整
制御について説明する。室外でカラーCCDカメラの画
像を解析して果実を認識する果実収穫ロボットにおい
て、画像中の輝度の高い部分の割合から適正なカメラ絞
りを判断して調整し、これを一定間隔毎に行うことによ
り、画像認識の精度を向上させることができる。あらか
じめ、照度と絞りの関係が分かっている場合は、照度セ
ンサによって適正なカメラ絞りを判断して調整してもよ
い。
制御について説明する。室外でカラーCCDカメラの画
像を解析して果実を認識する果実収穫ロボットにおい
て、画像中の輝度の高い部分の割合から適正なカメラ絞
りを判断して調整し、これを一定間隔毎に行うことによ
り、画像認識の精度を向上させることができる。あらか
じめ、照度と絞りの関係が分かっている場合は、照度セ
ンサによって適正なカメラ絞りを判断して調整してもよ
い。
【0032】図15に示すフローチャートを参照してこ
のカメラ絞りの調整処理について説明する。処理を開始
すると(ステップ501)、カラーCCDカメラのカラ
ー画像を1画素単位に入力し(ステップ502)、この
カラー画像のR,G,B画像それぞれの輝度分布を計算
し(ステップ503)、さらにそれぞれの画像の高輝度
部分の割合を計算し(ステップ504)、この高輝度部
分の割合が適正かどうかを判定し(ステップ505)、
適正であれば処理を終了し(ステップ506)、そうで
なければ、さらにこの高輝度部分の割合が高いかどうか
を判定し(ステップ507)、高ければカメラ絞りを絞
るように調整し(ステップ508)、そうでなければカ
メラ絞りを広げるように調整する(ステップ509)。
のカメラ絞りの調整処理について説明する。処理を開始
すると(ステップ501)、カラーCCDカメラのカラ
ー画像を1画素単位に入力し(ステップ502)、この
カラー画像のR,G,B画像それぞれの輝度分布を計算
し(ステップ503)、さらにそれぞれの画像の高輝度
部分の割合を計算し(ステップ504)、この高輝度部
分の割合が適正かどうかを判定し(ステップ505)、
適正であれば処理を終了し(ステップ506)、そうで
なければ、さらにこの高輝度部分の割合が高いかどうか
を判定し(ステップ507)、高ければカメラ絞りを絞
るように調整し(ステップ508)、そうでなければカ
メラ絞りを広げるように調整する(ステップ509)。
【0033】ここでの高輝度部分とは画像の輝度を25
6段階に区分した230以上の輝度レベルにある部分
で、その割合が60〜70%になるときが適正と判断し
てカメラ絞りを調整する。図16に、カメラ絞りを5.
6と16.0に設定して撮影した同一画像のR,G,B
画像における高輝度部分の割合を順光と逆光別に整理し
た表を図示する。
6段階に区分した230以上の輝度レベルにある部分
で、その割合が60〜70%になるときが適正と判断し
てカメラ絞りを調整する。図16に、カメラ絞りを5.
6と16.0に設定して撮影した同一画像のR,G,B
画像における高輝度部分の割合を順光と逆光別に整理し
た表を図示する。
【0034】室外の照度は季節、天候、時間などによっ
て大きく変化するが、この方法では、入力画像中の高輝
度部分の割合が一定値以下になるようにカメラ絞りを調
整する。従って、順光、逆光にかかわらず画像中の情報
の欠落が少なくなり、画像認識の精度を向上させること
ができる。
て大きく変化するが、この方法では、入力画像中の高輝
度部分の割合が一定値以下になるようにカメラ絞りを調
整する。従って、順光、逆光にかかわらず画像中の情報
の欠落が少なくなり、画像認識の精度を向上させること
ができる。
【0035】次に、本発明に関連してカメラのシャッタ
速度制御について説明する。カメラのシャッタ速度を速
くすることは、カメラ絞りを絞ることと同じことになる
ので、画像中の輝度の高い部分の割合から、カメラのシ
ャッタ速度を適正に変更することができる。特に、太陽
の下で行うハウスを含む室外作業においてこの方法は有
効である。なお、照度によりカメラのシャッタ速度制御
をオン、オフしてもよい。
速度制御について説明する。カメラのシャッタ速度を速
くすることは、カメラ絞りを絞ることと同じことになる
ので、画像中の輝度の高い部分の割合から、カメラのシ
ャッタ速度を適正に変更することができる。特に、太陽
の下で行うハウスを含む室外作業においてこの方法は有
効である。なお、照度によりカメラのシャッタ速度制御
をオン、オフしてもよい。
【0036】図17に示すフローチャートを参照してこ
のカメラのシャッタ制御処理について説明する。処理を
開始すると(ステップ601)、まず、夜間作業かどう
かを判定し(ステップ602)、夜間作業であればカメ
ラ絞りを全開に調整し(ステップ603)、そうでなけ
ればカメラ絞りを16.0に調整する(ステップ60
4)。次に、カラーCCDカメラのカラー画像を1画素
単位に入力し(ステップ605)、その後、このカラー
画像のR,G,B画像それぞれの輝度分布を計算し(ス
テップ606)、さらに、それぞれの画像の高輝度部分
の割合を計算し(ステップ607)、ここで、この高輝
度部分の割合が設定値より大かどうかを判定し(ステッ
プ608)、大であればシャッタ速度を高速化し(ステ
ップ609)、そうでなければ処理を終了する(ステッ
プ610)。
のカメラのシャッタ制御処理について説明する。処理を
開始すると(ステップ601)、まず、夜間作業かどう
かを判定し(ステップ602)、夜間作業であればカメ
ラ絞りを全開に調整し(ステップ603)、そうでなけ
ればカメラ絞りを16.0に調整する(ステップ60
4)。次に、カラーCCDカメラのカラー画像を1画素
単位に入力し(ステップ605)、その後、このカラー
画像のR,G,B画像それぞれの輝度分布を計算し(ス
テップ606)、さらに、それぞれの画像の高輝度部分
の割合を計算し(ステップ607)、ここで、この高輝
度部分の割合が設定値より大かどうかを判定し(ステッ
プ608)、大であればシャッタ速度を高速化し(ステ
ップ609)、そうでなければ処理を終了する(ステッ
プ610)。
【0037】室外作業において、太陽が天空にある時間
帯は入力画像が順光あるいは逆光のいづれかの状態にな
る。この時、カメラ絞りが固定されていると逆光の場
合、入力画像に輝度の飽和が起り、正確な画像情報を得
ることができなくなる。この方法は、このような問題を
解消すると共に、機械的な制御ではないので、高速、か
つ、低コストで処理することができる。
帯は入力画像が順光あるいは逆光のいづれかの状態にな
る。この時、カメラ絞りが固定されていると逆光の場
合、入力画像に輝度の飽和が起り、正確な画像情報を得
ることができなくなる。この方法は、このような問題を
解消すると共に、機械的な制御ではないので、高速、か
つ、低コストで処理することができる。
【0038】以上述べた本発明の実施の形態は主にきゅ
うりを対象としたが、トマト、なす、りんごなどの果菜
類にも適用できる。
うりを対象としたが、トマト、なす、りんごなどの果菜
類にも適用できる。
【0039】
【発明の効果】本発明においては、最低輝度ピークの輝
度値から2値化のしきい値を決定するので、輝度変化が
小さい画像でもしきい値を求めて果実の画像を適確に抽
出できるという効果を奏する。
度値から2値化のしきい値を決定するので、輝度変化が
小さい画像でもしきい値を求めて果実の画像を適確に抽
出できるという効果を奏する。
【図1】本発明の実施の形態の果実認識装置のブロック
図である。
図である。
【図2】本発明の実施の形態の2値化処理を説明するフ
ローチャートである。
ローチャートである。
【図3】本発明の実施の形態のサンプル画像のR画像ヒ
ストグラムである。
ストグラムである。
【図4】本発明の実施の形態のサンプル画像のG画像ヒ
ストグラムである。
ストグラムである。
【図5】本発明の実施の形態のサンプル画像のB画像ヒ
ストグラムである。
ストグラムである。
【図6】本発明の実施の形態のサンプル画像のR+G+
B画像ヒストグラムである。
B画像ヒストグラムである。
【図7】本発明の実施の形態のサンプル画像のR+G+
B画像ヒストグラムを平滑化したヒストグラムである。
B画像ヒストグラムを平滑化したヒストグラムである。
【図8】計算で求めたしきい値と人間が設定したしきい
値の平均を示す表である。
値の平均を示す表である。
【図9】計算で求めたしきい値と人間が設定したしきい
値の相関を示す表である。
値の相関を示す表である。
【図10】光の正反射部の穴埋め処理を説明するフロー
チャートである。平滑化した補間曲線の二次微分計算を
行ったグラフである。
チャートである。平滑化した補間曲線の二次微分計算を
行ったグラフである。
【図11】矩形の水平方向の中心線と傾斜角度方向の中
心線を示す図である。
心線を示す図である。
【図12】きゅうりの把持部の回帰直線と直交する果実
幅線を示す図である。
幅線を示す図である。
【図13】スライド・アップ制御を説明するフローチャ
ートである。
ートである。
【図14】カメラレンズの曇り防止処理を説明するフロ
ーチャートである。
ーチャートである。
【図15】カメラ絞りの調整処理を説明するフローチャ
ートである。
ートである。
【図16】カメラ絞りを変えて撮影した高輝度部分の割
合を示す表である。
合を示す表である。
【図17】カメラのシャッタ制御処理を説明するフロー
チャートである。
チャートである。
1 果実認識装置 2 カラーCCDカメラ 3 信号処理装置 4 CPU 5 光学レンズ 6 CCDイメージセンサ 7 プロセス増幅器 8 A/D変換器 9 信号処理部 10 前処理部 11 特徴抽出部 12 認識部
Claims (1)
- 【請求項1】 カラーCCDカメラのカラー画像を解析
して果実認識を行う果実認識装置において、 前記カラー画像のR,G,B輝度分布曲線の低輝度側か
ら見て最初のピークを検出する最低輝度ピーク検出手段
と、 前記R,G,B輝度分布曲線それぞれの最低輝度ピーク
の輝度値から2値化のしきい値を決定するしきい値決定
手段と、 前記カラー画像を輝度加算したR+G+B画像を前記し
きい値で2値化して果実抽出2値画像を得る2値化手段
と、を備え、 前記果実抽出2値画像を解析して果実認識を行うことを
特徴とする果実認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7209362A JPH0944650A (ja) | 1995-07-26 | 1995-07-26 | 果実認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7209362A JPH0944650A (ja) | 1995-07-26 | 1995-07-26 | 果実認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0944650A true JPH0944650A (ja) | 1997-02-14 |
Family
ID=16571686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7209362A Withdrawn JPH0944650A (ja) | 1995-07-26 | 1995-07-26 | 果実認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0944650A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003000031A (ja) * | 2001-06-21 | 2003-01-07 | Bio Oriented Technol Res Advancement Inst | 果実の検出方法 |
KR100442114B1 (ko) * | 2001-11-27 | 2004-07-30 | 대한민국 | 히스토그램의 극대점 탐색에 의한 영상이진화 시스템 |
JP2004289747A (ja) * | 2003-03-25 | 2004-10-14 | Seiko Epson Corp | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
-
1995
- 1995-07-26 JP JP7209362A patent/JPH0944650A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003000031A (ja) * | 2001-06-21 | 2003-01-07 | Bio Oriented Technol Res Advancement Inst | 果実の検出方法 |
KR100442114B1 (ko) * | 2001-11-27 | 2004-07-30 | 대한민국 | 히스토그램의 극대점 탐색에 의한 영상이진화 시스템 |
JP2004289747A (ja) * | 2003-03-25 | 2004-10-14 | Seiko Epson Corp | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bulanon et al. | AE—automation and emerging technologies: a segmentation algorithm for the automatic recognition of Fuji apples at harvest | |
JP4477221B2 (ja) | 青い空を含む画像の向きを決定する方法 | |
KR100659781B1 (ko) | 씨씨디 영상에서의 연기 검출방법 및 장치 | |
CN109447945B (zh) | 基于机器视觉和图形处理的小麦基本苗快速计数方法 | |
CN101916431B (zh) | 一种低照度图像数据处理方法及系统 | |
WO2006022834A1 (en) | Method and imager for detecting the location of objects | |
US10504240B1 (en) | Daytime heatmap for night vision detection | |
CN111445539A (zh) | 一种阳台积水检测方法、处理装置及智能晾衣架系统 | |
CN111654643A (zh) | 曝光参数确定方法、装置、无人机和计算机可读存储介质 | |
CN116258968B (zh) | 一种林果病虫管理方法及系统 | |
JPH0944650A (ja) | 果実認識装置 | |
CN108090910B (zh) | 一种基于信息熵梯度简化pcnn模型的夜间室外番茄植株图像分割算法 | |
CN111612797B (zh) | 一种水稻图像信息处理系统 | |
WO2013124772A1 (en) | Vision system comprising an image sensor and means for analysis and reducing loss of illumination towards periphery of the field of view using multiple frames | |
CN103900498A (zh) | 一种棉田苗情自动探测方法及其探测装置 | |
CN114283170B (zh) | 一种光斑提取方法 | |
CN111445477B (zh) | 一种基于区域自动分割与选择的分析方法、装置及服务器 | |
JP2003000031A (ja) | 果実の検出方法 | |
JP3957495B2 (ja) | 画像センサ | |
JPH0676047A (ja) | 画像処理装置 | |
JP4296100B2 (ja) | 撮像装置 | |
JPH09163853A (ja) | 果実の画像処理装置 | |
Bjurström et al. | Assessment of grapevine vigour using image processing | |
CN117115174B (zh) | 一种钳子外形自动检测方法及系统 | |
CN116630349B (zh) | 基于高分辨率遥感图像的秸秆还田区域快速分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20021001 |