JPS6370236A - 果菜類の認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、果実収穫機等の果菜類用作業機に備
えられる作業用ハンドを、作業対象果菜類に向けてアプ
ローチさせるための制御■情報を得る手段等として用い
られる果菜類の認識装置に関し、詳しくは、撮像手段に
よる撮像画像情報に基づいて認識対象果菜類を抽出する
果菜類抽出手段、及び、前記撮像手段の撮像作動に同期
して設定光量で照光するストロボ発光装置を設けてある
果菜類の認識装置に関する。

〔従来の技術〕

上記この種の果菜類の認識装置は、例えは、果菜類の色
に対応した特定色領域を抽出してその位置情報を求める
ことにより認識対象果菜類を撮像画像情報から抽出する
ようにしたものである。

そして、果菜類用作業機等のように、屋外で用いられる
作業機に用いる場合には、認識対象果菜類を、いわゆる
逆光状態で撮像する場合があることから、その逆光補正
を行ったり、光量や色温度が一定しない自然光の影響を
除去するために、撮像手段の撮像作動に同期して作動す
るストロボ発光装置を設けてあった。

ところで、従来では、上記ストロボ発光装置の発光用電
源の充電容量が設定光量に対応する容量に達したか否か
を、自動的に確認した後に撮像を開始するようには構成
されていなかった。

〔発明が解決しようとする問題点〕

従って、撮像間隔が短くなると、発光用電源の充電容量
が設定光量に対応する容量に達しない状態、つまり、光
量不足の状態でストロボ発光装置を作動させて↑最像す
る虞れがある。

光量不足の状態でストロボ発光装置を作動させて撮像す
ると、逆光補正が充分に行われなかったり自然光の影響
を除去できなかったりするために、得られる撮像画像情
報が不正確になり、その結果、果菜類抽出を誤る虞れが
生じるものとなる。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、ストロボ発光装置が光量不足の状態で撮像さ
れることを防止することにある。

Ｃ問題点を解決するための手段〕 本発明による果菜類の認識装置の特徴構成は、前記スト
ロボ発光装置の発光用電源の充電容量が設定光量に対応
する容量に達したか否かを検出する充電完了検出手段、
及び、前記充電完了検出手段による検出情報に基づいて
、前記発光用電源の充電容量が設定量に達していない場
合は、前記撮像手段による撮像作動を禁止する撮像禁止
手段を設けてある点にあり、その作用並びに効果以下の
通りである。

〔作　用〕

すなわち、ストロボ発光装置の発光用電源の充電容量が
設定光量に対応する容量に達したか否かを検出し、発光
用電源の充電容量が設定量に達していない場合は、前記
撮像手段による撮像作動を禁止するのである。

〔発明の効果〕

従って、ストロボ発光装置が光量不足の状態で撮像され
ることを防止できるので、適正な明るさの画像情報を安
定して得ることができる。

もって、ストロボ発光装置の光量不足に起因する果菜類
の誤認識を、未然に防止できるに至った。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第２図は、屋外において、撮像手段としてのカラービデ
オカメラ（１）にて撮像された撮像画像情報としてのカ
ラービデオ信号（ｓｏ）（第３図（イ）参照）から、認
識対象果実の位置情報を得るための果実用の認識装置の
ブロック図であって、特に、ミカンやリンゴ等の暖色系
の果実を認識するための装置として構成しである。

つまり、認識対象果実（Ｆ）の色に対応した特定色の色
信号として前記カラービデオ信号（ＳＯ）を構成する赤
色信号（Ｒ）を用いると共に、前記認識対象果実（Ｆ）
の色を含まない色信号として前記カラービデオ信号（ｓ
Ｏ）を構成する青色信号（Ｂ）を用いて、これら測色信
号（Ｒ）　、　（Ｂ）を減算しで２値化することにより
、認識対象果実（Ｆ）以外の枝、葉、空等の背景となる
物体の色成分を除去すると共に、明るさに対して正規化
した果実の色のみに対応した領域（ＦＯ）（第３図（ロ
）参照）を抽出した２値化画像信号（ｓ２）を得るよう
にしである。

そして、前記カラービデオ信号（ｓｏ）のうちの明るさ
情報のみを示す輝度信号（Ｙ）を、そのグレイレヘルを
設定段階に量子化した濃淡画像信号（Ｓ３）を分離抽出
した後、この濃淡画像信号（Ｓ３）を、前記２値化画像
信号（ｓ２）にてマスクした領域（Ｆ、）の重心（Ｐｌ
）及びその領域内において最も明るく見えるハイライト
部分（Ｐａ）の位置とを求めることにより、重なりあっ
て見える複数果実の一つ一つを分、ｊｉＩ識別可能な位
置情幸辰を得るようにしである。

すなわち、前記カラービデオカメラ（１）にて撮像され
たカラー画像情報として出力されるＮＴＳＣ形式のカラ
ービデオ信号（Ｓｏ）　（第３図（イ）参照）は、ＮＴ
ＳＣデコーダ（２）により、垂直同期信号（ＶＤ）と水
平同期号（）ＩＤ）の２つの同期信号、赤色信号（Ｒ）
と青色信号（Ｂ）の２つの色信号、及び、輝度信号（Ｙ
）の夫々に分離される。

前記分離された赤色信号（Ｒ）と青色信号（Ｂ）は、色
分離回路（３）にて減算処理されると共に、コンパレー
タ（４）にて設定闇値に基づいて２値化され、認識対象
果実（Ｆ）の色のみに対応した特定色範囲の領域（Ｆｏ
）を抽出した２値化画像信号（Ｓ２）（第３図（ロ）参
照）に変換される。

一方、前記輝度信号（Ｙ）は、Ａ／Ｄ変換器（５）にて
、その明るさつまりグレイレベルを１２８段階に量子化
され、７ビツト長のデジタル値として表現される濃淡画
像信号（Ｓ３）に変換され、データバッファ（６）にて
、その量子化画素単位毎に、前記２値化画像信号（Ｓ２
）と合成されて、画像メモリ（７）に、一画面分の画像
情報として一旦記憶されるように構成しである。尚、本
実施例では、前記輝度信号（Ｙ）を、−画面光たり３２
×３２画素のモザイク状の濃淡画像信号（Ｓ３）（第３
図（ハ）参照）として記憶するようにしである。

前記２値化画像信号（Ｓ２）と濃淡画像信号（Ｓ３）と
を各量子化画素毎に、一つの画像データ（Ｓ、）として
合成する手段について説明すれば、−画素当たりの画像
データ（Ｓ４）を全体として８ビツト長で表現するよう
にしてあり、そのうちの最下位ビット位置を、前記２値
化画像信号（ｓ２）の（Ｉ！（“１”又は“Ｏ”）とし
て用いると共に、それより上位の７ビツト分を、前記濃
淡画像信号（Ｓ３）の明るさを示す値として用いるよう
にしである。但し、前記２値化画像信号（Ｓ２）の値が
“１”の場合が、前記認識対象果実（Ｆ）の色の領域（
Ｆｏ）を示し、“０”がそれ以外の色の領域つまり技や
葉等の背景となる領域を示すようにしである。

従って、前記画像メモリ（７）には、８ビツト長で示さ
れる量子化画素毎に、２値化した色１ｎ報と複数段階の
明るさ情報とを、同一アドレス位置において一つの画像
データ（Ｓ４）として記憶することとなる。

但し、前記２値化画像信号（Ｓ２）を得る処理と、前記
輝度信号（Ｙ）をＡ／Ｄ変換してデジタル化された濃淡
画像信号（Ｓ３）を得る処理、並びに、前記２値化画像
信号（Ｓ２）と濃淡画像信号（Ｓ３）を画素毎に一つの
画像データ（Ｓ４）に合成して記憶させる処理は、前記
垂直同期信号（ＶＤ）及び水平同期信号（ＨＤ）に同期
して同時並列的に行われるように、タイミング回路（８
）にて、その処理動作を制御するようにしである。又、
前記カメラ（１）の撮像動作に同期してストロボ発光装
置（９）が設定光量で発光するように、前記タイミング
回路（８）からの制御信号によって起動されるストロボ
制御回路（１０）を設けてあり、発光タイミング及びそ
の発光強度を適正化するように構成しである。

又、前記画像メモリ（７）に記憶された２値化画像信号
（Ｓ２）及び濃淡画像信号（Ｓ、Ｊ）は、ＣＲＴコント
ローラ（１１）およびＴＶ信号ジェネレータ（１２）に
より、コンポジットビデオ信号に変換されて、モニタテ
レビ（１３）に表示されるようにしである。

つまり、前記２値化画像信号（Ｓ２）と濃淡画像信号（
Ｓ：＋）は、制御プロセッサ（ＣＰＵＩ）及び数値演算
プロセッサ（ＣＰＵ２）にて、各画素毎の画像データ（
Ｓ４）として記憶された画像情報に基づいて、前記２値
化画像信号（Ｓ２）の値が“１”で囲まれた領域内のう
ちの前述したハイライト部分（Ｐ、）に相当する欠落し
た部分（第３図（Ｄ）参照）の穴埋め処理を行った後、
そのその穴埋め処理を施した２値化画像信号（第３図（
ハ）参照）が“１”である領域（Ｆｏ）内のグレイレベ
ルつまり前記）著淡画像信号（Ｓ３）の値に基づいて、
明るさのピーク点であるハイライト部分（ＰＧ）（第３
図（ニ）参照）の位置を求めると共に、前記２値化画像
信号（Ｓ２）の値が“工”で囲まれた領域つまり認識対
象果実（Ｆ）の色のみに対応した領域（ＦＯ）の重心（
ＰＩ）を求める処理を行うように構成してあり、もって
、撮像手段による撮像画像情報に基づいて認識対象果菜
類を抽出する果菜類抽出手段（八）を構成しである。

前記穴埋め処理について説明すれば、前記合成された画
像データ（Ｓ４）のうちの２値化画像信号（Ｓ２）の値
に基づいてラヘリング処理を行った後、例えば、面積が
小さい領域の２値化画像信号（Ｓ２）の値が“０”の部
分を“１”に置き換えることにより、その部分の明るさ
情報が欠落することなく色情報に関する穴埋めを行うの
である。

次に、穴埋め処理を行った画像情報を、再度ラヘリング
し、例えば、そのラベル毎の明るさの最大値及びその最
大値より一段階低い明るさの領域のみを残して、他の領
域の画像データ（Ｓ４）の値を全て“０”に置き換える
ことにより、前記ハイライト部分（ｐｏ）を抽出するの
である。

そして、認識した果実の個数やその位置情報つまり前記
ハイライト部分（ｐｏ）や重心（Ｐ、）の位置座標の情
報を、その認識結果を利用する作業装置の制御装置を構
成するホストコンピュータ（ＣＰＵｏ）に、インターフ
ェース装置（１４）を介して伝達すると共に、全体の動
作を制御されるのふである。尚、第２図中、（１５）は
、前記各プロセッサ（ＣＰＵＩ）、　（ＣＰｕ２）の動
作プログラムや演算用データを格納したり、前記ホスト
コンピュータ（ＣＰＵＯ）との間で授受する各種データ
等を格納するためのメモリである。

但し、前記ストロボ発光装置（９）の発光量が、前記カ
メラ（１）による撮像時短に必要な適正光量に維持され
るようにするために、その発光用電源の充電容量が設定
光量に相・当する容量に達していない場合は、発光つま
り過像手段としてのカラービデオカメラ（１）による撮
像作動を禁止する撮像禁止手段（Ｂ）を設けてある。

すなわち、第１図に示すように、前記ストロボ制御回路
（１０）に、前記ストロボ発光装置（９）の発光用電源
としての発光用コンデンサ（Ｃｓ）の充電容量が設定光
量に対応する容量に達したか否かを検出する充電完了検
出回路（１６）を設けると共に、この充電完了検出回路
（１６）から出力される充電完了信号（Ｐ）を前記タイ
ミング回路（８）に入力してあり、前記発光用コンデン
サ（Ｃｓ）の充電が完了していない場合は、前記タイミ
ング回路（８）からの撮像作動を起動する制御信号の出
力を禁止させるように構成しである。もって、前記タイ
ミング回路（８）にて、発光用コンデンサ（Ｃｓ）の充
電容量が設定量に達していない場合は前記ビデオカメラ
（１）による撮像作動を禁止する撮像禁止手段（Ｂ）を
構成しである。

前記ストロボ制？１１１回路（１０）の構成について説
明を加えれば、前記発光用コンデンサ（Ｃｓ）の充電容
量が設定量に達するに伴って、自動的に停止するように
構成された自動式の発振器を用いた充電回路（１７）、
前記ストロボ発光装置（９）に対する発光用電力の供給
を制御するスイッチ回路（１８）、前記スイッチ回路（
１８）の作動並びに前記ストロボ発光装置（９）の発光
作動を起動するためのトリガー回路（１９）、及び、前
記発光用コンデンサ（Ｃｓ）の充電容量が設定量に達し
たか否かを検出する充電完了検出回路（１６）から構成
されている。

そして、前記タイミング回路（８）から出力される制御
信号つまりトリガー信号（Ｔ）が、前記トリガー回路（
１９）に入力されるに伴って、トリガー用のサイリスタ
（ＳＣＲｚ）がＯＮ作動し、それに伴って、トリガー用
トランス（Ｔｅ３）を介して前記ストロボ発光装置（９
）が起動されて発光を開始すると共に、前記スイッチ回
路（１８）のスイッチ用サイリスク（ＳＣＲ＋）が、前
記トリガー用のサイリスク（ＳＣＲ２）のＯＮ作動に伴
って励起されるトリガー用トランス（ＴＣＩ）にてＯＮ
作動されて、前記発光用コンデンサ（Ｃｓ）に充電され
た電力が前記ストロボ発光装置（９）に供給されて、そ
の充電容量に対応した光量で発光することとなるのであ
る。

前記充電完了検出回路（１６）の構成について説明すれ
ば、前記発光用コンデンサ（Ｃｓ）に抵抗（Ｒ１）を介
して接続されたネオンランプ（ＮＥＩ）を、抵抗（Ｒ２
）を介して接地すると共に、前記ネオンランプ（ＮＥＩ
）と抵抗（Ｒ２）との接続点にベースを接続された充電
完了検出用のトランジスタ（Ｑｌ）を設けてあり、前記
発光用コンデンサ（Ｃｓ）の充電容量が設定量に達する
に伴って、前記ネオンランプ（ＮＥＩ）が導通して充電
完了を表示すると共に、その導通により前記接地した抵
抗（Ｒ２）に流れる電流によって、前記検出用トランジ
スタ（Ｑｌ）がＯＮ作動するように構成しである。

又、前記充電回路（１７）の入力側電源（Ｅ）に接続さ
れたダイオード（貼）及び抵抗（Ｒ３）の直列回路をベ
ースに接続され常時○Ｎａ′態に維持されると共に、そ
のコレクタと前記電源（Ｅ）との間に接続されたフォト
カプラ（ｐｃ　、　）の発光ダイオード（Ｄｓ）を発光
状態に維持する駆動用トランジスタ（Ｑ２）を設けてあ
り、そして、前記駆動用トランジスタ（Ｑ２）のベース
を、前記検出用トランジスタ（Ｑｌ）のコレクタに接続
しである。

つまり、前記充電完了に伴ってＯＮ作動するトランジス
タ（Ｑｌ）にて、前記フォトカプラ（ｐｃｔ）の駆動用
トランジスタ（Ｑ２）のベースを接地することにより、
前記フォトカプラ（ＰＣＩ）の発光ダイオード（Ｄｓ）
がＯＦＦすることとなり、それに伴って、前記フォトカ
プラ（Ｐｃｔ）の出力側フォトトランジスタ（Ｑ３）が
ＯＮ状態からＯＦＦ状態に反転して、充電完了を示す充
電完了信号（Ｐ）を、前記タイミング回路（８）に出力
するのである。

従って、前記タイミング回路（８）は、前記フォトカプ
ラ（ＰＣＢ）にて出力される充電完了信号（Ｐ）に基づ
いて充電完了を判別し、充電完了状態にある場合にのみ
前記撮像作動を開始するように、前記トリガー信号（Ｔ
）の出力を制’４１Ｈすることとなり、前記発光用電源
としての発光用コンデンサ（Ｃｓ）の充電が完了してい
ない場合は、撮像作動が自動的に禁止されて、光量不足
の状態で撮像されることが防止されるのである。

〔別実施例〕

上記実施例では、撮像手段（１）による撮像画像情報に
基づいて認識対象果菜類を抽出する果菜類抽出手段（Ａ
）を構成するに、認識対象果実の色に対応する領域（Ｆ
ｏ）を抽出し、そして、その領域（Ｆｏ）内の重心（Ｐ
υやハイライト部分（ｐｏ）を、認識対象果実に対する
位置情報として求めるように構成した場合を例示したが
、例えば、認識対象果菜類の形状の特徴等に基づいて認
識対象果菜類を抽出するように構成してもよく、具体構
成は各種変更できる。

又、上記実施例では、撮像禁止手段（Ｂ）を構成するに
、タイミング回路（８）にて、充電完了を判別させるよ
うにした場合を例示したが、例えば、制御用のプロセッ
サ（ＣＰＵ　、　）にて判別させるように構成してもよ
く、その具体構成は各種変更できる。同様に、上記実施
例では、発光用電源の充電完了を検出するに、発光用電
源としての発光用コンデンサ（Ｃｓ）の充電電圧が設定
電圧以上あるか蕎かを検出するように構成した場合を例
示したが、例えば、前記充電回路（１７）の作動状態や
充電に伴って流れる電流値の変化等を検出して充電完了
を検出するように構成してもよく、その具体構成は各種
変更できる。

又、上記実施例では、果実認識用の装置に構成した場合
を例示したが、本発明は、トマト等の野菜類を認識する
ための装置にも適用できる。

そして、各部の具体構成は、本発明を適用する装置の構
成に応じて各種変更することとなるものであって、本発
明は、上記実施例のみに限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る果菜類の認識装置の実施例を示し、
第１図は充電完了検出手段の構成を示すストロボ制御回
路の回路図、第２図は認識装置の構成を示すブロック図
、第３図（イ）〜（ニ）は画像信号の説明図である。 （１）・・・・・・撮像手段、（９）・・・・・・スト
ロボ発光装置、（Ｉ６）・・・・・・充電完了検出手段
、（Ｃｓ）・・・・・・発光用電源、（Ａ）・・・・・
・果菜類抽出手段、（Ｂ）・・・・・・撮像禁止手段。

Claims (1)

【特許請求の範囲】
1. 撮像手段（１）による撮像画像情報に基づいて認識対象
   果菜類を抽出する果菜類抽出手段（Ａ）、及び、前記撮
   像手段（１）の撮像作動に同期して設定光量で照光する
   ストロボ発光装置（９）を設けてある果菜類の認識装置
   であって、前記ストロボ発光装置（９）の発光用電源（
   Ｃｓ）の充電容量が設定光量に対応する容量に達したか
   否かを検出する充電完了検出手段（１６）、及び、前記
   充電完了検出手段（１６）による検出情報に基づいて、
   前記発光用電源（Ｃｓ）の充電容量が設定量に達してい
   ない場合は、前記撮像手段（１）による撮像作動を禁止
   する撮像禁止手段（Ｂ）を設けてある果菜類の認識装置
   。