JP3918143B2 - 植物認識システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像認識に関するものであり、特に花を付ける植物の画像を認識するシステムに関する。
【０００２】
【背景技術】
道路や山道、野原など至るところで野草を見ることができる。しかし、私たちは野草の名称や分類について知らないことが多い。図鑑を利用して野草の名称を知ろうとするが、植物学的な分類に基づいて整理されているために素人にはわかりにくく時間もかかる。また携帯型図鑑（例えば、林 弥栄，「山渓ハンディ図鑑１ 野に咲く花」，山と渓谷社，東京，1998）では、８４科約１０００種の野草が収録されている。野草の種類数が多いため、図鑑から特定の野草を見つけるだけでなく、同科の野草を見つけることさえ困難である。もし、野草の判別に自動認識の技術を適用することができれば、専門家でなくともその名称を容易に知ることができる。さらに近年の携帯型コンピュータ、デジタルカメラなどの普及により、安価で可搬姓の高い自動認識システム実現のための環境は整いつつある。
静止画像からのプリミティブな物体や人間の顔を認識したり、ＣＴ画像から肺癌などの認識に関する研究事例は多い。しかし、魚、昆虫、植物などの自然物を対象とした認識についての報告は少ない。例えば、平岡ら（平岡 透，矢野 啓司，瀧山 龍三，「輪郭線及びテクスチャ情報に基づく画像認識法 −魚画像認識への応用」，信学技報，PRMU96-148，no.1，pp.55-62，Jan.1997）は魚のテクスチャと形状を基にした認識を行っているが、実際に撮影した画像ではなく、図鑑写真を加工した画像を用いている。Ｉｍら（Cholhong Im, Hirobumi Nishida, Toshiyasu L. Kunii, "Recognizing Plant Species by Leaf Shapes - A Case Study of the Acer Family", ICPR'98, pp.1171-1173, Brisbane, Australia, Aug.1998）はカエデ科の樹木の認識を葉形状より行っている。関田ら（関田 巌，栗田 多喜夫，大津 展之，「複素自己回帰モデルによる形の識別」，信学論（Ｄ-II），vol.J73-Ｄ-II，No.6，pp.804-811，Jun.1990）は木の葉の認識を行っているが５種サンプル数１６枚とデータが少ない。金山ら（金山 和義，川嶋稔夫，青木 由直，「植物データを対象とした画像インデクシング」，信学技報，PRMU97-172，no.11，pp.151-158，Nov.1997）、竹本ら（竹本 清香，興梠 正克，村岡 洋一，「花冠の特徴に基づく花検索システム」，1999，信学総大，Ｄ.12-66）は植物写真を基にしたインデクシングを目標としているが、野草の認識までは至っていない。本発明では実際に生息している野草を用いて、撮影から認識までの一連のシステム実現を目的とする。
【０００３】
【発明が解決しようとする課題】
本発明の目的は、花を付ける植物の画像認識を行い、草花の識別を行うことを目的としている。
【０００４】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、花や葉の特徴をもとに植物の種類を判別する植物認識システムであって、花および／または葉のディジタル画像より、対象物である花および／または葉の画像を抽出し、前記抽出された花および／または葉の画像より、以下の（Ｆ１）〜（Ｆ１０）及び（Ｌ１）〜（Ｌ１１）から、少なくとも（Ｆ４：花の円形度），（Ｆ３），（Ｆ６），（Ｆ１），（Ｌ３），（Ｆ５），（Ｆ８），（Ｌ８）の順で選択して、単数または複数の特徴量を求め、前記求めた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とから、前記植物の種類を判別する。
（Ｆ１） 花の画像において、重心Ｇから花弁の輪郭までの距離をｄとし、重心との角度θを横軸，縦軸をｄとした波形のグラフにしたときの、前記波形における平均谷間距離ｌ，山の高さの平均をｈとしたときの、花弁の形状ｌ／ｈ。
（Ｆ２） 花弁数。但し、花弁数が７以上の場合は７とする。
（Ｆ３） 花の面積をＳ、重心をＧ（ｇ _ｉ ，ｇ _ｊ ）としたときの
【数１】

で定義される、花のモーメントＭ。
（Ｆ４） 花の周囲長をＬとしたとき
【数２】
Ｒ＝４πＳ／Ｌ ^２
で定義した、花の円形度Ｒ。
（Ｆ５） 色合いをＨ、彩度をＳとしたときのＨＳ色空間を半径１の円とし、その円の中心をｘｙ平面の原点に設置した空間内において、前記花に最大分布している色に該当する色のｘ座標値。
（Ｆ６） 前記（Ｆ５）の空間内で、前記花に最大分布している色に該当する色のｙ座標値。
（Ｆ７） 前記（Ｆ５）の空間内で、前記空間をさらに−１≦ｘ≦１および−１≦ｙ≦１を分割したときの格子内に含まれる色を１単位の色集合とし、前記花に最大分布している色が含まれる色集合内に含まれる色の分布割合。
（Ｆ８） 前記（Ｆ５）の空間内で、前記花に２番目に分布している色に該当する色のｘ座標値。
（Ｆ９） 前記（Ｆ５）の空間内で、前記花に２番目に分布している色に該当する色のｙ座標値。
（Ｆ１０） 前記（Ｆ７）の色集合で、前記花に２番目に分布している色が含まれる色集合内に含まれる色の分布割合。
（Ｌ１） 前記葉において、鋸歯の頂点を結んでできる外側近似形状の面積Ｓ _Ｅ と、鋸歯の谷を結んでできる内側近似形状の面積Ｓ _Ｉ としたときの、葉の形状Ｓ _Ｉ ／Ｓ _Ｅ 。
（Ｌ２） 葉のアスペクト比。
（Ｌ３） 前記葉の面積をＳ、重心をＧ（ｇ _ｉ ，ｇ _ｊ ）としたときの
【数３】

で定義される、葉のモーメントＭ。
（Ｌ４） 前記葉の周囲長をＬとしたとき
【数４】
Ｒ＝４πＳ／Ｌ ^２
で定義した、葉の円形度Ｒ。
（Ｌ５） 前記葉の重心をＧ、基部と先端を結ぶ長さｌの中央脈の中心をＣとしたとき、前記葉の先端方向を正の向きとしたときの中心Ｃから重心Ｇまでの距離をｂとしたときの、前記葉の重心の偏り（ｌ＋２ｂ）／ｌ。
（Ｌ６） 前記葉の基部の開き角度。
（Ｌ７） 前記葉の先端の開き角度。
（Ｌ８） 前記葉が単葉ならば０、複葉ならば１。
（Ｌ９） 前記（Ｆ５）の空間内で、前記葉に最大分布している色に該当する色のｘ座標値。
（Ｌ１０） 前記（Ｆ５）の空間内で、前記葉に最大分布している色に該当する色のｙ座標値。
（Ｌ１１） 前記（Ｆ７）の色集合で、前記葉に最大分布している色が含まれる色集合内に含まれる色の分布割合。
これにより、花をつける植物を対象とした画像認識として、その花画像、葉画像より自動的に画像認識をし、草花の識別を行うことができる。
【０００５】
前記花および／または葉の画像を抽出するためには、色空間において行うクラスタリング法を用いることができる。
【０００６】
前記植物の種類を判別するための解析に、前記特徴量に正規化を施し、区分的線形識別関数を用いて行うことができる。
判別した結果として、植物の種類やその情報を複数表示することもできる。
前記対象物の画像の背景は黒色が望ましい。
なお、上述の機能をコンピュータ・システムに実装することができるプログラムを格納した記録媒体も本発明である。
【０００７】
【発明の実施の形態】
本発明の植物認識システムの実施の形態を、図面を参照して説明する。
本発明では、デジタルカメラ等を用いた撮影画像を入力し、野草の名称を表示するシステムを提供する。ただし、本システムで扱う野草は人間が明らかに花と葉を認識できる顕花植物であり、花が咲いている時期に撮影することを前提としている。
ある一つの野草から花と葉を採取し、それぞれ黒色布地（又は画用紙）上の中央付近に位置させ撮影する。花や葉は枯れや虫食いなどによる欠陥のないものを採取する。また葉はその成長過程や採取位置により、葉縁の形状が異なる場合がある。ここでは各々の野草において代表的な形の葉を用いることにする。葉は方向を持つため基部を画像の左側、先端を右側におく。さらに花の形状は３次元的な構造が多い。本発明で定義する特徴量は２次元構造のみを用いている。ユーザにより撮影方向が異なることを防ぐため、撮影は真上かそれに近い斜め上の角度から行う。また本システムで用いる画像は赤（Ｒ），緑（Ｇ），青（Ｂ）によるカラー画像であり、例えばＲＧＢの各色を各８ビットで表現し、画像サイズは縦４８０画素、横６４０画素である。
【０００８】
図１は本発明のシステムとその認識処理の流れを示したものである。本システムは、図１（ａ）に示すように、ＣＰＵ２０にデジタルカメラや写真読取り装置等の画像入力装置１０、システムの操作を行うための入力装置３０、操作画面や認識結果を表示する表示装置４０、認識に用いるデータや植物のデータが記録されている記憶装置５０が接続されている構成となっている。また、認識処理の流れは図１（ｂ）に示すように、まず、認識する対象である花と葉の画像を入力装置１０より入力し（Ｓ１００）、入力した画像から花と葉の対象物を切り出す背景分離処理をＣＰＵ２０で行う（Ｓ１１０）。さらにＣＰＵ２０は抽出した対象物の画像をもとに、定義した特徴量を求め（Ｓ１２０）、対象物の認識を行う（Ｓ１３０）。画像から対象物を抽出する作業は極めて重要であり、本発明のシステムではクラスタリング法を用いることにする。特徴量は花、葉それぞれにおいて定義する。そして特徴量を入力データとして区分的線形識別関数による認識を行う。
【０００９】
［背景分離］
＜入力画像の性質と方針＞
図２は花と葉の自然の状態をそのまま撮影した画像を示したものである。ほとんどの花や葉は群生しているため、図２のような画像から自動的に対象物のみを抽出することは難しい作業である。そこで、対象物を抽出するために光源などの撮影環境を同一に設定し撮影する方法や、対象物の存在しない画像と存在する画像の２枚を用い、両面像を差分することにより対象物を抽出する方法などが挙げられる。しかし、本発明は安価なシステム、かつユーザに対する操作の軽減を考慮する必要がある。
そこで本発明のシステムでは、対象物の背景に黒色の布地（もしくは画用紙）を用いた。これは対象物である花が極彩色や無彩色（白色）に分布し、葉は一般的に緑色であり、撮影時における太陽光などの光の反射を最小限に抑えるためである。図３は前述の方法で撮影した、対象物の背景に黒色布地を置いて撮影した画像である。
本発明のシステムで定義する特徴量の多くは対象物の正確な輪郭形状を必要とするため、正確な背景分離は不可欠である。そこで、この入力画像においてエッジ検出やしきい値選定法などの諸手法により背景分離を試みたが、以下に述べるような要因により必ずしも背景分離を容易には行えなかった。
▲１▼対象物（特に花）が立体的な構造を持ち、図３（ａ）のように相互に影を作り背景との差が低くなる。
▲２▼図３（ｂ）のように、対象物の影が背景領域に写り、背景が一様でなくなる。
▲３▼背景領域上の四隅に明暗が生じることがある。
そこで次に述べるクラスタリング法を用いて背景分離を行う。
【００１０】
＜クラスタリング＞
本研究におけるクラスクリングは色空間において行う。色空間におけるクラスタリングは、静止カラー画像の限定色選択を目的として研究されている（Paul S.Heckbert, "Color image quantization for frame buffer display", pp.297-307, SIGGRAPH'82, Boston, Jul.1982）。ここでは最初に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３次元色分布空間を考え、この空間においてseed（初期クラスタ値）を導出した後クラスタリングを行う。
（１）初期クラスタ決定
本発明のシステムでは最終的にクラスタ数を背景と対象物の２つにする。クラスタリングはＲＧＢ空間におけるk-means法（ｋ−平均法）を用いて行い、以下の手順で初期クラスタを導出する。
▲１▼ＲＧＢ空間における分布
seedを求めるに当たって、ＲＧＢ空間分布を考える。図４はＲＧＢ空間を示した図である。この図４のようにまず各座標軸において分布の最小、最大両端においてノイズ成分と考えられる要素を無視するため、両端から全画素数の０．１％（約３００画素）の分布を無視する。次に両端を除いた分布において、各座標軸に沿ってｎ個に均等分割したｎ^３個の小空間を考える。この分布空間よりseedを検出する。ただし本発明の実施形態ではｎ＝５とする。
▲２▼seed検出
seed検出は以下の手順により行う。まず頻度数が最大である小空間を選ぶ。そして、連結する小空間が共にseedとなることを避けるために、図５に示すような、選ばれた小空間に隣接する６小空間はseedに選択しない。選択した小空間とそれを囲む６小空間を取り除いた後、再び最大頻度の小空間を選ぶプロセスを繰り返す。選ばれた小空間における中央値をseedとする。初期クラスタ数（seed数）ｋは条件を満たす全ての小空間とする。
【００１１】
（２）ｋ−ｍｅａｎｓ法（ｋ−平均法）
本手法のアルゴリズムは以下のとおりである。
▲１▼ 最初にｋ個の仮クラスタの重心seedを決定する。本研究では前節で述べた方法によりseedを求める。
▲２▼ 全てのデータを最短距離にあるクラスタに分類する。距離としてはＲＧＢ空間のユークリッド距離を使用する。
▲３▼ 再分類されたクラスタから新たにクラスタの重心を求める。
▲４▼ ▲３▼の処理で新たなクラスタ中心が全て以前と同じであれば終了し、そうでなければ▲２▼に戻る。
【００１２】
図６は図３（ａ）の花画像に対するクラスタリング結果をＲＧＢ空間分布に示した図であり、図７はクラスタリング結果を画像上に展開したものである。図６のような色空間で同じクラスタに分類されても、画像上では必ずしも同じ領域に分布しているとは限らない。そこで展開した画像で接合されていない領域は、全て独立のクラスタとする。図６の色空間におけるクラスタ数は６である。しかし図７ではクラスタ数が４７５と増大する。この図では入力画像における色の移り変わりと考えられる場所で画素数が少ないクラスタ（小領域）が多数存在する。そこで次にクラスタ数の軽減を目的とし、これら小領域の除去を行う。
【００１３】
＜クラスタ統合＞
クラスタ統合は小領域クラスタの除去を目的とした１次クラスタ統合、背景領域に属するクラスタを統合する２次クラスタ統合、さらに画像状況に応じて影を除去する３次クラスタ統合の３過程から構成する。最後に背景領域を除去することにより対象物を抽出する。
（１）１次クラスタ統合
各クラスタに属する画像を調べて、その数があるしきい値Ｔ_１以下のクラスタを統合の対象とする。この値は統合処理により対象物の輪郭が欠けないように注意する。統合は各クラスタの平均色を求め、周囲のクラスタと比較して最も色差の小さいクラスタへ吸収させる。色差はＲＧＢ空間のユークリッド距離とする。図８は前述の処理をＴ_１＝３００（全画素数の０．１％）として行った、１次クラスタ統合後の結果を示したものである。
（２）２次クラスタ統合
本システムで使用する花及び葉の画像では、必ず対象物は画像の中心付近に置かれ、画像から対象物がはみ出すことは無い。この条件下では画像の外側縁を含むクラスタは必ず背景に属する。従ってこの性質を利用し、１次クラスタ統合の結果を背景Ａ_ｂに属するか、対象物Ａ_ｏに属するか、もしくは未定Ａ_ｔに分別する。
全クラスタをＡ_ｂ，Ａ_ｏ，Ａ_ｔのいずれかに分類させるため、本発明のシステムではエッジ強度ｅを定義する。そしてクラスタ境界におけるｅの分布を求め、分布の検定を行うことによりクラスタ統合処理を行う。即ち現段階においては、幾つものクラスタからなる背景領域を、１つのクラスタに統合することを目的とする。図９はエッジ強度ｅの導出について説明するための図であり、画素をクラスタ別に表している図である。この図９を用いて説明する。
▲１▼クラスタＣ_ｌとＣ_２の境界線を検出し、境界線上の画素の隅に番号をつける。
▲２▼この隅を中心として、４×４の小領域（局所領域と呼ぶ）を設ける。
▲３▼ｐ番目の局所領域において、クラスタＣ_１とＣ_２に属する画素の入力画像におけるＲＧＢ平均値（ｒ_１，ｇ_１，ｂ_１），（ｒ_２，ｇ_２，ｂ_２）を計算する。
▲４▼エッジ強度は上記平均値の差分
【数９】

▲５▼｛ｅ_ｐ，ｐ＝１，・・・，ｎ｝の平均値μ_１，２、分散σ^２ _１，２を計算しておく。以上の手順により求まるエッジ強度ｅの分布を用いてクラスタ統合を施す。
背景領域に存在するクラスタ境界では、入力画像上の輝度値が緩やかに変化する。逆に背景領域と対象物領域のクラスタ境界では輝度値が急変している。まず、画像縁を含む全てのクラスタをＡ_ｂに属させ、Ａ_ｂに属するクラスタ間のエッジ強度の分布を正規分布Ｎ（μ_ｂ，σ_ｂ）と仮定する。次にＡ_ｂに属するクラスタＣ_ｂとその隣接クラスタＣ_ｔのクラスタ間エッジ強度の分布を対象分布Ｎ（μ_ｔ，σ_ｔ）とする。次に、Ｎ（μ_ｂ，σ_ｂ）とＮ（μ_ｔ，σ_ｔ）において正規分布検定を行う。仮説をμ_ｂ＝μ_ｔとし、
【数１０】

を計算する。ｚ_ｏ＜αならば対象分布は背景分布と同じであるとし、Ｃ_ｔをＡ_ｂに属させる。α≦ｚ_ｏ＜βならば、Ｃ_ｔはＡ_ｔに属させ３次クラスタ統合の対象とする。そうでなければＣ_ｔをＡ_ｏに属させる。
図１０は、図８における２次クラスタ統合処理を適用した結果を示した画像である。このように対象物と背景が正確に分離されていることがわかる。また図７ではクラスタ数が４７５であったのに対し、図８ではクラスタ数は２４、図１０では２２になる。
【００１４】
（３）３次クラスタ統合
前統合処理により対象物と背景はほぼ正確に分離される。しかしながら、画像によっては背景領域に対象物の影が生じているものがある。明確に現れる影は背景と対象物との中間に位置し、２次クラスタ統合では処理できない場合がある。そこで本プロセスでは影領域を検出し、背景に統合する処理を行う。プロセスは以下の方法で行う。
▲１▼２次クラスタ統合により求まったＡ_ｔに属するクラスタＣ_ｉの平均輝度値をＹ_ｉとする。
▲２▼Ａ_ｂに属する全クラスタの平均輝度値をＹ_ｂとする。
▲３▼影は背景よりも暗い性質があるため、Ｙ_ｉ＜Ｙ_ｂならば注目クラスタは影であり、Ａ_ｂに属させる。そうでなければＡ_ｏに属させる。
▲４▼以上の処理を全てのＣ_ｉ（Ｃ_ｉ∈Ａ_ｔ）に対して行い、クラスタをＡ_ｂもしくはＡ_ｏに分類する。
図１１は、実際に影を持つ画像（図１１（ａ））に対して、１次〜３次までのクラスタ統合処理を行った過程と結果を、図１１（ｂ）〜図１１（ｄ）の順番で示したものである。図１１（ｂ）のような背景領域に対象物の影が生じている画像でも影領域を検出し、図１１（ｄ）のように背景に統合することができている。
【００１５】
（４）背景領域除去
前述までの処理により画像は大まかなクラスタによって表現されている。最後に背景クラスタＡ_ｂを取り除くことにより対象物抽出を実現する。図１２は、図３（ａ）の花と図１１（ａ）の葉の画像より背景分離処理を行った結果を示した画像である。図３（ａ）の花と図１１（ａ）の葉の画像より対象物抽出をした画像は、それぞれ図１２（ａ）及び図１２（ｂ）である。
【００１６】
［特徴量］
＜花の特徴量＞
花の構造は多種多様で複雑である。また入力画像から雄しべ、雌しべなどの複雑な構造を認識することは難しい。そこで本研究では主に輪郭形状情報から特徴量Ｆ１〜Ｆ４の４個、色情報から特徴量Ｆ５〜Ｆ１０の６個の計１０個の花の特徴量を定義する。
（１）形状情報（花）
図１３は花形状の解析を示した図である。花の構造において最も大きな面積を占め、入力画像から確実に得られる情報として花弁が挙げられる。本システムでは、図１３（ａ）に示すような花の輪郭情報をもとに、重心Ｇから輪郭までの距離ｄを求め、図１３（ｂ）のような横軸を角度θ、縦軸を距離ｄとした１次元波形に変換する。この波形より以下に示す２つのパラメータを定義する。
Ｆ１）花弁形状
花弁幅を波形における平均谷間距離ｌ、花弁の長さを平均山の高さｈとし、花弁の形状をｌ／ｈと定義する。
Ｆ２）花弁数
図１３に示す波形で極大値数を求める。花弁数が多い花ではその数を正確に求めることが困難である。花弁数ＮがＮ＞７の場合は「花弁数が多い」と明示的に示す数値Ｎ＝７とする。
Ｆ３）モーメント
Ｆ３は次式に定義されたモーメントＭを用いる。
【数１１】

ただし、式中においてＳは面積、Ｇ（ｇ_ｉ，ｇ_ｊ）を重心とする。
Ｆ４）円形度
花弁の外周形状が円にどれくらい近いかを示す情報として、
【数１２】
Ｒ＝４πＳ／Ｌ^２
より円形度を求める。ここでＬは花の周囲長を示し、０＜Ｒ≦１である。
【００１７】
（２）色情報（花）
花の色は極彩色又は白などの無彩色であることが多く、主に１色分布からなっている花、２色分布から、もしくはそれ以上の色分布からなっている花に分類できる。本研究では面積の大きい２色とそれらの面積割合を特徴量として６個定義する。
入力された画像情報は、光の３原色赤，緑，青で表す、ＲＧＢ色空間値であるが、色合い，彩度，明度の３要素で表す、ＨＳＶ色空間に変換し色情報を得る。
図１４はＨＳ空間を分割したものを示した図である。そして図１４に示すＨＳ空間より６個の特徴量を得る。なお、ここでいう分布割合は、注目座標分布数及びその４近傍座標の分布数の総和とする。
Ｆ５）第１色ｘ座標 最大分布数のｘ座標値
Ｆ６）第１色ｙ座標 最大分布数のｙ座標値
Ｆ７）第１色割合 その座標と４近傍座標を含めた分布割合
Ｆ８）第２色ｘ座標 ２番目の分布数のｘ座標値
Ｆ９）第２色ｙ座標 ２番目の分布数のｙ座標値
Ｆ１０）第２色割合 その座標と４近傍座標を含めた分布割合
ただし、本研究ではＨＳＶ色空間と、色合い，輝度，彩度の３要素で表す、ＨＬＳ色空間による特徴量を求め認識した結果、ほとんど差が見られなかった。そのため、ここではＨＳＶ色空間を用いた。
【００１８】
＜葉の特徴量＞
葉は花と比べ構造が簡単であり、方向が明瞭である。本研究では特徴量を求めるにあたって最初に小葉の検出を行い、その後基部・先端の位置を調べる。形状情報から特徴量Ｌ１〜Ｌ８の８個、色情報から特徴量Ｌ９〜Ｌ１１の３個、計１１個の特徴量を定義する。
（１）小葉の検出
図１５は単葉と複葉を示した画像である。この図１５に示すように、葉画像は大まかに分類すると、単葉と、複数の小葉で構成している複葉の２種類ある。特徴量においては葉構造（Ｌ８）で単葉、複葉の区別をする。ただしＬ８と色情報を除いた特徴量では単葉における特徴を定義する。そのため最初に単葉、複葉の分類を行い、複葉の場合は小葉の検出を行う必要がある。
小葉の検出は花の形状情報を求める手順と同様に、重心と輪郭点間の距離を求め、２次元画像から１次元波形に変換する。この波形より極小点数を求め小葉があるか否か判断する。
（２）基部・先端位置の決定
葉の方向は先に述べたように基部を左、先端を右というように、撮影条件で指定している。しかし、基部・先端の形状には様々な種類がある。本発明のシステムでは基部・先端の形状を凸形状、凹形状に分類し、極点を求めることによりその位置を決定する。
【００１９】
（３）形状情報（葉）
ほとんどの葉は緑色であるため、分類には色情報よりも形状情報のほうが有効であると考えられる。そこで本システムでは葉の形状としてアスペクト比、モーメントなど８個の特徴量を定義する。
Ｌ１）葉縁の形状
図１６は鋸歯を有する葉を示した図である。葉縁には、この図１６のように鋸歯の有るものや、無いもの、その大きさの違いなど様々な形状があるが、これらを解析し区別することは困難な作業である。そこで本システムでは、鋸歯の割合を定義し、この値を特徴量として用いることにする。鋸歯の割合は図１６に示すような外側近似形状、内側近似形状を生成しそれら面積Ｓ_Ｅ，Ｓ_Ｉの比（Ｓ_Ｉ／Ｓ_Ｅ）として与える。
Ｌ２）アスペクト比
葉のアスペクト比を定義する。またモーメント、円形度については花の場合と同様にして求める。
Ｌ３）モーメント
Ｆ３と同様に、式［数１１］に定義されたモーメントＭを用いる。
Ｌ４）円形度
Ｆ４と同様に、式［数１２］に定義されたＲを求める。
Ｌ５）重心の偏り
図１７は葉のパターンの例を示した図であり、葉の重心は大別すると図１７に示すように３パターンになる。葉の重心をＧ、基部、先端を結ぶ中央脈の中心をＣとし、重心の偏りを
【数１３】
Ｌ５＝（ｌ＋２ｂ）／ｌ （ただし、−１／２≦Ｌ５≦１／２）
と定義する。
【００２０】
葉の基部、先端は縁の形状と同様に葉の特徴を示すものとして有効な情報である。本システムでは基部、先端の形状として各々の角度θ_１，θ_２を求め、それらを特徴量として定義する。図１８は葉の基部と先端の角度の定義を示したものである。図１８に示すように角度は基部Ａ、先端Ｂの各々から両側へｄ離れた点（基部側：Ａ_１，Ａ_２，先端側：Ｂ_１，Ｂ_２）を求める。それよりＬ６，Ｌ７を求める。
Ｌ６）基部角度 θ_１＝∠Ａ_１ＡＡ_２
Ｌ７）先端角度 θ_２＝∠Ｂ_１ＢＢ_２
Ｌ８）葉構造
本システムで扱う葉は図１５で示したように、単葉と複葉とに大別される。そこで特徴量として前者の場合Ｌ８＝０、後者の場合Ｌ８＝１と定義する。分類方法は「（１）小葉の検出」で先述したとおりである。
【００２１】
（４）色情報（葉）
葉の色は一般的に緑色１色分布である。そのため色情報は、花の場合と異なり最大分布色のみを定義する。定義は花の場合と同様である。
Ｌ９）第１色ｘ座標 最大分布数のｘ座標値
Ｌ１０）第１色ｙ座標 最大分布数のｙ座標値
Ｌ１１）第１色割合 その座標と４近傍座標を含めた分布割合
【００２２】
＜認識法＞
現在では数多くの認識法が提案されている。本発明のシステムでは前述の定義で求まった特徴量に正規化を施す。そして区分的線形識別関数を用いて認識を行う。なお、詳細については、以下の実施例を参照されたい。
【００２３】
＜実施例＞
次に、実施例として本発明のシステムを用いての植物認識の実験を行った。実験のために、入力画像は各種２０セットずつ用意した。また認識は正識別率を少数サンプルから推定するために、Leave-one-out methodを用いた。即ち区分的線形識別関数のプロトタイプ数を１９、実験データ数を１とする。
［背景分離］
本発明の発明者たちは、大学のキャンパス付近に生息する野草を撮影し、３４種２０セットの花画像と葉画像を用いて背景分離処理を行った。実験において設定した各パラメータを［表１］に示し、処理結果を［表２］に示す。花画像では９８．５３％、葉画像では９９．１２％の抽出率を得た。
【表１】

【表２】

このように、撮影画像から対象物を切り出す手法として、クラスタリング法を採用し、その有効性を検証することができた。一般的に色空間におけるクラスタリング処理では、後処理としてクラスタ統合を施す必要がある。そこで３段階からなる統合処理をすることにより、正確な対象物抽出が実現可能となった。
【００２４】
［認識］
次に背景分離処理により抽出した対象物面像をもとに各特徴量を計算した。そしてこれらを入力として認識を行った。本実施例では
（１）全ての特徴量
（２）花のみの特徴量
（３）葉のみの特徴量
の３組の特徴量を用いて認識率を求めた。結果を［表３］に示す。
【表３】

この表３は認識結果において第１侯補のみを考慮した場合と、第２侯補、第３候補まで考慮した場合における認識率を示す。全ての特徴量を用いた場合には９６．０３％の認識率を得た。
【００２５】
本システムでは対象物のサイズ情報を考慮していない。しかしながら、［表３］を参照してもわかる通り、サイズ情報が無くても十分な認識率を得ている。これは本実施例で用いた野草種類数が少なく、サイズが未知でも色や形状情報のみで十分であるからと考える。手動測定したサイズ情報を含めた予備実験を行った結果、全ての特徴量で９６．９１％（即ち、０．８８％の向上）であった。
【００２６】
次に本システムを用いて、有効な特徴量を求める実験を行った。まず２１個の特徴量より１個を選び認識を行う。つまり特徴量１で２１通りの認識を行う。この結果より最も認識率の高い特徴量を求め、これを最も有効な特徴量とする。次にこの特徴量と残りの２０個の組み合わせ（２０通り）を用いて認識を行う。同様に認識結果より最も認識率の高い特徴量を求め、これを２番目に有効な特徴量とする。以後同様にして有効な特徴量を決定していく。［表４］は決定された有効な特徴量を示したものである。
【表４】

また、図１９は特徴量数と認識率の変化を示したグラフである。図１９のグラフを見てもわかる通り、この結果より特徴量数７，８個で十分な認識率を得ている。
さらに野草１６種２０セットにおける認識実験（Takeshi Saitoh, Toyohisa Kaneko, "Automatic Recognition of Wild Flowers", ICPR2000, vol.2, pp.507-510, Barcelona, Spain, Sep.2000）と比較すると、有効な８特徴量の内、花の特徴が占める割合が増えていることがわかった。これは、葉よりも花の情報の方が有効であるからである。
【００２７】
次に誤認識について検討を行った。その結果、誤認識しやすいのは同科の野草である傾向があった。また葉形状は異なっていても、花同士が似た形状や色をしている場合誤認識が起こりやすい。これは前述の認識結果からも推察できるが、葉よりも花の情報の方が有効であるためである。
【００２８】
＜他の実施形態＞
前述の実施例では、春から初夏にかけての野草を用いている。そのため季節情報や採取場所等を特徴量として入力しなくても十分な認識率を得たが、画像から計測される特徴量に加えて季節、場所、時間等の情報も特徴量として加えることで、より高い認識率を得ることができる。
また、認識結果では正しい１つの野草名称を得るシステムにしてもよいし、類似の数個を画面に表示し、最終的には人の目による認識を行うシステムもよい。その認識結果をもとに野草の種類や、植物辞典に掲載されているような情報を表示することもできる。
本発明に関するプログラムを格納した記憶媒体から、プログラムをシステムで読み出して実行することにより、本発明の構成を実現することができる。この記録媒体には、ＤＶＤ、ＣＤ、ＭＤ、ＭＯ、フロッピー・ディスク、磁気テープ、ＲＯＭカセット等がある。
【００２９】
【発明の効果】
本発明のシステムにより、自然物を対象とした画像認識として、野草を取り上げ、その花画像、葉画像より計測できる野草の種類判別に有効な２１個の特徴量を用いて自動的に画像認識をし、草花の識別を行うことができた。また、本システムを用いて、認識に必要な特徴量７，８個で十分な認識率を得ることができた。
【図面の簡単な説明】
【図１】 本発明のシステムとその認識処理の流れを示した図である。
【図２】 花と葉の自然の状態をそのまま撮影した画像を示した図である。
【図３】 対象物の背景に黒色布地を置いて撮影した画像を示した図である。
【図４】 ＲＧＢ空間を示した図である。
【図５】 頻度数が最大である小空間と、それに隣接する６小空間を示した図である。
【図６】 花画像に対するクラスタリング結果をＲＧＢ空間分布に示した図である。
【図７】 クラスタリング結果を展開した画像を示した図である。
【図８】 １次クラスタ統合処理を適用した結果の画像を示した図である。
【図９】 エッジ強度ｅの導出について説明するための図である。
【図１０】 ２次クラスタ統合処理を適用した結果の画像を示した図である。
【図１１】 実際に影を持つ画像において１次〜３次までのクラスタ統合処理を行った過程と結果を示した図である。
【図１２】 花と葉の画像より背景分離処理を行った画像を示した図である。
【図１３】 花形状の解析を示した図である。
【図１４】 ＨＳ空間を分割したものを示した図である
【図１５】 単葉と複葉の画像を示した図である。
【図１６】 鋸歯を有する葉を示した図である。
【図１７】 葉のパターンの例を示した図である。
【図１８】 葉の基部と先端の角度の定義を示した図である。
【図１９】 特徴量数と認識率の変化を示したグラフを示した図である。
【符号の説明】
１０ 画像入力装置
２０ ＣＰＵ
３０ 入力装置
４０ 表示装置
５０ 記憶装置

Claims (6)

1. 花や葉の特徴をもとに植物の種類を判別する植物認識システムであって、
   花および／または葉のディジタル画像より、対象物である花および／または葉の画像を抽出し、
   前記抽出された花および／または葉の画像より、以下の（Ｆ１）〜（Ｆ１０）及び（Ｌ１）〜（Ｌ１１）から、少なくとも（Ｆ４），（Ｆ３），（Ｆ６），（Ｆ１），（Ｌ３），（Ｆ５），（Ｆ８），（Ｌ８）の順で選択して、単数または複数の特徴量を求め、
   前記求めた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とから、前記植物の種類を判別する
   ことを特徴とする植物認識システム。
   （Ｆ１） 花の画像において、重心Ｇから花弁の輪郭までの距離をｄとし、重心との角度θを横軸，縦軸をｄとした波形のグラフにしたときの、前記波形における平均谷間距離ｌ，山の高さの平均をｈとしたときの、花弁の形状ｌ／ｈ。
   （Ｆ２） 花弁数。但し、花弁数が７以上の場合は７とする。
   （Ｆ３） 花の面積をＳ、重心をＧ（ｇ _ｉ ，ｇ _ｊ ）としたときの
   

   

   で定義される、花のモーメントＭ。
   （Ｆ４） 花の周囲長をＬとしたとき
   

   

   で定義した、花の円形度Ｒ。
   （Ｆ５） 色合いをＨ、彩度をＳとしたときのＨＳ色空間を半径１の円とし、その円の中心をｘｙ平面の原点に設置した空間内において、前記花に最大分布している色に該当する色のｘ座標値。
   （Ｆ６） 前記（Ｆ５）の空間内で、前記花に最大分布している色に該当する色のｙ座標値。
   （Ｆ７） 前記（Ｆ５）の空間内で、前記空間をさらに−１≦ｘ≦１および−１≦ｙ≦１を分割したときの格子内に含まれる色を１単位の色集合とし、前記花に最大分布している色が含まれる色集合内に含まれる色の分布割合。
   （Ｆ８） 前記（Ｆ５）の空間内で、前記花に２番目に分布している色に該当する色のｘ座標値。
   （Ｆ９） 前記（Ｆ５）の空間内で、前記花に２番目に分布している色に該当する色のｙ座標値。
   （Ｆ１０） 前記（Ｆ７）の色集合で、前記花に２番目に分布している色が含まれる色集合内に含まれる色の分布割合。
   （Ｌ１） 前記葉において、鋸歯の頂点を結んでできる外側近似形状の面積Ｓ _Ｅ と、鋸歯の谷を結んでできる内側近似形状の面積Ｓ _Ｉ としたときの、葉の形状Ｓ _Ｉ ／Ｓ _Ｅ 。
   （Ｌ２） 葉のアスペクト比。
   （Ｌ３） 前記葉の面積をＳ、重心をＧ（ｇ _ｉ ，ｇ _ｊ ）としたときの
   

   

   で定義される、葉のモーメントＭ。
   （Ｌ４） 前記葉の周囲長をＬとしたとき
   

   

   で定義した、葉の円形度Ｒ。
   （Ｌ５） 前記葉の重心をＧ、基部と先端を結ぶ長さｌの中央脈の中心をＣとしたとき、前記葉の先端方向を正の向きとしたときの中心Ｃから重心Ｇまでの距離をｂとしたときの、前記葉の重心の偏り（ｌ＋２ｂ）／ｌ。
   （Ｌ６） 前記葉の基部の開き角度。
   （Ｌ７） 前記葉の先端の開き角度。
   （Ｌ８） 前記葉が単葉ならば０、複葉ならば１。
   （Ｌ９） 前記（Ｆ５）の空間内で、前記葉に最大分布している色に該当する色のｘ座標値。
   （Ｌ１０） 前記（Ｆ５）の空間内で、前記葉に最大分布している色に該当する色のｙ座標値。
   （Ｌ１１） 前記（Ｆ７）の色集合で、前記葉に最大分布している色が含まれる色集合内に含まれる色の分布割合。
2. 請求項１に記載する植物認識システムにおいて、
   前記花および／または葉の画像を抽出するためには、色空間において行うクラスタリング法を用いることを特徴とする植物認識システム。
3. 請求項１または２に記載する植物認識システムにおいて、
   前記植物の種類を判別するための解析に、前記特徴量に正規化を施し、区分的線形識別関数を用いて行うことを特徴とする植物認識システム。
4. 請求項１〜３のいずれかに記載する植物認識システムにおいて、
   判別した結果として、植物の種類やその情報を複数表示することを特徴とする植物認識システム。
5. 請求項１〜４のいずれかに記載する植物認識システムにおいて、
   前記対象物の画像の背景は黒色であることを特徴とする植物認識システム。
6. 請求項１〜５のいずれかに記載の機能をコンピュータ・システムに実装することができるプログラムを格納した記録媒体。

Images