JP4831314B2

JP4831314B2 - 対象物認識システム

Info

Publication number: JP4831314B2
Application number: JP2006017827A
Authority: JP
Inventors: 輪香子菅沼; 弘一石渡
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-01-26
Filing date: 2006-01-26
Publication date: 2011-12-07
Anticipated expiration: 2026-01-26
Also published as: JP2007200020A

Description

この発明は対象物認識システムに関する。

従来の対象物認識システムとして下記の公開特許公報に記載されたものが知られている。

花と葉のデジタル画像からクラスタリング法を用いて対象物である花と葉の画像を抽出し、その抽出された花と葉の画像から単数又は複数の特徴量を求め、その求められた特徴量と、あらかじめデータベースに登録してある各種の植物の特徴量とを統計的手法を用いて解析して野草の種類を判別する。
特開２００２−２０３２４２号公報

上記従来の対象物認識システムでは、データベースに登録された全ての特徴量毎に、画像から所定のパラメータを有する確率を求め、野草の種類を判別する。そのため、判別結果がでるまでに多くの演算時間が必要になる。

この発明はこのような事情に鑑みてなされたもので、迅速に検索を行うことができる対象物認識システムを提供することである。

上記課題を解決するため請求項１記載の発明は、対象物である植物の画像を撮像する撮像手段と、前記撮像手段で撮像された画像から前記植物の外観情報である特徴量を抽出する特徴量抽出手段と、前記植物が属するカテゴリに含まれる複数の種について、少なくとも前記特徴量に対応するデータが一群の特徴量情報として登録されたデータベースと、前記データベースに登録された前記一群の特徴量情報から特定のデータ群を抽出するデータベース絞込み手段と、前記データベース絞込み手段による抽出の条件を設定する絞込み条件設定手段と、前記データベース絞込み手段によって抽出された前記特定のデータ群に対してそれぞれ特徴量の偏りを表すデータである特徴量分布データを形成する分布データ形成手段と、前記分布データ形成手段によって形成された前記特徴量分布データに基づいて前記特徴量抽出手段によって抽出された前記特徴量と前記データベース絞込み手段によって抽出された前記特定のデータ群とを対比して前記植物の前記特徴量と同じ特徴量を検索する検索手段とを備え、前記分布データ形成手段はそれぞれの前記特徴量情報ごとに形成された前記特徴量分布データのうち最も多く出現するパラメータを有する特徴量分布データのデータ数が少ない順に前記特徴量に順位を付け、前記検索手段は前記分布データ形成手段で順位付けされた順序で検索を行うことを特徴とする。

この発明によれば迅速に検索を行うことができる。

以下、この発明の実施の形態を図面に基づいて説明する。

図１はこの発明の第１実施形態に係る対象物認識システムの全体構成図、図２（ａ）は地域別植生データ及び元データベースの一例を示す図、図２（ｂ）は地域別植物群情報７１と元データベース６０とから絞込みデータベース５０を作成する手順の一例を示す図である。

この対象物認識システムは、撮像装置（撮像手段）１０と画像表示部（画像表示手段）２０と特徴量抽出部（特徴量抽出手段）３０と検索エンジン（検索手段）４０と絞込みデータベース５０と元データベース６０とデータ抽出部（データベース絞込み手段）７０とＧＰＳモジュール（絞込み条件設定手段）８０とを備えている。

撮像装置１０は撮影レンズ（撮像光学系）１１と撮像部１２と画像処理回路１３とを備えている。

撮影レンズ１１は花等の対象物の光学像を撮像部１２の受光面上に結像させる。なお、図１には撮影レンズ１１は１つのレンズとして描かれているが、実際には複数のレンズで構成される。

撮像部１２としてはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）を用いることができる。ＣＣＤは複数の受光素子を含み、撮影レンズ１１によって結像された対象物の光学像によってそれぞれの受光素子に蓄積された電荷を、アナログの電気信号として画像処理回路１３に出力する。

画像処理回路１３はＣＣＤから受け取った、対象物のアナログ電気信号をＲ、Ｇ、Ｂの各成分に分解する。画像処理回路１３はＲ、Ｇ、Ｂの各成分に分解されたアナログ電気信号をデジタル信号に変換し、対象物の像を示すデジタルの画像データをメモリ（図示せず）に記憶させて各種の処理を行なった後、デジタル信号をアナログ信号に変換してアナログの画像データを画像表示部２０に出力する。

画像表示部２０としてはＣＲＴディスプレイやＬＣＤパネルを用いることができる。画像表示部２０に撮像装置１０によって撮像された画像データが出力され、対象物の画像（対象植物画像）２１が検索者に提供される。また、画像表示部２０には検索エンジン４０によって検索されたデータ、例えば画像（検索結果画像２２、検索結果画像２３）や名称等を含む情報が表示される。

特徴量抽出部３０は対象物の画像から特徴量を抽出する。特徴量は例えば花の色情報、花の輪郭から抽出される花弁の枚数、形状、大きさ等である。

検索エンジン４０は特徴量抽出部３０で抽出された例えば色情報（特徴量）と絞込みデータベース５０に登録された色情報（特徴量）とを対比し、抽出された色情報と同じ色情報を有するデータを検索する。

絞込みデータベース５０にはデータ抽出部７０で抽出された地域毎の植生情報が入力されている。この情報に基づいて、絞込みデータベース５０には所定の地域に生える植物群に絞り込まれた絞込みデータ（名前、科、特徴量、開花時期（結実時期）等）５１が登録される。

また、絞込みデータベース５０では分布データ形成部（分布データ形成手段）５２を用いて所定の地域に生える植物群に絞り込まれたデータに基づいて分布データ（特徴量分布データ）が形成される。

元データベース６０には例えば日本全国の野草に対応するデータ（名前、科、特徴量（色情報、形状情報等）、開花時期（結実時期）等の時期情報、解説、サンプル画像）が登録されている（図２（ａ）参照）。日本には代表的な野草として約２０００種の植物が自生している。例えば、フウロソウ科の植物は、ハクサンフウロ、イヨフウロ、アサマフウロ、タチフウロ、グンナイフウロ、ヒメフウロ、イチゲフウロ、ミツバフウロ、コフウロの１０種、亜種を含めると１７種ある（参考文献：山渓ハンディ図鑑２“山に咲く花”）。

したがって、元データベース６０の花の色、形等の特徴量と対象物の画像の花の色、形等の特徴量とを比較して植物の同定を行うことは難しい。しかし、花は特定の地方や山域に分布しており、所定の山域に限定すれば多くとも数種の花に絞ることができる。

データ抽出部７０はＧＰＳモジュール８０で取得した場所情報を入力する。データ抽出部７０には複数の地域データと各地域に生える野草群データとが格納されている。データ抽出部７０は選択された地域の野草群データに基づいて元データベース６０から選択された地域に生える野草の情報（地域別植物群情報）７１だけを選択して絞込みデータ５１を作成する。地域別植物群情報７１は例えば図２（ａ）に示すように、各地域ａ，ｂ，ｃ…に生育する植物群の植生情報である。

絞込みデータベース５０は地域別植物群情報７１と元データベース６０とから作成される。ＧＰＳモジュール８０によって検出された位置が例えば地域ｃである場合を例に絞込みデータベース５０の作成手順を説明する。地域ｃに生育する植物群は植物群ｃ（植物１、３、５、７…）である（図２（ａ）参照）。データ抽出部７０は元データベース６０から植物１、３、５、７…を地域ｃの絞込みデータとして抽出する。この絞込みデータを得る作業は地域を変更しない場合には最初に検索作業を行ったときの絞込みデータを用いて行われる。

ＧＰＳモジュール８０は複数の人工衛星からの信号に基づいて画像を取得した場所情報を取得する。

次に、画像から花の大きさや草丈の高さを抽出する方法を説明する。

図３は画像から花の大きさや草丈の高さを抽出する方法を説明するための図である。

花の直径φは、画像２１上の花の直径φ’、倍率β、又はレンズ１１の焦点距離ｆ及びレンズから対象物までの距離ｄとしたとき、以下の１式で算出される。

φ ＝ φ’／β
＝ｆφ’／（ｄ−ｆ）・・・（１式）
ここで、ｄはレンズ１１から対象物までの距離として、撮像装置１０に搭載された自動焦点機構（ＡＦ）により、焦点の合った状態でのレンズ１１の繰り出し量から求めることができる。また、焦点距離ｆは、単焦点レンズの場合は固定値で、ズームレンズでも、通常デジタルカメラのレンズデータとして撮影されたデジタル画像とともに保存されている。

花の大きさは、抽出された花の画像の外形からその直径がｍｍ単位で計測され、データベース５０内の花の大きさ情報と照合され、他の特徴量とともに検索作業が行われる。

また、セリ科やトウダイグサ科に代表されるように、花や実が房状につくものについては、大きさの情報として花単体および花房の大きさをデータベース５０の特徴量に予め入力しておくことによって、その大きさ情報を、マクロレンズ（レンズ１１）による花単体の画像及びそれ以外のレンズ（レンズ１１）による花房全体から花房の大きさの計測に用いることができる。更に、植物全体の画像から、対象物である草丈の高さを求めることもできる。

次に、分布データ形成部５２について説明する。

図４は絞込みデータベースが有する特徴量の分布データの一例を示す図である。

分布データ形成部５２は絞込みデータベース５０の特徴量毎に分布データを作成する。例えば、地域ｃの所定の地域における絞込みデータベース５０から、所定の特徴量の分布データが形成される。分布データ形成部５２は各々の特徴量に対する分布データから、以下の２式で表される分散値Ｖeを求める。

Ｖe＝Ｓe／（n−1）・・・（２式）
ここで、Ｓｅはデータ間の差の大きさであり、以下の３式で表される。

Ｓｅ＝Ｓ_T−Ｓ_ｍ・・・（３式）
（但し、Ｓ_T＝ｙ₁ ²+ｙ₂ ²+ｙ₃ ²+・・・+ｙ_n ²、Ｓm＝（ｙ₁+ｙ₂+ｙ₃+・・・+ｙ_n）²／n）
図４に示す各々の特徴量について分散値Ｖｅを求めた。分散値Ｖｅは、特徴量「花の形状と分布」の分散値Ｖｅは１７．０、「花の色」の分散値Ｖｅは２４．１、「花（又は花序）の大きさ」の分散値Ｖｅは９７．８であった。分布データ形成部５２は、絞込みデータベース５０のデータの分散が最も小さい順、すなわち「花の形状と分布」、「花の色」、「花（又は花序）の大きさ」の順にデータの検索を行うように、検索エンジン４０に指示する。

まず、検索エンジン４０は「花の形状と分布」による検索を行う。対象物の画像から抽出された花の形状と分布と、絞込みデータベース５０の花の形状と分布とを照合させて同じ特徴を有するデータを抽出し、不図示のデータ格納部に保存する。図１に示す検索エンジン４０は絞込みデータベース５０の植物群の絞込みデータと対象物との特徴量同士を対比することによって、対象物の同定作業を行う。

次に、検索エンジン４０は「花の色」による検索を行なう。データ格納部に存在するデータのうち、対象植物の画像２１から抽出された色データの条件に合致するデータが抽出され、それ以外のデータはデータ格納部から取り除かれる。その後、「花（又は花序）の大きさ」に対しても同様の抽出作業が行われる。

選択された対象物のサンプル画像は、ＬＣＤパネル等の画像表示部２０に表示される。

検索された対象物の候補が複数ある場合には、それらを例えば図１に示すように画面を分割して一度に画像表示部２０に表示させたり、図示しない送りボタンを押す毎に候補となるサンプル画像を順次表示させたりすることができる。なお、画像表示部２０には、撮像された対象物の画像２１も同時に表示される。

検索者はサンプル画像と対象物の画像２１、又はサンプル画像と対象物の画像とを対比して対象物と同じサンプル画像を選択する。画像からの同定が困難な植物の場合は、サンプル画像とともに、同定のポイントとなる特徴を記載した文章が画像表示部２０に表示される。同定のポイントとなる特徴は例えば、茎の毛の有無や、葉の裏の色等である。

検索者は、対象物が目の前にある場合には、対象物を観察して同定作業を行う。サンプル画像とサンプル画像に付随する植物の情報とは、撮影した対象物の画像２１の情報としてデジタルカメラの図示しない記憶部に記録される。したがって、撮影者は、帰宅後であっても、デジタルカメラに記録された対象植物の情報に基づいて写真の整理を行うことができる。

検索作業の途中で、データ数が設定された所定の数よりも少ない場合には検索処理が中断され、画像表示部２０に抽出に用いられた特徴量と同定候補となるデータ数が表示される。検索者はそのデータ数で十分と判断すれば、候補となる対象物の画像（サンプル画像）を表示して、その中から対象植物の画像と同定される画像を見つける。このとき、対象物の候補となる植物の数が多い場合には画面をスクロールして表示するようにしてもよい。また、対象物と同定された候補となる植物を対象物の画像２１の付随データとして登録し、後で対象物の画像２１を読み出したときに、登録された付随データを同時に表示させるようにしてもよい。

この実施形態によれば、分布データを用いて検索を行うので、演算時間を短縮でき、迅速に検索結果を求めることができる。また、絞込みデータベース５０の絞込みデータの特徴量毎の分布データを形成し、それぞれの分布について分散値Ｖｅを求め、分散値Ｖｅの小さい順に特徴量を順位付けして検索を行うので、効率的に検索を行うことができる。

なお、この実施形態では、絞込みデータベース５０の各特徴量の分布データを形成し、その分散値Ｖｅに基いて検索の順位を付けたが、例えば各々の特徴量の分布データのうち最多の特徴（パラメータ）を示すデータ数を比較し、このデータ数が最も小さいものから順に検索を行うようにしてもよい。この場合には、分散値Ｖｅを求めなくてもよいので、更に簡易に検索結果を求めることができる。

また、この実施形態においては、元データベース６０から地域別植物群情報７１だけを選択して絞込みデータ５１を作成し、この絞込みデータ５１の分布データを形成したが、対象物の画像２１の撮影時期、又は撮影時期と位置情報とに基づいて絞込みデータ５１を作成してもよい。時期情報と位置情報とをリンクさせるようにすれば、検索の精度を更に向上させることができる。このとき、形成される特徴量の分布データは時期、場所等の条件の違いにより変化する。

更に、この実施形態では、全国に２０００種ある植物を例に、元データベース６０から地域による絞込みデータベース５０を作成する場合で説明したが、母集団の限られた元データベース６０であれば、絞込みデータベース５０を作成せずに、元データベース６０のデータから直接特徴量ごとの分布データを予め形成して検索の順位付けを行うようにしてもよい。

図５はこの発明の第２実施形態に係る対象物認識システムの全体構成図であり、第１実施形態と共通する部分には同一符合を付してその説明を省略する。

この対象物認識システムは、撮像装置１０と画像表示部２０とデータベース１５０と分布データ作成部（分布データ作成手段）１５２とタッチペン（選択手段）２５と選択領域画像抽出部（選択領域画像抽出手段）９０と特徴量抽出部（特徴量抽出手段）３０と検索エンジン（検索手段）４０と同定候補表示部（表示手段）４５とを備えている。

データベース１５０には、対象物が属するカテゴリ（この実施形態では植物のカテゴリ）に含まれる複数の種のそれぞれについて、その種の特徴となる複数の特徴量データ（名前、科、特徴量、開花時期、（結実時期）等の時期情報）１５１が登録されている。分布データ作成部１５２は、データベース１５０に収められた特徴量に基づいて、各々の特徴量ごとに分布データ（例えば、第１実施形態の図４の分布データ）を作成する。分布データ作成部１５０は分布データに基づいて特徴量毎に分散値を計算する。図４の分布データにおいては、前述のように分散値の大小関係は、「花の形状と分布」＜「花の色」＜「花（又は花序）の大きさ」の順になる。例えば、分散値の大きい順に、画像表示部２０に対象植物の画像２６から取得する特徴量を表示する。検索者は画像表示部２０の表示を参考にして最初に取得する特徴量を決定する。

選択領域画像抽出部９０は画像表示部２０に表示された表示画像２６からタッチペン２５によって選択された特定の領域を抽出する。

特徴量抽出部３０は選択領域画像抽出部９０によって抽出された画素に対する特徴量となる例えば色情報を抽出する。

同定候補表示部４５には検索エンジン４０で検索されたデータ、例えば画像、分布データ等が表示される。

以下、分布データによる特徴量の表示及び検索について述べる。

まず、検索者の対象物表示画面の選択による特徴量の抽出について、色情報を抽出する場合を例にとって説明する。なお、以下の説明では便宜上点又は塊状の領域（例えばタッチペン２５を用いて選択された領域が１〜数個だけの画素で構成された領域）を部位と称する。また、タッチペン２５で描かれた閉曲線で囲まれることにより選択された部分を領域と称する。

まず、対象物の画像が撮影レンズ１１によって撮像部１２の受光面上に結像され、撮像部１２で光電変換された画像データが画像処理回路１３へ出力される。画像処理回路１３から出力された画像データは画像表示部２０の表示画像２６として表示される。

次に、表示画像２６中の対象物の画像からタッチペン２５を用いて所望の部位を選択する。表示画像２６のうち、選択された部位の色は変化するので、検索者は選択された部位を認識することができる。

選択した部位が正しくない場合、検索者は選択された部位を不図示の選択解除ボタンによりクリアする。一方、選択された部位が正しい場合、検索者は不図示の抽出ボタンを操作して選択された領域の部位を抽出する抽出指示を行う。

特徴量が色情報の場合、表示画像２６上では選択されない部位の色や輝度（明るさ）が変化し、選択された領域だけが元の画像の色のままになったりする。これは、検索者が選択した部位の色を明確にするためである。したがって、選択した部位の輪郭を囲むように枠が表示されてもよい。また、選択された部位の画素数が１〜数個だけである場合には、正確な色を表示することができないので、少なくとも選択された部位の画素に隣接する画素を含む部位が選択される。

このようにすることにより、選択された部位が、検索者が選択した色であるかどうかを判断できる。検索者は、この色が意図した色でない場合、不図示の抽出解除ボタン（前記選択解除ボタンと同じであってもよい）により選択された部位をクリアし、再度検索操作を行う。一方、選択した部位の色が検索者が意図した色であれば、検索処理を続行する。

検索エンジン４０は抽出された色情報とデータベース１５０のデータ群に登録された色情報とを対比して、抽出された色情報と同じ色情報を有するデータをデータベース１５０のデータ群から選択する。

そして、選択された候補の画像や名称等を含む情報が同定候補表示部４５に表示される。選択された候補が多い場合、その数に応じて、同定候補表示部４５に選択された候補がスクロール方式で順次表示されたり、選択された候補の数だけが表示されたり、候補の名称だけが表示されたりする。表示の方法については検索者によって選択できるようにしてもよい。

また、検索者は最初に抽出された特徴量とは異なる特徴量を抽出できる部位を選択し、最初に抽出された特徴量と新たに抽出された特徴量とを複合した特徴量を用いて対象物の画像や名称等の検索を行うこともできる。この検索方法を図６、７を用いて説明する。

図６、７はこの発明の第２実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。

検索者は図６のメニュー画面ＭＰのうちタッチペン２５で色情報を選択する。色情報がアクティブになり、選択した部位から色情報が特徴量として抽出される。

図６では対象物（花）が白と黄色の複数の色を有している。

検索者がタッチペン２５を用いて表示画像２６上の色の異なる２つの部位２１−１，２１−２を選択すると、各々の部位毎の色情報が選択され、この特徴量に基づいてデータベース１５０から候補の抽出が行われる。このように各々の部位毎の色情報を抽出して検索が行われるので、より精度の高い検索精度が得られる。

ここで、選択された部位２１−１，２１−２の色の処理について説明する。選択された部位２１−１，２１−２が複数の画素を含む場合には、その部位での画素Ｒ，Ｇ，Ｂの組合せ（ピクセル）を複数選択し、それぞれの組合せにおける色を求め、それらの色の平均値をその部位の色とする。処理は予め組合せごとに求めたＲＧＢ値をＨＳＶ変換やＬａｂ変換等により均等色空間へ変換し、各座標値の平均をとってもよい。なお、ＨＳＶ変換のＨはｈｅｕ（色相）、Ｓはｓａｔｕｒａｔｉｏｎ（彩度）、Ｖはｖａｌｕｅ（明度）である。ＬａｂのＬは輝度の要素、ａはグリーンからレッドへ、ｂはブルーからイエローへの色相の要素をそれぞれ表している。

また、各組合せ毎にＲＧＢ値を求め、その平均値をＨＳＶ変換やＬａｂ変換等により均等色空間へ変換して色座標を求めてもよい。選択された部位２１−１，２１−２が数画素だけの場合、その１つの画素が少なくとも隣接する周辺の画素を含めた部位を色の部位として、同様の処理を行う。

図６ではタッチペン２５で接触した部位２１−１，２１−２を選択したが、例えば図７に示すようにタッチペン２５で描いた閉曲線で囲まれた領域（２２−１，２２−２，２２−３）を選択することもできる。この場合には、選択された領域から抽出される色は、選択された領域２２−１，２２−２、２２−３における各画素の色の平均値又は最も多くの領域を占める画素の色である。また、画素Ｒ，Ｇ，Ｂの各々１画素を１組としたピクセル単位で色を検出し、ピクセル毎の色とその色に対応するピクセル数を表示してもよい。更に、領域２２−１，２２−２，２２−３の他に部位２２−４を選択してもよい。なお、選択する領域は１つであってもよい。

検索者はこのようにして抽出された候補の中から、対象物と同じ特徴を有する候補を選択し、画像表示部２０上に候補のサンプル画像及びそのデータを表示することができる。

この実施形態によれば、第１実施形態と同様の効果を奏する。また、表示された表示画像２６にタッチペン２５を当てて対象物の特徴量を抽出するので、選択のための演算の必要がなく、簡易かつ正確に特徴量を抽出することができる。更に、表示された画像の所定部位をタッチペン２５で選択して必要な特徴量を抽出するので、背景が複雑な画像においても良好に特徴量を抽出できる。また、タッチペン２５を使用することにより検索者が任意に抽出する特徴量を選択できる。更に、タッチペン２５を使用することにより検索者が必要な対象の形状に応じて自由に輪郭抽出することができる。また、タッチペン２５を使用することにより色の部位の選択や、大きさ情報を得るための領域を自由に選択することが可能であり、簡易に特徴量の抽出を行うことができる。

図８、９、１０はこの発明の第３実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。なお、図１０（ａ）、（ｂ）は図９（ａ），（ｂ）の画像から選択された領域だけを示す図である。

この実施形態は選択された部位同士の位置関係（例えば２つの部位同士の距離）から特徴量を抽出する点で第２実施形態と相違する。

まず、図８に基づいて対象物の大きさを求める方法を説明する。検索者はメニュー画面ＭＰの花の径をタッチペン２５で選択してアクティブにする。検索者は対象物の画像のうち、特徴量となる距離情報を得るための２つの部位２３−１、２３−２を選択する。２つの部位２３−１、２３−２は表示画像２６上の対象物と背景との境界線の近傍にそれぞれ位置する。

実際の花の径φは、表示画像２６上での２つの部位２３−１、２３−２間の距離φ’、倍率β、又は２つの部位２３−１、２３−２間の距離φ’、レンズ１１の焦点距離ｆ、レンズ１１から対象物までの距離ｄとしたとき、以下の４式で算出される。

φ ＝ φ’／β
＝ｆφ’／（ｄ−ｆ）・・・（４式）
ここで、ｄはレンズ１１から対象物までの距離として、撮像装置１０に搭載された図示しない自動焦点機構（ＡＦ）により、焦点の合った状態でのレンズ１１の繰り出し量から求めることができる。

また、焦点距離ｆは、単焦点レンズの場合は固定値であるが、ズームレンズの場合でも、通常デジタルカメラのレンズデータとして撮影されたデジタル画像とともに保存されている。

このようにして抽出された距離情報、例えば、草丈情報や花の大きさ情報に基づいて検索を行う。図８では頭花の径を計測しているが、筒状花部位の径や、草丈等、対象物の種類により、抽出される特徴量は異なる。抽出可能な特徴量は全てメニュー画面ＭＰで選択することができる。

また、検索の対象物が花序形状を有する花の場合には、検索者はメニュー画面ＭＰの分布情報をアクティブにし、図９（ａ）、（ｂ）に示すようにタッチペン２５で各花の中心位置Ｐ１〜Ｐ７、Ｐ１１〜Ｐ１７の画素を選択することによって花の分布状態から花序の形状がわかる。図９においては、タッチペン２５で花序の輪郭（点線で示している）を指定して、花序の領域Ａ１，Ａ２を選択した。このように花序の領域Ａ１，Ａ２を選択することによって、花序全体の大きさを計測することができる。

特徴量抽出部３０により抽出された領域Ａ１，Ａ２の最小径φ１’及び最大径φ２’を計測する（図１０（ａ）、（ｂ）参照）。実際の花序の最小径φ１及び最大径φ２は、表示画像２６上の花序（領域Ａ１，Ａ２）φ１’、φ２’から上述の（４式）を用いて求められる。更に、特徴量抽出部３０において、最小径φ１’と最大径φ２’との比を求めることにより、対象物の花序の形状が線形であるか、面状に広がるものであるかを判定し、これを花序の特徴量とする。最小径φ１’と最大径φ２’との比から、図１０（ａ）に示すように花が線形に分布していたり、図１０（ｂ）に示すように花が面（略円形）に分布していたりすることが容易にわかる。また、選択された領域Ａ１，Ａ２に含まれる画素数を計測して、１画素に対応する面積がわかるので、選択された領域Ａ１，Ａ２の面積を求めることもできる。

また、選択された花の中心位置（Ｐ１〜Ｐ７、Ｐ１１〜Ｐ１７）情報から、更に詳細な花の分布情報を抽出することもできる。花の分布情報は、上述の（４式）から表示画像２６上の距離φ３’により求められる隣接する花同士の距離φ３’と花の中心位置（Ｐ１〜Ｐ７、Ｐ１１〜Ｐ１７）情報から抽出される。花の位置は例えばセリ科の一部の植物のような散形状花序である植物においては、小散形花序ごとの重心位置でもよい。また、例えば花の中心位置でなく各花の輪郭をなぞるように抽出してもよい。この花の分布情報から花の分布の規則性を抽出し、花序の形状を特定することができる。

なお、この実施形態のように、選択された部位同士の位置の検出が目的である場合には、色の検出と異なり、選択された部位に含まれる画素が１〜数個であっても、それに隣接する画素を選択する必要はない。

このようにして求められる各種の特徴量に対応する特徴量のデータを登録特徴量として予めデータベース１５０に登録し、抽出された特徴量とデータベース１５０の特徴量のデータのうちの少なくとも１つの登録特徴量とを対比させることにより、精度の高い検索が可能となる。

この第３実施形態によれば、第２実施形態と同様の効果を奏するとともに、簡易に得られる花の大きさ情報や分布情報等から特徴量を求めるようにしたので、撮像装置１０で得られた画像から対象物の切り出し作業を行う必要がなく、対象物を同定するための特徴量を第１実施形態よりも容易に得ることができる。

図１１、１２、１３はこの発明の第４実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。

この実施形態では、対象物の輪郭の近傍をタッチペン２５でなぞって領域を選択し、輪郭を抽出する。

検索者は、表示画像２６に検索すべき対象物の画像が表示されているとき、まず、表示画像２６に設けられた不図示の領域選択モード切替ボタンを押して輪郭抽出モードにする。

次に、図１１に示すように、タッチペン２５で対象物の輪郭をなぞって点線で囲まれた領域２４を選択する。対象物の輪郭をなぞった線が検索者の意図する線であれば、不図示の領域選択ボタンを押す。領域選択ボタンを押すことにより領域選択の指示が出されると、選択領域選画像抽出部９０はなぞられた線の位置に基づいて領域選択を開始する。領域選択は以下の方法で行われる。

まず、タッチペン２５で描かれた輪郭を構成する各点（例えば画素）において、それぞれの点に最も近接する不連続な部位が選択される。ここで、不連続な部位とは、例えば、色、コントラストが急激に変化する部位、フォーカスが急激に変化する部位である。この不連続な部位を選択する処理が対象物の輪郭をなぞった線に沿って行われることによって、対象物の輪郭を抽出することができる。

輪郭抽出後は輪郭に囲まれた領域の大きさ（径や面積）、形状等の特徴量を自動的に抽出することができる。また、この領域内の色情報、各色の割合（画素数情報、面積情報等）を得ることができるので、色情報の自動抽出も可能となる。このように、輪郭内の特徴的な色や形状、大きさを自動的に抽出することができるため、対象物の特徴量を効率的に抽出することができる。

なお、輪郭抽出を行う前に、輪郭内の特徴的な色の部位（例えば２４−１）を指定して色情報を登録すれば、輪郭抽出の際に、登録された色とは異なる色調を不連続点として認識できるので、輪郭抽出作業の効率が向上する（図１２参照）。

更に、図１３に示すように、抽出された第１の領域２５−１内に不連続な第２の領域２５−２が存在する場合には、上記抽出処理を第２の領域２５−２に対しても行う。このように２つの領域２５−１、２５−２及び部位２５−３、２５−４の色を抽出することにより、２つの領域２５−１、２５−２の位置関係が認識されるので、この認識された特徴量とデータベース１５０の特徴量とを対比させることにより認識率を高めることができる。

この実施形態によれば、第２実施形態と同様の効果を奏する。また、対象物の輪郭の抽出を行うことにより更に特徴量を自動化できる効果をも奏する。

図１４、１５はこの発明の第５実施形態に係る対象物認識システムの他の特徴量の抽出方法を説明する図である。

この実施形態では、分布情報に基づいて、領域及び部位選択による特徴量の抽出及び検索を行う。

データベース１５０は予めそのデータベース１５０に格納された各種の特徴量ごとに分布データを有しており、分布データの分散値に基づいて、検索のために抽出される特徴量の順位付けが行われている。

検索者はまず、対象物の画像２６を撮像する。撮像した対象物について検索を行う場合、不図示の検索開始ボタンを押す。検索開始ボタンを押すと、抽出可能な特徴量がメニュー画面ＭＰに表示される（図１４（ａ）参照）。データベース１５０の特徴量は、例えば「花の色」、「花の大きさ」、「花の形状と分布」である。検索者はメニュー画面ＭＰに表示された特徴量のうち最初に抽出を行いたい特徴量をタッチペン２５でアクティブにする。例えば、最初に色情報をアクティブにする。図１４（ａ）の表示画像２６上の第１の部位２６−１をタッチペン２５で選択し、表示画像２６の右下の特徴量抽出ボタン２０ａを押す。選択された部位２６−１に対応する色情報が特徴量抽出部３０に登録されるとともに、メニュー画面ＭＰには認識された色情報が表示される。

他に認識すべき色情報がない場合には、表示画像２６の左下の検索実行ボタン２０ｂを押して選択した色情報で検索を行う。他に抽出すべき色情報がある場合、第２の部位２６−２をタッチペン２５で選択し（図１４（ｂ）参照）、再度特徴量抽出ボタン２０ａを押す。この処理は抽出したい色がなくなるまで繰り返される。

必要な部位を全て選択し、表示画像２６の特徴量抽出ボタン２０ａをタッチペン２５で押すと検索が実行され（図１４（ｃ）参照）、登録された特徴量である色情報に基づいて、データベース１５０から同定候補が選択される。選択された同定候補の数に応じて、サンプル画像、名称、候補数が表示される。同定候補の数が少ない場合、同定候補の画像と名称等が同定候補表示部４５に表示される。同定候補の数が多い場合、同定候補をスクロール方式で順次表示させたり、同定された候補の数だけが表示させたり、同定候補の数と名称だけを表示させたりすることができる（図１４（ｄ）参照）。また、同定候補の名称だけを表示させ、検索者が記憶している名称から同定作業を行うことも可能である。なお、名称の表示についても、同定候補が多い場合にはスクロール表示が可能である。

一方、検索者が、同定候補数が多く、名称や画像による同定が困難と判断した場合、前の情報（色情報）を残したまま、別の特徴量の抽出作業を行う。別の特徴量の抽出を行うには、検索結果表示画面ＥＰ中の消去の項目２１ｅをタッチペン２５で選択して検索結果表示画面ＥＰを消去する（図１４（ｄ）参照）。そして新たに、次の特徴量（この実施形態では「花の大きさ」）を抽出する（図１５（ａ）参照）。花の大きさの抽出は、前述したように花の輪郭のうち、径方向の２つの部位２６−３、２６−４をタッチペン２５で選択し、特徴量抽出ボタン２０ａを押すことによって行われる（輪郭抽出モードに切り替え、抽出した輪郭から径を自動抽出してもよい）。花の大きさが抽出された後、検索者は検索実行ボタン２０ｂを押す（図１５（ｂ）参照）。

上述した色の抽出結果と花の大きさの抽出結果との２つの特徴量に基づいて再度検索が行われて、同定候補が絞られ、その検索結果が検索結果表示画面ＥＰに表示される（図１５（ｃ）参照）。検索者は、検索結果の画像表示を行うか、それとも次の条件で検索を行うかを選択する。検索者が検索結果表示画面ＥＰ中の画像表示の項目を選択した場合の画像表示部２０の表示は例えば図１５（ｄ）に示すようになる。図１５（ｄ）に示されるように、同定候補のサンプル画像２７と説明文２８とが表示され、検索者は、この表示に基づいて同定作業を行う。対象物の同定作業が終了したとき、例えばサンプル画像２７の右上のチェックボックス２７ａにタッチペン２５を当て、そのサンプル画像２７と対象物の画像２６とを結び付ける。対象物の画像２６は所定のデータ（開花時期、結実時期、生育地等の情報）とともに、画像記憶部（図示せず）に保存される。

なお、この実施形態では所定のカテゴリのデータベース１５０をそのまま用いて検索を行っているが、第１実施形態のように撮像する場所や時期でデータの抽出を行った絞込みデータベース（図示せず）を用いて検索を行ってもよい。この場合、条件に従って作成された絞込みデータベースから、各々の特徴量について分布データを作成し、作成した分布データに基づいて、特徴量の順位付けを行う。

この実施形態によれば、第２実施形態と同様の効果を奏する。

図１６はこの発明の第６実施形態に係る対象物認識システムにおける処理の流れの一例を示すフローチャートである。

電源が入り、対象物の検索を行う時期・場所に関する情報が入力されると、以下のシーケンスで同定作業が行われる。

まず、入力された情報に基いて元データベース６０からデータ群が抽出され、絞込みデータベース５０が形成される（ステップ１）。

次に、絞込みデータベース５０の特徴量の分布データが形成される（ステップ２）。

その後、形成された分布データに基いて特徴量の順位付けが行われる（ステップ３）。

ステップ１〜３は電源を入れ、所定の情報を入力することによって自動的に行われる。なお、元データベース６０から直接検索を行う場合や所定の場所における固有データベース（固有の分布データが予め形成されているデータベース）が形成されている場合にはステップ１〜３は省略される。

また、ステップ１〜３は、対象物の種類を変えたり、対象物の画像を取得する場所を変えたりしない限り、最初に１回行うだけでよい。

次に、同定したい対象物の画像を取得する（ステップ４）。取得された対象物の画像は画像表示部２０に表示される。

特徴量抽出ボタンを押して第１特徴量（例えば色）の抽出を行う（ステップ５）。画像から自動的に第１特徴量の抽出を行う場合にはステップ７に進む。

検索者が画像から任意に特徴量を抽出する部位を指定する場合には他に抽出する領域があるか否かを判断する（ステップ６）。他に抽出する領域があるときにはステップ５に戻る。

十分に特徴量が抽出されて他に抽出する領域がなくなったときには絞込みデータベース５０からの第１特徴量による検索を行う（ステップ７）。検索の結果として絞込みデータベース５０から得られた候補数が表示画像２６に表示される。

検索者は画像表示部２０に表示された候補数を見て、更に別の特徴量の抽出を行うか否かを判断する（ステップ８）。第１特徴量だけで同定作業を行う場合には候補の画像を画像表示部２０に表示させる。候補の画像を画像表示部２０に分割して表示させたり、スクロールして候補の画像を順次画像表示部２０に表示させたりする等、検索者が表示方法を任意に選択することができる。検索された同定候補を閲覧するときにはステップ１４に進む。

検索された同定候補を閲覧しないときには第２特徴量（例えば分布情報）の抽出を行う（ステップ９）。ステップ５と同様に画像から自動的に特徴量を抽出する場合にはステップ１１に進む。

検索者が画像から任意に特徴量を抽出する部位を指定する場合には他に抽出する領域があるか否かを判断する（ステップ１０）。他に抽出する領域があるときにはステップ９に戻る。

十分に特徴量が抽出されて他に抽出する領域がなくなったときには絞込みデータベース５０からの第１、２特徴量による検索を行う（ステップ１１）。

検索者は画像表示部２０に表示された候補数を見て、更に別の特徴量の抽出を行うか否かを判断する（ステップ１２）。検索された同定候補を閲覧するときにはステップ１４に進む。

検索された同定候補を閲覧しないときには第３特徴量（例えば対象物の大きさ）の抽出を行う（ステップ１３）。

上記処理が抽出を行う特徴量の数だけ繰り返され、同定作業が行われる（ステップ１４）。

検索者は候補画像の中から対象物の同定を行う。

この実施形態によれば、第１実施形態と同様の効果を奏する。

なお、上記第２実施形態では、表示画像２６に入力手段としてのタッチペン２５を接触させて画像の一部の選択を行ったが、タッチペン２５に代え、表示画像２６に圧力センサや温度センサ等を設け、それに指等を接触させて画像の一部の選択を行ってもよい。このようにすれば、選択作業をカメラの操作の一環として行え、タッチペン２５を持つ手間が省け、検索時間の短縮を図ることができる。

図１はこの発明の第１実施形態に係る対象物認識システムの全体構成図である。図２（ａ）は地域別植生データ及び元データベ−スの一例を示す図、図２（ｂ）は位置地域別植物群情報と元データベースとから絞込みデータを作成する手順の一例を示す図である。図３は画像から花の大きさや草丈の高さを抽出する方法を説明するための図である。図４は絞込みデータベースが有する特徴量の分布データの一例を示す図である。図５はこの発明の第２実施形態に係る対象物認識システムの全体構成図である。図６はこの発明の第２実施形態に係る対象物認識システムの検索方法を説明する図である。図７はこの発明の第２実施形態に係る対象物認識システムの検索方法を説明する図である。図８はこの発明の第３実施形態に係る対象物認識システムの検索方法を説明する図である。図９はこの発明の第３実施形態に係る対象物認識システムの検索方法を説明する図である。図１０はこの発明の第３実施形態に係る対象物認識システムの検索方法を説明する図である。図１１はこの発明の第４実施形態に係る対象物認識システムの検索方法を説明する図である。図１２はこの発明の第４実施形態に係る対象物認識システムの検索方法を説明する図である。図１３はこの発明の第４実施形態に係る対象物認識システムの検索方法を説明する図である。図１４はこの発明の第５実施形態に係る対象物認識システムの検索方法を説明する図である。図１５はこの発明の第５実施形態に係る対象物認識システムの検索方法を説明する図である。図１６はこの発明の第６実施形態に係る対象物認識システムにおける処理の流れの一例を示すフローチャートである。

符号の説明

１０：撮像装置（撮像手段）、２０：画像表示部（画像表示手段）、２１，２６：表示画像、２５：タッチペン（入力手段）、９０：選択領域画像抽出部（選択領域画像抽出手段）、３０：特徴量抽出部（特徴量抽出手段）、４０：検索エンジン（検索手段）、４５：同定候補表示部（表示手段）、５０：絞込みデータベース、５２，１５２：分布データ作成部（分布データ作成手段）、６０：元データベース、７０：データ抽出部（データベース絞込み手段）、８０：データ抽出部（絞込み条件設定手段）、１５０：データベース。

Claims

対象物である植物の画像を撮像する撮像手段と、
前記撮像手段で撮像された画像から前記植物の外観情報である特徴量を抽出する特徴量抽出手段と、
前記植物が属するカテゴリに含まれる複数の種について、少なくとも前記特徴量に対応するデータが一群の特徴量情報として登録されたデータベースと、
前記データベースに登録された前記一群の特徴量情報から特定のデータ群を抽出するデータベース絞込み手段と、
前記データベース絞込み手段による抽出の条件を設定する絞込み条件設定手段と、
前記データベース絞込み手段によって抽出された前記特定のデータ群に対してそれぞれ特徴量の偏りを表すデータである特徴量分布データを形成する分布データ形成手段と、
前記分布データ形成手段によって形成された前記特徴量分布データに基づいて前記特徴量抽出手段によって抽出された前記特徴量と前記データベース絞込み手段によって抽出された前記特定のデータ群とを対比して前記植物の前記特徴量と同じ特徴量を検索する検索手段と
を備え、
前記分布データ形成手段はそれぞれの前記特徴量情報ごとに形成された前記特徴量分布データのうち最も多く出現するパラメータを有する特徴量分布データのデータ数が少ない順に前記特徴量に順位を付け、前記検索手段は前記分布データ形成手段で順位付けされた順序で検索を行うことを特徴とする対象物認識システム。