JP6291850B2 - プログラム、画像認識装置、画像認識方法 - Google Patents

Description

本発明は、撮像された画像から生物を認識するプログラム等に関する。

デジタルカメラやカメラ付きの機器が普及したため、ユーザが所望の被写体をを撮像する機会が増えている。被写体は様々であるが、ユーザとしては撮像した物が何かを知りたい場合が少なくない。例えば、撮像した植物や花、虫、動物などの名称を知ることができれば、より詳細な情報を検索することが可能になる。

このような要望に応えるため、花の画像から花の名前を返答するアプリケーションが存在する。このようなアプリケーションでは、花の画像をサーバに送信すると、サーバが候補の花の名称や画像をアプリケーションに送信する。

しかしながら、これらのアプリケーションによる花の認識精度は必ずしも良好でない。アプリケーションが花の画像から花の種類を認識するためには何らかの画像処理を行うことが考えられる。しかし、花の種類は約19,000種以上あることが知られており、それらの中には形状や色が酷似する花も多く、サーバが撮像された画像の花と同じ花を特定することが困難な場合は少なくない。

そこで、従来のアプリケーションでは、花の色・形状・大きさ・花びらの枚数などをユーザーに直接入力させ、それらの情報で花情報データベースをフィルタリングすることで検索対象を低減し、認識精度の向上をはかっている。しかし、この方法ではユーザーが行う作業が発生するし、ユーザーが入力ミスを犯せば認識精度が低下してしまう。

また、認識精度を向上させるため、花画像の撮像時にアプリケーションがＧＰＳなどで位置情報を自動で取得し、さらに月日や時期情報を取得し、花情報データベースから撮像地域・撮像時期で検索対象をフィルタリングをする技術が考案されている（例えば、特許文献１参照。）。

しかしながら、撮像地域・撮像時期で検索対象をフィルタリングをすることで、逆に、検索精度が低下する場合があるという問題がある。すなわち、近年では、温暖化などの気候変化により、植物などの生息地域や花の咲く季節に変化が生じている。また、本来その地域に生息していないはずの外来種が地域間を相互に移動して定着することが少なくなくなっている。

したがって、本来、撮像地域や撮像時期には生息していなかった花が、撮像地域や撮像時期に生息している可能性がでてきた。このため、そのような花をユーザが撮像した場合、アプリケーションが撮像地域・撮像時期で花情報データベースを絞り込むことで、検索対象から漏れてしまい、正しい認識結果が得られない状況が生じてしまう。

一方でフィルタリングを一切行わないことは認識精度の低下や、認識時間の増大をもたらすため、フィルタリングを利用することが好ましい。

本発明は、上記課題に鑑み、フィルタリングを利用した際の認識精度を向上するプログラムを提供することを目的とする。

本発明は、コンピュータに、生物が撮像されている第２の画像データを取得する画像データ取得ステップと、第１の画像データと生物の生息環境が登録されているデータ記憶部にアクセスするステップと、前記第２の画像データが撮像された複数の撮像条件のうち１つ以上の撮像条件と適合する前記生息環境の生物を検索対象として前記データ記憶部から抽出する検索対象抽出ステップと、前記第２の画像データから生物の特徴量を取得し、前記検索対象抽出ステップにより抽出された前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第１の画像データを決定する認識ステップと、 前記検索対象抽出ステップにおいて前記撮像条件を解除する前では用いられたが解除した後で用いられない前記撮像条件で抽出された前記検索対象により、前記認識ステップにより類似度が閾値以上の生物の前記第１の画像データが決定された場合、前記データ記憶部の前記生息環境を解除された前記撮像条件で更新する更新ステップと、を実行させることを特徴とするプログラムを提供する。

フィルタリングを利用した際の認識精度を向上するプログラムを提供することができる。

本実施形態の認識システムの概略を説明する図の一例である。 本実施形態の認識システムの概略構成図の一例である。 本実施形態に係る通信端末のハードウェア構成図の一例である。 本実施形態に係るデータベースサーバのハードウェア構成図の一例である。 認識システムの機能ブロック図の一例である。 花検索用ＤＢの構成を説明する図の一例である。 花情報ＤＢを説明する図の一例である。 、画像認識処理部の機能ブロック図の一例である。 花の特徴の抽出を説明する図の一例である。 フィルタ１〜３が適用された場合の花検索用ＤＢの検索対象について説明する図の一例である。 花検索用ＤＢの更新について説明する図の一例である。 認識システムの動作手順を示すフローチャート図の一例である。 通信端末のディスプレイへの表示例を示す図である。 ディスプレイに表示された詳細情報の一例を示す図である。 更新履歴を利用した花の生息環境の表示例を示す図である。 サーバ・クライアントシステムの認識システムの概略構成図の一例である。

以下、本発明を実施するための形態を図面を参照しながら説明する。
図１は本実施形態の認識システムの概略を説明する図の一例である。図１（ａ）に示すように、認識システムは花検索用ＤＢ（データベース）１６、１つ以上のフィルタ、及び、画像認識処理部１４を有している。まず、図１（ａ）を用いて認識結果が良好な場合を説明する。
（１）画像認識処理部１４は、最初に全てのフィルタ１〜３をかけて花検索用ＤＢ１６から撮像画像と類似した花を探す画像認識処理を行う。フィルタ１〜３は、撮像条件（撮像場所と撮像時期を有する）で花検索用ＤＢ１６の検索対象をフィルタリングするフィルタである。撮像条件でフィルタリングすることで、撮像場所と撮像時期には生息していない花を検索対象から除外できる。
（２）画像認識処理部１４は、認識率が十分に高い場合（閾値以上の場合）、検索結果が正しいと判定しユーザに提供する。

このように、すべてのフィルタ１〜３をかけて検索しても、認識率が高い花が検索に適合する場合は、撮像された花と同じ花がフィルタ１〜３により検索対象から漏れることなく検索できたと判断することができる。

次に、図１（ｂ）を用いて認識結果が良好でない場合を説明する。
（１）画像認識処理部１４は、最初に全てのフィルタ１〜３をかけて花検索用ＤＢ１６を検索する。
（２）画像認識処理部１４は、認識率が閾値以上の認識結果が得られなかったものとする。
（３）この場合、画像認識処理部１４はフィルタ１〜３を順番に解除する。解除する順番は影響力の少ないフィルタの順である。認識対象の増え方が少ないため認識時間の増大を抑制できる。
（４）例えば、フィルタ１，２を外した時に認識率が閾値以上の検索結果が得られたとする。したがって、正しい認識結果が得られたと考えられる。この場合は、フィルタ１，２でフィルタリングされている生息環境が、現在の花の生息環境を正しく表していないと考えられる。しかし、本実施形態ではフィルタを外すことで、気象変化や外来種などを要因として、本来生息していない花を撮像した場合でも正しい検索結果を得る事が出来ることがわかる。
（５）また、フィルタ１，２を外すことで正しい検索結果が得られた場合、認識システムは花検索用ＤＢ１６にフィルタ１，２で外されていた生息環境を追加する。例えば、花検索用ＤＢ１６の花の生息環境と撮像条件が以下のとおりであるとする
「生息地域：本州」、「生息時期：春」
「花を撮像した場所が北海道」、「花を撮像した時期が夏」
この場合、認識システムは、花検索用ＤＢ１６のこの花の生息環境を、
「生息地域：本州、北海道」＆「生息時期：春、夏」という生息環境に更新する。

したがって、気候変化や外来種であるため現在の生息環境が花検索用ＤＢ１６に登録されていない花の新たな生息環境を、花検索用ＤＢ１６に学習させることができる。これにより、図鑑などに載っている生息マップではなく、より現実的な生息マップを作成していくことができる。

以下、生物として花を例にして説明するが、花以外にも、植物・虫・きのこ・苔などのように撮像される生物であれば本実施形態の認識の対象とすることができる。

〔構成例〕
図２は、本実施形態の認識システム５００の概略構成図の一例を示す。認識システム５００は、ネットワーク３００を介して通信可能に接続された通信端末１００、及び、データベースサーバ２００を有している。ネットワーク３００は、例えばＬＡＮ、複数のＬＡＮが接続されたＷＡＮ（Wide Area Network）、インターネット又はこれらの組み合わせなどである。また、ネットワーク３００の一部又は全体が携帯電話網、無線ＬＡＮ網などで構築されていてもよい。

通信端末１００は、例えば、携帯電話、スマートフォン、ＰＤＡ（Personal Digital Assitant）、タブレット端末、ノートＰＣ（Personal Computer）、タブレットＰＣ、音楽プレーヤ、カーナビゲーション、などである。通信端末１００はネットワーク３００を介する通信機能を有していればよい。カメラを搭載していることが好ましいが、すでに撮像されている画像を通信端末１００が取得して、データベースサーバ２００に送信することも可能である。

データベースサーバ２００は、サーバ、ＰＣ、コンピュータなどと呼ばれる情報処理装置である。また、データを蓄積することが主要な機能であるＮＡＳ（Network Attached Storage）やファイルサーバをデータベースサーバ２００に用いてもよい。

通信端末１００は、後述する花情報ＤＢ１５や花検索用ＤＢ１６（特許請求の範囲のデータ記憶部の一例である）をデータベースサーバ２００から取得して、撮像された花と類似する花を認識する処理を行う。そして、ディスプレイなどに認識結果を表示する。後述するが、通信端末１００が画像を送信し、データベースサーバ２００は花検索用ＤＢ１６から認識した撮像画像と類似する画像を通信端末１００に送信してもよい。なお、通信端末１００は、特許請求の範囲の生物認識装置の一例である。

図３は、本実施形態に係る通信端末１００のハードウェア構成図の一例である。通信端末１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ(Solid State Drive)１０５、メディアドライブ１０７、操作ボタン１０８、電源スイッチ１０９、電話通信部１１０、ネットワークＩ／Ｆ１１１、カメラ１１２、マイク１１３、スピーカ１１４、ディスプレイＩ／Ｆ１１５、外部装置Ｉ／Ｆ１１６、及び、ＧＰＳ受信部１１７を有している。

ＣＰＵ１０１は、ＲＯＭ１０２に記憶されている通信端末用プログラム１１８を実行して通信端末全体の動作を制御する。ＲＯＭ１０２はこの通信端末用プログラム１１８が記憶している。通信端末用プログラム１１８は、不図示のサーバからダウンロードされる態様で配布される。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される。ＳＳＤ１０５はフラッシュメモリ１０４と接続されており、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しおよび書き込みを制御する。ＳＳＤ以外にＨＤＤ（Hard Disk Drive)を用いてもよい。フラッシュメモリ１０４は、画像データや音声データ等の各種データを記憶する。

メディアドライブ１０７は、記録メディア１０６に対するデータの読み出し又は書き込みを制御する。記録メディア１０６はフラッシュメモリ等の不揮発性のメモリである。操作ボタン１０８はユーザによる通信端末１００への操作を受け付けるボタンであり、後述するタッチパネルが含まれる。電源スイッチ１０９は通信端末１００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。電話通信部１１０は、携帯電話網などの基地局を介してサーバや他の通信端末などの情報処理装置と通信する。通信により音声データや各種のデータを送受信する。

ネットワークＩ／Ｆ１１１は、無線ＬＡＮ網などのアクセスポイントを介してサーバや他の通信端末などの情報処理装置と通信する通信カードである。通信により音声データや各種のデータを送受信する。カメラ１１２はＣＰＵ１０１の制御に従って被写体を撮像し画像データを作成する。マイク１１３は、音声を集音して電気的な信号に変換する。スピーカ１１４は、音声を出力する。ディスプレイＩ／Ｆ１１５は、ＣＰＵ１０１の制御に従って外付けのディスプレイ１２０に画像データを出力する。ディスプレイ１２０は被写体の画像や操作用アイコン等を表示する液晶素子や有機ＥＬ素子等を用いて構成されている。ディスプレイ１２０はタッチパネルを一体に有しており、被写体の画像や操作用アイコン等を表示する他、ユーザの操作を検出する。外部装置Ｉ／Ｆ１１６は、外部の装置との間で各種データを送受信する、例えば、ＵＳＢホスト、Bluetooth（登録商標）、ＮＦＣ（Near Field Communication）、TransferJet（登録商標）などである。また、上記各構成要素を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン１１９を備えている。ＧＰＳ（Global Positioning System）受信部１１７は、ＧＰＳ衛星からの電波を受信して通信端末１００の位置を推定する。

なお、記録メディア１０６は、通信端末１００に対して着脱自在な構成となっている。上記の通信端末用プログラム１１８は、インストール可能な形式または実行可能な形式のファイルで、記録メディア１０６などのコンピュータで読み取り可能な記録媒体に記録して配布されてもよい。

なお、カメラ１１２は、光を電荷に変換して被写体の画像（映像）を電子化する固体撮像素子（例えば、ＣＣＤ(Charge Coupled Device) 素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等）を備えている。カメラ１１２は通信端末１００に内蔵されているほか、例えば外部装置Ｉ／Ｆ１１６を介して外付けされていてもよい。マイク１１３、スピーカ１１４についても同様である。外付けカメラ、外付けマイク、又は、外付けスピーカが接続された場合、ＣＰＵ１０１の制御に従って、内蔵型のカメラ１１２、マイク１１３、スピーカ１１４に優先して、外付けカメラ、外付けマイク、又は、外付けスピーカが駆動される。

図４は、本実施形態に係るデータベースサーバ２００のハードウェア構成図の一例である。データベースサーバ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０５、ディスプレイＩ／Ｆ２０８、外部装置Ｉ／Ｆ２１５、ネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、メディアドライブ２０７、及び、光学ドライブ２１４を有する。

ＣＰＵ２０１は、データベースサーバ全体の動作を制御する。ＲＯＭ２０２にはＢＩＯＳ（Basic Input Output System）などが記憶されている。ＲＡＭ２０３はＣＰＵ２０１のワークエリアとして使用される。ＨＤＤ２０５は、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しおよび書き込みを制御する。ＨＤ２０４はデータベース用プログラム２３０や各種データを記憶する。ディスプレイＩ／Ｆ２０８はＣＰＵ２０１の制御に従って、ディスプレイ２２０に対し画像データ（カーソル、メニュー、ウィンドウ、文字、画像等の各種情報を）を出力する。

外部装置Ｉ／Ｆ２１５は、外部の装置との間で情報を送受信する。外部装置Ｉ／Ｆ２１５としては、ＵＳＢインタフェース、BlueTooth（登録商標）、ＮＦＣ、TransferJet（登録商標）などが一例として挙げられる。

ネットワークＩ／Ｆ２０９は、無線ＬＡＮ網などのアクセスポイントを介してサーバや他の通信端末１００などの情報処理装置と通信する通信カードである。キーボード２１１は、文字、数値、各種指示等を入力を受け付けるための複数のキーを備えている。マウス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付ける。メディアドライブ２０７は、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しおよび書き込みを制御する。光学ドライブ２１４は、着脱可能な記録媒体であるＣＤ(Compact Disc)、ＤＶＤ（Digital Versatile Disk）、ブルーレイなどの光ディスク２１３に対するデータの読み出しおよび書き込みを制御する。また、バスライン２１０は、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等である。

図５は、認識システム５００の機能ブロック図の一例を示す。通信端末１００はその主要な機能として撮像部１１、位置情報取得部１２、時期取得部１３、画像認識処理部１４、認識結果表示部１８及び通信システム１７ａを有している。これらの各機能は、図３に示した通信端末１００のＣＰＵ１０１がＲＯＭ１０２に記憶された通信端末用プログラム１１８を実行し、図３に示したハードウェアと協働することで実現される。

撮像部１１は、ユーザがカメラ１１２で花を被写体にして撮像した画像データを画像認識処理部１４に出力する。位置情報取得部１２は、撮像部１１が画像データを撮像したことを契機に現在地（撮像場所）の位置情報を取得する。位置情報は、緯度・経度と標高で得られるものとする。位置情報はＧＰＳ受信部１１７により推定されるが、無線ＬＡＮのアクセスポイントや携帯電話網の基地局からの電波強度により推定されてもよい。時期取得部１３は、撮像部１１が画像データを撮像したことを契機に、カレンダ機能などから現在の時期（以下、撮像時期という）を取得する。時期は、例えば、少なくとも月日を含み、さらに時刻を含んでいてもよい。

画像認識処理部１４は、撮像部１１が撮像した撮像画像の特徴量と、花検索用ＤＢ１６に登録されている見本画像の特徴量を比較し、撮像画像に含まれる花と同じ種類の花がどの花かを推定する。詳しくは後述する。

認識結果表示部１８は、画像認識処理部１４による認識結果を表示する。表示する際は、撮像部１１が撮像した撮像画像、画像認識処理部１４が最も似ていると判断した最有力候補画像、及び、他の有力候補画像が表示される。他の有力候補画像は、後述する認識率が基準値以上の全ての画像である。

通信システム部１７ａはデータベースサーバ２００と通信する。これにより、データベースサーバから花情報ＤＢ１５と花検索用ＤＢ１６を取得できる。

花情報ＤＢ１５と花検索用ＤＢ１６は、データベースサーバ２００の花情報ＤＢ１５と花検索用ＤＢ１６と同じもの又はその一部である。通信端末側で花情報ＤＢ１５と花検索用ＤＢ１６を保持することで認識時間を短縮できる。花情報ＤＢ１５には花の詳細情報が登録されており、ほとんど変更はない。花検索用ＤＢ１６は花の認識処理を行うための生息環境や見本画像が登録されている。花検索用ＤＢ１６のデータは更新により変更される。画像認識処理部１４は、ユーザの操作を契機に花検索用ＤＢ１６を取得したり、定期的に花検索用ＤＢ１６を取得したり、データベースサーバ２００に問い合わせて更新されたことがわかると花検索用ＤＢ１６を取得したりする。

データベースサーバ２００は通信システム部１７ｂ、花情報ＤＢ１５、及び、花検索用ＤＢ１６を有している。通信システム部１７ｂは通信端末１００と通信する。花情報ＤＢ１５と花検索用ＤＢ１６は、例えばサーバの管理人により構築されている。

〔花検索用ＤＢの構成〕
図６は、花検索用ＤＢ１６の構成を説明する図の一例である。花検索用ＤＢ１６は、生息環境として、「花の名前」、「生息地」、「最高高度」、「最低高度」、「開花時期」、及び、「枯れる時期」のフィールドを有し、さらに「見本画像へのpath」の各フィールドを有している。
・「花の名前」は、花の一般的な呼び名である。「花の名前」は花情報ＤＢ１５にリンクされており、画像認識処理部１４は「花の名前」をキーにして花情報ＤＢ１５の花の詳細情報を取得できる。
・「生息地」は、地図のマップ番号で花が生息する地域を示している。地図は二次元のマス状の領域に区切られて管理されており、１つのマスに番号（マップ番号）が付されている。ここでは国土地理院の５万分の１のマップで使用されているリスト番号をマップ番号に利用するが、一意性があれば、マップ番号は花検索用ＤＢ１６に独自の番号であってもよい。したがって、マップ番号によりある範囲の地域を特定できる。例えば、マップ番号９４０４（リスト番号９４−４）は「白山」を含む領域、マップ番号９４０３は「白川村」を含む領域をそれぞれ示す。また、図６の例では５万分の１の縮尺のマップ番号を示しているが、２．５万分１のマップ番号など他の縮尺で花検索用ＤＢ１６を構築してもよい。
・「最高高度」は花が生息可能な標高の範囲のうち上限の標高を４段階で示している。また、「最低高度」は花が生息可能な標高の範囲のうち下限の標高を４段階で示している。
４＝２５００〔ｍ〕以上
３＝１５００〔ｍ〕以上 ２５００〔ｍ〕以下
２＝ ５００〔ｍ〕以上 １５００〔ｍ〕以下
１＝ ５００〔ｍ〕未満
・「開花時期」は花が開花する時期を３６グループで示している。「枯れる時期」は花が枯れる時期を３６グループで示している。
１＝１月上旬、２＝１月中旬、３＝１月下旬
４＝２月上旬、５＝２月中旬、６＝２月下旬
（中略）
３４＝１２月上旬、３５＝１２月中旬、３６＝１２月下旬
なお、「最高高度」「最低高度」の段階数は一例にすぎず「最高高度」「最低高度」を２〜３段階で表したり５段階以上の段階で表してもよい。また、「開花時期」「枯れる時期」のグループ数は一例にすぎず「開花時期」「枯れる時期」を３６未満や３７以上のグループで表してもよい。
「見本画像へのpath」は、各花の典型的な画像データ（写真）へのpathが登録されている。花検索用ＤＢに登録されている花の画像を見本画像という。色が異なっていても同じ名前で呼ばれる花は各色の見本画像が登録されている。また、撮像方向によって花の形状が異なるので、撮像方向が異なる見本画像がいくつか登録されていてもよい。これにより認識精度を向上できる。

図７は花情報ＤＢ１５を説明する図の一例である。花情報ＤＢ１５は「花の名前」「学名」「目」「科」「属」「備考」の各フィールドを有する。「花の名前」は花検索用ＤＢ１６と同じものである。「学名」はラテン語の花の名称であり、「目」「科」「属」は植物の分類である。「備考」には花ことばや雑学などが登録されている。

〔画像認識について〕
続いて、図８に基づき画像認識処理部１４の詳細な機能について説明する。図８は、画像認識処理部１４の機能ブロック図の一例である。画像認識処理部１４は、画像検索部２２、フィルタ管理部２１、及び、検索用ＤＢ更新部２３、を有している。画像検索部２２は、撮像部１１が撮像した撮像画像から花領域を取り出して、花検索用ＤＢ１６の見本画像から類似する花を検索する。

図９（ａ）は、花領域の抽出を説明する図の一例である。撮像画像において花の色は背景や茎の部分とは大きく異なっていることが多い。したがって、画素値に着目することで花領域を抽出できる。例えば、撮像画像の画素値のヒストグラムを作成し、１６色程度にクラスタリングする。花は撮像画像の中央から上方にかけて撮像されていることが多いので、この領域の画素値として最も多い色が花の色であると推定する。画像検索部２２は、花の色であると推定された画素値にクラスタリングされた画素領域を花領域に決定する。これにより、花びらを主要素とする花領域を決定できる。

花の検索には花の特徴量を使用する。例えば、花の色、形状を特徴として認識する。この他、花の外観から抽出可能な情報を特徴量とすることができる。花領域が決定されると、画像検索部２２は所定の色空間で、花領域の色の最小値、最大値、中央値などを検出する。また、花領域の形状をいくつかの標準パターンに分類する。例えば、図９（ｂ）に示すように、標準パターンとして円形、半円形、三角形、台形、六角形などを用意しておく。これらと、花領域の外縁の形状をパターンマッチングで比較して、最も類似する標準パターンを決定すれば、撮像された花の形状を形状名で特定できる。また、画像検索部２２は、花領域の縦横比、頂点の数（例えばエッジ検出して直線が頂点を形成しているどうかを判定する）などを検出してもよい。

画像検索部２２は、このように花の色（色の最小値、最大値、中央値）、花の形状（標準パターン、縦横比、頂点の数）を求め、花検索用ＤＢ１６の見本画像から抽出された花の色・花の形状と比較する。見本画像の花の特徴量は予め抽出しておくことができる。

画像検索部２２は特徴量の同じ項目同士の差を算出し、例えば１〜１０の値で正規化する（特徴量が近いほど数値が高い。）。そして、各項目を重みづけして合計し、０〜１００の値に変換する。これを認識率と称することとする。画像検索部２２は認識率が基準値以上の場合に、撮像画像の候補に決定する。

基準値は、実験的に定められるものとする。認識率に対し、撮像画像と同じ花の見本画像が実際に検索されたか否かを人間が確認することで、正しい見本画像が検索に適合したと期待できる認識率を算定できる。なお、非特許文献「ＦＩＴ2004（第三回情報科学技術フォーラム）、I-042、2004年9月「携帯電話を用いた花の情報検索システム」和歌山大学 原 幸司など」には認識率に関する記載があるため、この認識率を参考にしてもよい。

上記のように特徴量を抽出するのではなく（又は特徴量の抽出に加えて）、パターンマッチングにより画像認識を行ってもよい。例えば、花領域のエッジを検出して二値化し同じサイズに変倍し、パターンマッチングによりＳＳＤ(Sum of Squared Difference)又はＳＡＤ（Sum of Absolute Difference)などの算出式で類似度を算出する。類似度は完全に一致している場合にゼロになり、完全に不一致の場合に画素数の一致する。したがって、類似度０〜最大値を０〜１００に割り当てれば０〜１００の数値で認識率が得られる。

〔フィルタについて〕
図８に戻りフィルタ管理部２１について説明する。フィルタ管理部２１はフィルタ１〜３を組み合わて、画像検索部２２の認識対象を絞り込んだり緩和したりする。フィルタの種類が多いほど、検索対象が少なくなるので検索時間が短くなる。このため、フィルタ管理部２１は最初（１回目）の検索では全てのフィルタ１〜３でフィルタリングして花検索用ＤＢ１６を検索する。

そして、フィルタ１〜３でフィルタリングして絞り込まれた検索対象では認識率が基準値を満たす見本画像が適合しない場合、フィルタ管理部２１はフィルタを１つずつ外していく。フィルタ１は緯度・経度（撮像場所）について検索対象をフィルタリングし、フィルタ２は撮像場所の標高について検索対象をフィルタリングし、フィルタ３は撮像時期について検索対象をフィルタリングする。本実施形態では以下のようにフィルタ１〜３が組み合わせられる。
・１回目の検索：フィルタ１＋フィルタ２＋フィルタ３
・２回目の検索：フィルタ２＋フィルタ３
・３回目の検索：フィルタ３
・４回目の検索：フィルタなし
すなわち、撮像画像との認識率が基準値を満たさないため、再度、検索される毎にフィルタが１つずつ外されていく。花検索用ＤＢ１６で一度検索された見本画像は再度検索されないので、検索される見本画像の数は最大でも花検索用ＤＢ１６に登録されている見本画像の数である。

図１０を用いて説明する。図１０はフィルタ１〜３が適用された場合の花検索用ＤＢ１６の検索対象について説明する図の一例である。まず、撮像条件は以下のとおりである。
(i)撮像場所：白山
(ii)標高：約１６００〔ｍ〕
(iii)撮像時期：９月１５日
フィルタ１〜３の全てでフィルタリングする場合を説明する。
図１０（ａ）は、「生息地」によりフィルタリングされた花検索用ＤＢ１６の一例を示している。撮像場所が白山（マップ番号９４０４）なので、「生息地」が９４０４のレコードのみが検索対象となる。

図１０（ｂ）は「生息地」と「最高高度」「最低高度」によりフィルタリングされた花検索用ＤＢ１６の一例を示している。標高が１６００〔ｍ〕（段階３）なので、生息地が９４０４の見本画像の内「最高高度」と「最低高度」に段階３が含まれるレコードのみが検索対象となる。

図１０（ｃ）は「生息地」と「最高高度」「最低高度」と「開花時期」「枯れる時期」によりフィルタリングされた花検索用ＤＢ１６の一例を示している。撮像時期が９月１５日（グループ２６）なので、生息地が９４０４の見本画像の内「最高高度」と「最低高度」に段階３が含まれ、かつ、「開花時期」と「枯れる時期」にグループ２６が含まれるレコードのみが検索対象となる。

このように、フィルタリングにより検索対象の見本画像を絞り込むことができるため、検索時間を短縮できる。

これに対しフィルタ１が外された場合、「生息地」によるフィルタリングが行われないため、全ての見本画像に対し「最高高度」「最低高度」及び「開花時期」「枯れる時期」でフィルタリングされた見本画像が検索対象となる。また、フィルタ１とフィルタ２が外された場合、「生息地」と「最高高度」「最低高度」によるフィルタリングが行われないため、全ての見本画像に対し「開花時期」「枯れる時期」でフィルタリングされた見本画像が検索対象となる。また、フィルタ１〜３が全て外された場合、フィルタリングされないので全ての見本画像が検索対象となる。

このように段階的にフィルタを外すことで、検索対象を少しずつ増やしながら検索できるので、ユーザを待たせる時間が長くなることを抑制できる。また、フィルタ１〜３を外す順番は影響力の低い順番である。つまり、フィルタを外しても検索対象が増えにくいフィルタから外される。これにより、フィルタが外されても検索時間が増大することを抑制できる。

〔花検索用ＤＢの更新〕
フィルタを外すことで認識率が基準値を満たす見本画像が検索に適合した場合、花検索用ＤＢ１６に撮像された花の生息環境が正しく登録されていない可能性が高い。そこで、検索用ＤＢ更新部２３は、花検索用ＤＢ１６の生息環境のうち、見本画像が適合した際に外されていたフィルタに対応する生息環境を追加するなどして更新する。

図１１は花検索用ＤＢ１６の更新について説明する図の一例である。フィルタ１〜３をかけることで、図１０（ｃ）のように検索対象が２つの見本画像に制限されたが、撮像画像と適合する見本画像が認識されない場合、フィルタ管理部２１はフィルタ１を外す。すなわち、「生息地」についてフィルタリングされないが、「最高高度」「最低高度」及び「開花時期」「枯れる時期」でフィルタリングされる。したがって、図１１（ａ）に示すように、全ての見本画像のうち、「最高高度」「最低高度」に"３"が含まれ、かつ、「開花時期」「枯れる時期」に"２６"が含まれるの見本画像が検索対象となる。

仮に、この検索対象から撮像画像の花が検索に適合した場合、検索用ＤＢ更新部２３は、外したフィルタ１に対応する花検索用ＤＢ１６の生息環境を更新する。図１１（ｂ）は更新後の花検索用ＤＢ１６の一例を示す。例えば、「キヌガサソウ」という花が検索に適合した場合、検索用ＤＢ更新部２３は「キヌガサソウ」の「生息地」に撮像場所の９４０４を加える。これにより、「キヌガサソウ」の「生息地」は９４０３と９４０４になり、次回、ユーザが撮像場所９４０４でキヌガサソウを撮像した場合、フィルタ１〜３をかけても「キヌガサソウ」が検索対象から漏れないので、一度の検索で「キヌガサソウ」を検索できる。

図１１では「生息地」が更新されているが、外されたフィルタが「最高高度」及び「最低高度」で「最高高度」より高い標高で撮像された花が検索に適合した場合、適合した花の「最高高度」が更新される。外されたフィルタが「最高高度」及び「最低高度」で「最低高度」より低い標高で撮像された花が検索に適合した場合、適合した花の「最低高度」が更新される。同様に、外されたフィルタが「開花時期」及び「枯れる時期」で「開花時期」より前に撮像された花が検索に適合した場合、適合した花の「開花時期」が更新される。外されたフィルタが「開花時期」及び「枯れる時期」で「枯れる時期」より後に撮像された花が検索に適合した場合、適合した花の「枯れる時期」が更新される。

なお、フィルターが複数外された状態で、撮像された花が検索に適合した場合、適合した花の生息環境のうち外された複数のフィルターに対応する生息環境が更新される。

また、検索用ＤＢ更新部２３は、花検索用ＤＢ１６を更新した場合、更新履歴を記録する。更新履歴は、新しい生息環境を登録した年月日と更新した生息環境の種類である。これにより、どの生息環境がいつ更新されたか記録されるので、時と共に、各花毎に花の生息地、標高が拡大していくことを実際の撮像結果から記録できる。また、開花時期や枯れる時期も、各花毎に前倒しされたり枯れる時期が遅れることなどを実際の撮像結果から記録できる。

〔動作手順〕
図１２は、認識システムの動作手順を示すフローチャート図の一例である。図１２の手順は、例えば、ユーザが通信端末用プログラムを起動することでスタートする。

まず、ユーザが撮像操作を行うことで、撮像部が花の撮像画像を取得する（Ｓ１０）。これにより、撮像場所（位置情報）と撮像時期が取得される。

画像認識処理部１４は、花検索用ＤＢ１６を読み込む（Ｓ２０）。

まず、フィルタ管理部２１は、撮像場所（生息地）、標高（最高高度・最低高度）、及び、撮像時期（開花時期・枯れる時期）の３つのフィルタ１〜３で、花検索用ＤＢ１６をフィルタリングする（Ｓ３０）。

画像検索部２２は、フィルタ管理部２１がフィルタリングして絞り込んだ見本画像を検索対象にして画像認識処理を行う（Ｓ４０）。

画像検索部２２は、認識率が基準値以上の見本画像があったか否かを判定する（Ｓ５０）。

認識率が基準値以上の見本画像がない場合（Ｓ５０のＮｏ）、フィルタ管理部は全てのフィルタを外したか否かを判定する（Ｓ６０）。

全てのフィルタを外していた場合（Ｓ６０のＹｅｓ）、基準値を満たす見本画像がなかったことになるので図１２の処理は終了する。この場合、認識結果表示部１８はエラーメッセージなどをディスプレイ１２０に表示する。

全てのフィルタを外していない場合（Ｓ６０のＮｏ）、フィルタ管理部２１は影響力の少ない順にフィルタリングを解除する（Ｓ７０）。すなわち、フィルタリングすることを停止する。そして、再度の画像認識を行う（Ｓ４０）。

認識率が基準値以上の見本画像がある場合（Ｓ５０のＹｅｓ）、検索用ＤＢ更新部２３はフィルタリングを解除したか否か判定する（Ｓ８０）。

フィルタリングを解除していない場合（Ｓ８０のＮｏ）、花検索用ＤＢ１６を更新する必要がないので図１２の処理は終了する。

フィルタリングを解除することで認識率が基準値以上の見本画像があった場合（Ｓ８０のＹｅｓ）、検索用ＤＢ更新部２３は検索に適合した見本画像の解除されたフィルタでフィルタリングされていた生息環境を更新する（Ｓ９０）。

〔画面表示例〕
図１３は、通信端末１００のディスプレイ１２０への認識結果の表示例を示す図である。図５に示したように、ディスプレイ１２０には、撮像画像（図では「あなたの写真」）５２、最有力候補画像（図では花の名前「メタカラコウ」と共に表示されている）５３、及び、他の有力候補画像５１が表示される。ユーザは撮像画像５２と最有力候補画像５３を比較して、又は、撮像画像５２と他の有力候補画像５１を比較して、検索に適合したか否かを判断できる。

ユーザが最有力候補画像５３又は他の有力候補画像５１を選択すると、画像認識処理部１４は花情報ＤＢ１５からユーザが選択した「花の名前」のレコードを読み出す。そして、画面に花の詳細情報を表示する。

図１４はディスプレイ１２０に表示された詳細情報の一例を示す図である。図１４では撮像画像５２、見本画像５５、及び、詳細情報５４が表示されている。ユーザは詳細情報を目視して見本画像が、撮像した花の正しい画像か否かなどを確認できる。

図１５は、更新履歴を利用した花の生息環境の表示例を示す図である。図１５（ａ）はディスプレイ１２０に表示されたある花の「最高高度」の更新履歴を示している。データベースが更新される前の「最高高度」は"２"、「最低高度」は"１"である。そして、「２０１３年１２月１０日」に、１５００〔ｍ〕以上２５００〔ｍ〕以下の標高でこの花が撮像されたため、「最高高度」が"３"に更新されている。また、「２０１５年１１月２０日」に、２５００〔ｍ〕以上の標高でこの花が撮像されたため、「最高高度」が"４"に更新されている。

したがって、花検索用ＤＢ１６に「最高高度」や「最低高度」の更新履歴が記録されることで、ユーザは、各花が咲く標高が時間と共に変化すること（より高い標高で開花する、より低い標高で開花する）、及び、いつ変化したかを把握できるようになる。

図１５（ｂ）はディスプレイ１２０に表示されたある花の開花時期の更新履歴を示している。データベースが更新される前の「開花時期」は"１０（４月上旬）"、「枯れる時期」は"１８（７月下旬）"である。そして、「２０１３年３月１５日」に、この花が撮像されたため、「開花時期」が"８（３月中旬）"に更新されている。

したがって、花検索用ＤＢ１６に「開花時期」や「枯れる時期」の更新履歴が記録されることで、ユーザは、各花が開花している期間が時間と共に変化すること（前倒しされる、遅れる）、及び、いつ変化したかを把握できるようになる。

図１５（ｃ）はディスプレイ１２０に表示されたある花の生息地の更新履歴を示している。データベースが更新される前の「生息地」は"９４０４（白山）である。そして、「２０１３年１２月１５日」に、白川村でこの花が撮像されたため、「生息地」が"９４０３（白川村）"を含む地域に更新されている。例えば、更新前と後の「生息地」で色を変えて表示するなどで、更新前と後の「生息地」の違いは明示される。

したがって、花検索用ＤＢ１６に「生息地」の更新履歴が記録されることで、ユーザは、各花の生息地が時間と共に変化すること（例えば、北上する、南下する）、及び、いつ変化したかを把握できるようになる。

〔他の構成例〕
図１６は、サーバ・クライアントシステムの認識システムの概略構成図の一例を示す。図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

図１６では、通信端末１００が画像認識処理部１４を有し、通信端末１００は画像送信部１９と認識結果取得部２０を有している。画像送信部１９は、撮像部１１が撮像した撮像画像、位置情報取得部１２が取得した位置情報、及び、時期取得部１３が取得した撮像時期を、通信システム部１７ａを介してサーバに送信する。

また、認識結果取得部２０はデータベースサーバ２００から認識結果として、最有力候補画像と他の有力候補画像を取得して、認識結果表示部１８に出力する。これにより、認識結果表示部１８は図５の構成と同様に認識結果を表示できる。なお、サーバの画像認識処理部１４の機能は通信端末１００が有する場合と同じである。

このように、サーバが画像認識処理部１４、花情報ＤＢ１５,及び、花検索用ＤＢ１６を有することで、負荷の高い処理をサーバが行うことができる。また、花情報ＤＢ１５、及び、花検索用ＤＢ１６のサイズが大きい場合、通信端末１００のＳＳＤ１０５やＲＡＭ１０３を圧迫することがない。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、撮像部が撮像することで位置情報と時期が取得されると説明したが、予め花が撮像された撮像画像に対し撮像場所、撮像時期が添付されていても、同様に、画像を認識したり、花検索用ＤＢを更新することは可能である。

また、本実施形態では撮像時期として年月日のみをフィルタリングに使用したが、時刻をフィルタリングに使用してもよい。この場合、花検索用ＤＢにも生息環境として咲く時間帯が登録されている。これにより、決まった時間帯に開花する花の検索や時間帯の更新が可能になる。

１１ 撮像部
１２ 位置情報取得部
１３ 時期取得部
１４ 画像認識処理部
１５ 花情報ＤＢ
１６ 花検索用ＤＢ
２１ フィルタ管理部
２２ 画像検索部
２３ 検索用ＤＢ更新部
１００ 通信端末
２００ データベースサーバ
５００ 認識システム

特開２００７−１３３８１６号公報

Claims (9)

1. コンピュータに、
   生物が撮像されている第２の画像データを取得する画像データ取得ステップと、
   第１の画像データと生物の生息環境が登録されているデータ記憶部にアクセスするステップと、
   前記第２の画像データが撮像された複数の撮像条件のうち１つ以上の撮像条件と適合する前記生息環境の生物を検索対象として前記データ記憶部から抽出する検索対象抽出ステップと、
   前記第２の画像データから生物の特徴量を取得し、前記検索対象抽出ステップにより抽出された前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第１の画像データを決定する認識ステップと、
   前記検索対象抽出ステップにおいて前記撮像条件を解除する前では用いられたが解除した後で用いられない前記撮像条件で抽出された前記検索対象により、前記認識ステップにより類似度が閾値以上の生物の前記第１の画像データが決定された場合、前記データ記憶部の前記生息環境を解除された前記撮像条件で更新する更新ステップと、
   を実行させることを特徴とするプログラム。
2. 前記認識ステップにより類似度が閾値以上の生物の前記第１の画像データが決定されない場合、
   前記検索対象抽出ステップでは複数の前記撮像条件のうち検索時間への影響の少ない順に前記撮像条件を前記検索対象の抽出に用いることを停止する、ことを特徴とする請求項１に記載のプログラム。
3. 前記更新ステップでは、前記データ記憶部の前記生息環境を前記撮像条件で更新する際、前記第２の画像データが撮像された年月日を登録する、ことを特徴とする請求項１に記載のプログラム。
4. 更新される前の前記生息環境と、更新後の前記生息環境とを、更新された時期と共に表示装置に表示する表示ステップ、
   をコンピュータにさらに実行させることを特徴とする請求項３に記載のプログラム。
5. 前記生息環境は、生息地、生息する標高範囲、及び、生息する時期範囲の１つ以上であり、
   前記撮像条件は撮像場所、撮像した標高、及び、撮像した時期の１つ以上であり、
   前記検索対象抽出ステップで前記検索対象の抽出に撮像場所、撮像した標高、又は、撮像した時期の１つ以上が用いられていない状態で、前記認識ステップで類似度が閾値以上の前記第１の画像データが決定された場合、
   前記更新ステップでは、前記データ記憶部の生息地に前記検索対象の抽出に用いられていない前記撮像場所を追加し、前記データ記憶部の前記生息する標高範囲に前記検索対象の抽出に用いられていない前記撮像した標高範囲を追加し、又は、前記データ記憶部の前記生息する時期範囲に前記検索対象の抽出に用いられていない前記撮像した時期を追加する、ことを特徴とする請求項１〜４のいずれか１項に記載のプログラム。
6. 前記生物は、花、植物、虫、きのこ、又は、苔であることを特徴とする請求項１〜５のいずれか１項に記載のプログラム。
7. 生物が撮像されている第２の画像データを取得する画像データ取得手段と、
   生物の第１の画像データと生物の生息環境が登録されているデータ記憶部と、
   前記第２の画像データが撮像された複数の撮像条件のうち１つ以上の撮像条件と適合する前記生息環境の生物を検索対象として前記データ記憶部から抽出する検索対象抽出手段と、
   前記第２の画像データから生物の特徴量を取得し、前記検索対象抽出手段が抽出した前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第１の画像データを決定する認識手段と、
   前記検索対象抽出手段が前記撮像条件を解除する前では用いたが解除した後で用いなかった前記撮像条件で抽出された前記検索対象により、前記認識手段が類似度が閾値以上の前記第１の画像データを決定した場合、前記データ記憶部の前記生息環境を解除された前記撮像条件で更新する更新手段と、を有することを特徴とする生物認識装置。
8. 画像データ取得手段が、生物が撮像されている第２の画像データを取得するステップと、
   認識手段が、生物の第１の画像データと生物の生息環境が登録されているデータ記憶部にアクセスするステップと、
   検索対象抽出手段が、前記第２の画像データが撮像された複数の撮像条件のうち１つ以上の撮像条件と適合する前記生息環境の生物を検索対象として抽出するステップと、
   認識手段が、前記第２の画像データから生物の特徴量を取得し、前記検索対象抽出手段が抽出した前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第１の画像データを決定するステップと、
   前記検索対象抽出手段が前記撮像条件を解除する前では用いたが解除した後で用いなかった前記撮像条件で抽出された前記検索対象により、前記認識手段が類似度が閾値以上の前記第１の画像データを決定した場合、更新手段が、前記データ記憶部の前記生息環境を解除された前記撮像条件で更新するステップと、を有することを特徴とする生物認識方法。
9. 通信端末が情報処理装置と通信し生物を認識する生物認識方法であって、
   前記通信端末は、
   生物が撮像されている第２の画像データを前記情報処理装置に対し送信するステップと、
   前記情報処理装置から認識結果を受信するステップと、を有し、
   前記情報処理装置の認識手段が、生物の第１の画像データと生物の生息環境が登録されているデータ記憶部にアクセスするステップと、
   前記情報処理装置の検索対象抽出手段が、前記第２の画像データが撮像された複数の撮像条件のうち１つ以上の撮像条件と適合する前記生息環境の生物を検索対象として抽出するステップと、
   前記情報処理装置の認識手段が、前記第２の画像データから生物の特徴量を取得し、前記検索対象抽出手段が抽出した前記検索対象の生物の特徴量との類似度が閾値以上の生物の前記第１の画像データを決定するステップと、
   前記検索対象抽出手段が前記撮像条件を解除する前では用いたが解除した後で用いなかった前記撮像条件で抽出された前記検索対象により、前記認識手段が類似度が閾値以上の前記第１の画像データを決定した場合、前記情報処理装置の更新手段が、前記データ記憶部の前記生息環境を解除された前記撮像条件で更新するステップと、
   を有することを特徴とする生物認識方法。