JP6287176B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

農業分野において、熟練農家や営農指導員などの専門家から新規就農者への伝承技術や知識共有の一つに、病害虫の見分け方がある。病害虫は、見た目が似ていても種類によって、農薬への抵抗性が異なっていたり、防除のタイミング（時期）が異なっている。このため、農薬の配布量や配布時期を正確に判断するためには、新規就農者にとって、病害虫の見分け方を正しく習得することは重要である。

このような中、例えば、新規就農者等が、虫を見つけた際にその場で虫の様態を確認し虫の種類を判断できるように、病害虫の見分け方の習得を効率化するための学習システムがある。当該学習システムにおいては、病害虫の種類を見分けるために重要となる外見上の画像特徴（形状や色等）と、それが現れる位置とを学習者に分かりやすく伝えるために、当該画像特徴を際立たせるような強調・抑制処理を施した画像を作成する。

画像の強調・抑制処理に関連する技術として、例えば、画像内の注目領域と非注目領域の画像特徴（コントラスト、明るさ、彩度など）の平均値で強調や低減の度合いを決定付けたり、非注目領域に比べ注目領域内に多く現れる色相の画素数で強調度合いを決定付けることで、注目領域又は非注目領域全体に対して、強調や低減の画像処理を加える技術が挙げられる。

特開２０１２−０９３９０４号公報 特開２０１１−１０３６４０号公報

しかしながら、上記の強調・抑制処理に関連する技術は、注目領域（又は非注目領域）の全ての画素に同一の度合いで強調又は抑制の画像処理を行うため、元画像と比べて、注目領域（又は非注目領域）の画像特徴の全体傾向が変わってしまい、不自然な強調又は抑制となる可能性がある。

本発明は、１つの側面において、画像特徴に対して、元画像を生かした自然な強調・抑制処理を行うことを目的とする。

本実施例の一態様によれば、画像処理装置は、異なるカテゴリに属する画像からそれぞれ抽出される特徴点を、所定の特徴空間における各領域に分類し、同一領域に分類された特徴点同士をカテゴリ間において比較することで、カテゴリ間における特徴点の出現頻度の差が所定の条件を満たす領域を特定して、カテゴリ間における画像特徴を抽出する画像特徴抽出部と、前記画像特徴に対応する領域に分類された特徴点の出現頻度と、該画像特徴と類似する類似画像特徴に対応する領域に分類された特徴点の出現頻度との差分度合いに応じて、前記画像特徴に対応する領域に分類された特徴点に対する強調の度合いを調整する画像処理部とを有する。

また、上記課題を解決するための手段として、方法、プログラム、及びプログラムを記憶した記憶媒体とすることもできる。

本実施例の一態様によれば、画像特徴に対して、元画像を生かした自然な強調・抑制処理を行うことができる。

ヨトウムシ類の見分け方例を示す図である。 学習システムの画面例を示す図である。 画像処理装置のシステム構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 画像処理装置の機能構成例を示す図である。 画像処理動作の一例を示す全体フローチャートである。 画像特徴の出現頻度ヒストグラム作成処理の説明図である。 カテゴリ毎のサンプル画像から得られる画像特徴の出現頻度ヒストグラム例を示す図である。 画像特徴の出現頻度ヒストグラム作成処理の説明図である。 画像特徴の重要度ヒストグラム作成処理の説明図である。 重要次元特定処理の説明図である。 重要箇所特定処理の説明図である。 重要箇所特定処理の説明図である。 強調・抑制処理の説明図である。 強調・抑制処理の説明図である。 強調・抑制処理動作の一例を示すフローチャートである。 強調・抑制処理の対象例を示す図である。 強調・抑制処理後のサンプル画像例を示す図である。

以下、本発明の実施例について詳細に説明する。

はじめに、病害虫の見分け方の例について説明する。

図１は、ヨトウムシ類の見分け方例を示す図である。病害虫の一例として、ヨトウムシ類には、それぞれ見た目がよく似ているタバコガ、ウワバ、ヨトウ類（ヨトウガ、ハスモンヨトウ等）、シロイチモジヨトウという種類がある。

まず、タバコガは、頻繁に多発し食害速度が速いため、防除のタイミングとしては、見つけ次第、すぐに防除を行うことが望ましい。一方、ウワバは、それほど多発しないため、それほど急いで、防除を行う必要がない。従って、防除のタイミングを判断するためには、タバコガとウワバとを正確に見分ける必要がある。

一方、ヨトウ類とシロイチモジヨトウは、先述したタバコガとウワバに比べ農薬への耐性が強いため、難防除害虫として知られている。このため、農薬による防除以外に、フェロモンディスペンサーと呼ばれる成虫の交尾及び産卵を抑制する防除器具が有効とされる。しかし、ヨトウ類とシロイチモジヨトウは、それぞれ専用の防除器具があるため、適切な防除器具を用いるには、両者を正確に見分ける必要がある。

従来より、病害虫の見分けるための資料として、例えば、日本植物防疫協会のＪＰＰ−ＮＥＴや各都道府県の農業試験場・防疫所のＷｅｂページでは、病害虫の種類毎にサンプル画像と説明文とを一覧表示したデジタル図鑑をサービス提供している。また、近年では、虫を撮影した画像から虫の種類を専門家が回答するというサービスも登場してきている。しかし、このサービスは、人力認識のため認識結果が得られるまで時間が掛かるという問題や、撮影角度などの撮影条件により撮影画像の認識精度に差がでてしまう問題がある。

このような中、例えば、新規就農者等が、虫を見つけた際にその場で虫の様態を確認し虫の種類を判断できるように、病害虫の見分け方の習得を効率化するための学習システムを提供することが考えられる。

図２は、学習システムの画面例を示す図である。このような学習システムにおいては、正解を伏せた試験画像を学習者にクイズ形式で提示し、各種類のサンプル画像と比較しながら、見分けるべきポイントを学習することができる。

ここで、当該学習システムにおいては、病害虫の種類を見分けるために重要となる外見上の画像特徴（形状や色等）と、それが現れる位置とを学習者に分かりやすく伝えるために、当該画像特徴に対して、例えば、強調表示や矩形描画などの画像処理（画像加工）した学習コンテンツが必要となる。一方、病害虫は、卵〜幼虫〜サナギ〜成虫などと成長するため、同じ種類の病害虫であっても、撮影された時期に応じて様態が変化するという特徴がある。このため、成長の様態毎に、コンテンツを準備する必要があるが、そのコンテンツ量は膨大となる。したがって、人手でコンテンツを作成するには作業コストが問題となるため、コンピュータによるコンテンツの自動作成が求められる。

具体的に、コンピュータは、異なるカテゴリのサンプル画像がそれぞれ入力されると、異なるカテゴリ間で画像を比較し、特異となる画像特徴（形状や色等）とそれが現れる場所とを求め、比較対象のカテゴリに対応する当該画像特徴を際立たせるような強調・抑制処理を施した画像を作成する。

本実施例では、コンピュータが、画像特徴に対して強調・抑制処理を行う際、画像特徴の出現頻度と類似画像特徴の出現頻度との差分度合いに応じて、画像特徴に対する強調処理の度合いを調整することで、元画像を生かした自然な強調・抑制処理を行う。以下、詳細に説明する。

＜システム構成例＞
図３は、本実施例における画像処理装置１のシステム構成例を示す図である。図３に示す画像処理装置１は、記憶装置２と接続される。

画像処理装置１は、元画像に対して、強調・抑制処理を含む各種画像処理を実施する。画像処理装置１は、例えば、病害虫のカテゴリ毎（種類毎）に分類された病害虫のサンプル画像が入力されると、異なるカテゴリ間でサンプル画像を比較し、病害虫の種類を見分けるために重要となる外見上の画像特徴（形状や色等）と、それが現れる位置とを求める。画像処理装置１は、画像特徴とその位置を求めると、当該カテゴリに属する病害虫の画像特徴を際立たせるような強調・抑制処理を施した画像を生成する。強調・抑制処理は、例えば、画像特徴が形状の場合はエッジやぼかしを強調・抑制したり、画像特徴が色の場合は彩度を強調・抑制したりする。生成された画像は、例えば、病害虫の種類を見分けるための学習システム等に用いる学習コンテンツとして利用できる。

記憶装置２は、病害虫のカテゴリ毎（種類毎）に分類された病害虫のサンプル画像を予め記憶する。図３に示されるように、例えば、カテゴリＡには、「ハスモンヨトウ」のサンプル画像２０Ａが、カテゴリＢには、「シロイチモジヨトウ」のサンプル画像２０Ｂが、カテゴリＣには、「ウワバ」のサンプル画像２０Ｃがそれぞれ記憶されている。なお、同一カテゴリ内に、同一種類の病害虫の画像を複数記憶してもよい。サンプル画像の中には、撮影条件等によっては画像特徴等がきれいに写っていない場合があり、病害虫の画像特徴を判定する際、サンプル画像の差異を吸収するためである。

なお、記憶装置２は、画像処理装置１に内蔵される記憶装置として構成されてもよい。

図４は、本実施例における画像処理装置１のハードウェア構成例を示す図である。画像処理装置１は、主要な構成として、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、インターフェース１５、入力装置１６、表示装置１７、及び通信装置１８を有する。

ＣＰＵ１１は、マイクロプロセッサ及びその周辺回路から構成され、装置全体を制御する回路である。また、ＲＯＭ１２は、ＣＰＵ１１で実行される所定の制御プログラムを格納するメモリである。また、ＲＡＭ１３は、ＣＰＵ１１がＲＯＭ１２に格納された所定の制御プログラムを実行して各種の制御を行うときの作業領域として使用するメモリである。

ＨＤＤ１４は、汎用のＯＳ（Operating System）、画像処理プログラムを含む各種プログラムを含む各種情報を格納する装置であり、不揮発性の記憶装置である。

インターフェース１５は、外部機器と接続するためのインターフェースである。

入力装置１６は、ユーザが各種入力操作を行うための装置である。入力装置１６は、マウス、キーボード、表示装置１７の表示画面上に重畳するように設けられたタッチパネルスイッチなどを含む。

表示装置１７は、各種データを表示画面に表示する装置である。例えば、ＬＣＤ(Liquid Crystal Display)、ＣＲＴ(Cathode Ray Tube)などから構成される。

通信装置１８は、ネットワークを介して外部機器との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。

図５は、本実施例における画像処理装置１の機能構成例を示す図である。画像処理装置１は、主な機能部として、画像特徴抽出部１０１、画像処理部１０２を有する。

画像特徴抽出部１０１は、異なるカテゴリに属する画像同士を比較し、カテゴリ間における画像特徴を抽出するなどの処理を行う。

画像処理部１０２は、画像特徴の出現頻度と、画像特徴と類似する類似画像特徴の出現頻度との差分度合いに応じて、画像特徴に対する強調処理の度合いを調整するなどの処理を行う。

なお、上記機能部は、画像処理装置１を構成するコンピュータのＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア資源上で実行されるコンピュータプログラムによって実現されるものである。また、これらの機能部は、「手段」、「モジュール」、「ユニット」、又は「回路」に読替えてもよい。

＜画像処理＞
図６は、本実施例における画像処理動作の一例を示す全体フローチャートである。以下、Ｓ１００〜Ｓ５００の各ステップについて説明する。

（Ｓ１００）
まず、Ｓ１００において、画像特徴抽出部１０１による画像特徴の出現頻度ヒストグラム作成処理について説明する。なお、病害虫の種類を見分けるために重要となる外見上の画像特徴として、主に「形状」、「色」がある。

・画像特徴が形状の場合
図７は、本実施例における画像特徴の出現頻度ヒストグラム作成処理の説明図である。以下、画像特徴が「形状」である場合について説明する。

画像特徴の出現頻度ヒストグラム作成する手法として、一般物体認識で広く用いられているアプローチであるBag of Features(BoF)がある。画像処理装置１が実行するBoFについて説明する。

画像処理装置１において、画像特徴抽出部１０１は、１枚のサンプル画像から、SIFT(Scale-Invariant Feature Transform)などの特徴点（局所特徴点）を抽出する（図７の（ａ））。次に、画像特徴抽出部１０１は、抽出した特徴点から、k-means手法などによって、特徴空間上似たような特徴点（特徴量）のクラスタリングを行い、所定数のクラスタに分類する（図７の（ｂ））。そして、画像特徴抽出部１０１は、得られたクラスタをVisual Wordsとすることで、コードブックを作成する（図７の（ｃ））。

最後に、画像特徴抽出部１０１は、横軸を各次元（コードブックの各Visual Words）、縦軸を各Visual Wordsのクラスタに分類された特徴点の出現頻度（出現数）としたヒストグラムを作成する（図７の（ｄ））。このヒストグラムが、１枚のサンプル画像から得られる画像特徴（形状）の出現頻度ヒストグラムである。

なお、横軸の各Visual Wordsの配列は、形状の類似連続性を有する順序で、Visual Wordsを配列する。例えば、Visual Wordsが「方向（角度）及び広がり」を基準としている場合、横軸方向に対し、「方向（角度）及び広がり」の程度順に、各Visual Wordsを連続的に配列させる。これにより、前後の次元（Visual Words）は類似することになる。

図８は、本実施例におけるカテゴリ毎のサンプル画像から得られる画像特徴の出現頻度ヒストグラム例を示す図である。カテゴリ毎のサンプル画像２０Ａ、２０Ｂ、２０Ｃに対し、上記（ａ）〜（ｄ）の処理を経ることで、それぞれのサンプル画像から画像特徴（形状）の出現頻度ヒストグラム２１Ａ、２１Ｂ、２１Ｃを得ることができる。

なお、Bag of Features(BoF)に関する文献として、例えば、以下のようなものを参照することができる。
須賀晃, 滝口哲也, 有木康雄, "複数特徴量の重み付け統合による一般物体認識", MIRU2009.
・画像特徴が色の場合
図９は、本実施例における画像特徴の出現頻度ヒストグラム作成処理の説明図である。以下、画像特徴が「色」である場合について説明する。

まず、画像処理装置１において、画像特徴抽出部１０１は、１枚のサンプル画像を所定サイズのブロック領域に分割する（図９の（ａ））。次に、画像特徴抽出部１０１は、各ブロック領域の平均画素値を算出し、色空間上、その平均画素値に対応させてブロック領域を色空間にマッピングする。さらに、画像特徴抽出部１０１は、色空間を部分空間に分割し、分割した部分空間を、各ブロック領域が属するビンと定義する（図９の（ｂ））。

最後に、画像特徴抽出部１０１は、横軸を各次元（色空間の各ビン）、縦軸を各ビンに属するブロック領域の平均画素値を出現頻度（出現数）としたヒストグラムを作成する（図９の（ｃ））。このヒストグラムが、１枚のサンプル画像から得られる画像特徴（色）の出現頻度ヒストグラムである。

なお、横軸の各ビンの配列は、色の類似連続性を有する順序で、ビンを配列する。これにより、前後の次元（ビン）は類似することになる。

形状の場合と同様に、カテゴリ毎のサンプル画像２０Ａ、２０Ｂ、２０Ｃに対し、上記（ａ）〜（ｃ）の処理を経ることで、それぞれのサンプル画像から画像特徴（色）の出現頻度ヒストグラム（例えば、図８と同様）を得ることができる。

（Ｓ２００）
次に、Ｓ２００において、画像特徴抽出部１０１による画像特徴の重要度ヒストグラム作成処理について説明する。

図１０は、本実施例における画像特徴の重要度ヒストグラム作成処理の説明図である。本処理は、画像特徴が「形状」である場合、「色」である場合について、共通である。

画像特徴（形状、色）の重要度ヒストグラムは、２つのカテゴリ間で、出現頻度ヒストグラムの比較を行うことで作成される。具体的に、画像処理装置１において、画像特徴抽出部１０１は、２つのカテゴリ間で、まず一方のカテゴリにおける一つの次元（Visual words又は各ビン）から、その出現頻度を取得する。また、もう一方のカテゴリにおける対応次元（Visual words又は各ビン）から、その出現頻度を取得する。そして、画像特徴抽出部１０１は、両出現頻度の差分値（差分値の絶対値）を算出する。

次に、画像特徴抽出部１０１は、横軸を各次元（各Visual Words又は各ビン）、縦軸を両出現頻度の差分値としたヒストグラムを作成する。このヒストグラムが、カテゴリの異なる２枚のサンプル画像比較から得られる画像特徴の重要度ヒストグラムである。

画像特徴の重要度ヒストグラムは、カテゴリ間毎に作成する。従って、図１０において、カテゴリＡに着目した場合、カテゴリＡの出現頻度ヒストグラム２１Ａと、カテゴリＢの出現頻度ヒストグラム２１Ｂとの比較により、カテゴリＡｖｓＢの重要度ヒストグラム２２Ａ−１が作成される。また、カテゴリＡの出現頻度ヒストグラム２１Ａと、カテゴリＣの出現頻度ヒストグラム２１Ｃとの比較により、カテゴリＡｖｓＣの重要度ヒストグラム２２Ａ−２が作成される。

同様に、カテゴリＢに着目した場合、カテゴリＢｖｓＡの重要度ヒストグラム２２Ｂ−１、及び、カテゴリＢｖｓＣの重要度ヒストグラム２２Ｂ−２が作成される。また、カテゴリＣに着目した場合、カテゴリＣｖｓＡの重要度ヒストグラム２２Ｃ−１、及び、カテゴリＣｖｓＢの重要度ヒストグラム２２Ｃ−２が作成される。

（Ｓ３００）
次に、Ｓ３００において、画像特徴抽出部１０１による画像特徴の重要次元特定処理について説明する。

図１１は、本実施例における重要次元特定処理の説明図である。

図１１に示されるように、画像処理装置１において、画像特徴抽出部１０１は、画像特徴（形状、色）の重要度ヒストグラムを参照し、各次元（各Visual Words又は各ビン）において、その重要度が所定閾値を超えている各次元（各Visual Words又は各ビン）を、重要次元３と特定する。

なお、重要次元３を特定するために、予め所定閾値が与えられている。重要度は、出現頻度の差分値に基づくため、ここでいう所定閾値は、出現頻度をベースに予め定められる値である。

（Ｓ４００）
次に、Ｓ４００において、画像特徴抽出部１０１による画像上の重要箇所特定処理について説明する。

・画像特徴が形状の場合
図１２は、本実施例における重要箇所特定処理の説明図である。以下、画像特徴が「形状」である場合について説明する。

画像処理装置１において、画像特徴抽出部１０１は、画像特徴（形状）の重要度ヒストグラムにおいて、重要次元３が特定されると（図１２の（ｅ））、コードブックにおいて、重要次元３に対応するVisual Wordsを特定する（図１２の（ｆ））。次に、画像特徴抽出部１０１は、重要次元３に対応するVisual Wordsが属するクラスタを特定する（図１２の（ｇ））。

画像特徴抽出部１０１は、クラスタが特定されると、サンプル画像上、当該クラスタに属する特徴点を特定する（図１２の（ｈ））。そして、画像特徴抽出部１０１は、サンプル画像上、特定した当該特徴点の集中箇所を含む矩形範囲を「重要箇所」と特定すると共に、重要箇所内の特徴点を「重要特徴点」と特定する（図１２の（ｈ））。なお、集中箇所は、例えば、所定ピクセル範囲に所定数以上の特徴点が存在している場合、当該所定範囲を集中箇所とすることができる。また、「重要箇所」は、一例として矩形形状とするが、円形状や楕円形状などでもよく、矩形形状のみに限定されるものではない。

重要箇所特定処理は、画像特徴（形状）の重要度ヒストグラム毎に行われる。例えば、カテゴリＡのサンプル画像２０Ａからは、サンプル画像２０Ｂとの関係に基づく重要度ヒストグラム２２Ａ−１と、サンプル画像２０Ｃとの関係に基づく２２Ａ−２とが作成されている（例えば、図１０参照）。従って、カテゴリＡのサンプル画像２０Ａからは、それぞれ、サンプル画像２０Ｂとの関係に基づく「重要箇所」及び「重要特徴点」が特定されると共に、サンプル画像２０Ｃとの関係に基づく「重要箇所」及び「重要特徴点」が特定される。そもそも、「重要箇所」及び「重要特徴点」は、２枚のサンプル画像間を比較の上、両画像の外見上の差異点に基づいて特定されるからである。

・画像特徴が色の場合
図１３は、本実施例における重要箇所特定処理の説明図である。以下、画像特徴が「色」である場合について説明する。

画像処理装置１において、画像特徴抽出部１０１は、画像特徴（色）の重要度ヒストグラムにおいて、重要次元３が特定されると（図１３の（ｄ））、色空間において、重要次元に対応するビン（部分空間）を特定する（図１３の（ｅ））。次に、画像特徴抽出部１０１は、重要次元３に対応するビンに属する平均画素値に対応するブロック領域を特定する（図１３の（ｅ））。

画像特徴抽出部１０１は、ブロック領域が特定されると、サンプル画像上、当該ブロック領域である特徴点を特定する（図１３の（ｆ））。そして、サンプル画像上、特定した当該ブロック領域の集中箇所を含む矩形範囲を「重要箇所」と特定すると共に、重要箇所内の特徴点を「重要特徴点」と特定する（図１３の（ｆ））。なお、集中箇所は、例えば、所定ピクセル範囲に所定数以上の特徴点が存在している場合、当該所定範囲を集中箇所とすることができる。また、「重要箇所」は、一例として矩形形状とするが、円形状や楕円形状などでもよく、矩形形状のみに限定されるものではない。

以上、画像特徴（色）の重要度ヒストグラム毎に行われる。

（Ｓ５００）
次に、Ｓ５００において、画像処理部１０２による画像特徴の強調・抑制処理について説明する。強調・抑制処理は、画像処理装置１の画像処理部１０２により実行される。

・画像特徴が形状の場合
図１４は、本実施例における強調・抑制処理の説明図である。以下、画像特徴が「形状」である場合について説明する。

画像処理装置１において、画像処理部１０２は、強調・抑制処理を実行する際、画像特徴（形状）の重要度ヒストグラム及び出現頻度ヒストグラムを参照し、下記のルールに基づいて、画像処理を行う。

（１−１）重要度ヒストグラムを参照し、重要次元（重要度が所定閾値以上の次元）３と、当該重要次元に隣接する非重要次元（重要度が所定閾値未満の次元）４とを比較し、出現頻度ヒストグラムにおいて、対応する重要次元と非重要次元との出現頻度の差異（差分値）が小さい場合、類似する部分形状（Visual words）が多いことを意味する。類似する部分形状が多い場合には、強調度合いが大きくないと、外見上容易に識別が困難である。従って、画像処理部１０２は、出現頻度の差異（差分値）が小さいほど、当該重要次元に対応する画像特徴（形状）に対し、強調度合い（例えば、エッジの強調度合い）を大きくした画像処理を行う。

（１−２）一方、重要度ヒストグラムを参照し、重要次元３と、当該重要次元に隣接する非重要次元４とを比較し、出現頻度ヒストグラムにおいて、対応する重要次元と非重要次元との出現頻度の差異（差分値）が大きい場合、類似する部分形状（Visual words）が少ないことを意味する。類似する部分形状が少ない場合には、強調度合いが小さくとも、外見上容易に識別が可能であり、逆に必要以上に強調を行ってしまうと、仕上がりの不自然さが大きくなる。従って、画像処理部１０２は、出現頻度の差異（差分値）が大きいほど、重要次元に対応する画像特徴（形状）に対し、強調度合い（例えば、エッジの強調度合い）を小さくした画像処理を行う。なお、差異（差分値）が非常に大きい場合（例えば、所定閾値よりも大きい場合）、外見上十分容易に識別が可能であるため、重要次元に対応する画像特徴（形状）に対する強調処理を行わないようにしてもよい。この場合、例えば、強調度合いのパラメータは、強調処理の不実行を示す０（ゼロ）となる。

（１−３）また、重要度ヒストグラムを参照し、非重要次元４と、当該非重要次元に隣接する重要次元３とを比較し、出現頻度ヒストグラムにおいて、対応する非重要次元と重要次元との出現頻度の差異（差分値）が小さい場合、類似する部分形状（Visual words）が多いことを意味する。類似する部分形状が多い場合には、抑制度合いが大きくないと、外見上容易に識別が困難である。従って、画像処理部１０２は、出現頻度の差異（差分値）が小さいほど、当該非重要次元に対応する画像特徴（形状）に対し、抑制度合い（例えば、ぼかしの強調度合い）を大きくした画像処理を行う。なお、非重要次元に対応する画像特徴（形状）は、即ち、外見上重要でない画像特徴（形状）である。このため、非重要次元に対応する画像特徴（形状）に対しては、強調処理ではなく、抑制処理を施すようにしている。

（１−４）一方、重要度ヒストグラムを参照し、非重要次元４と、当該非重要次元に隣接する重要次元３とを比較し、出現頻度ヒストグラムにおいて、対応する非重要次元と重要次元との出現頻度の差異（差分値）が大きい場合、類似する部分形状（Visual words）が少ないことを意味する。類似する部分形状が少ない場合には、抑制度合いが小さくとも、外見上容易に識別が可能であり、逆に必要以上に抑制を行ってしまうと、仕上がりの不自然さが大きくなる。従って、画像処理部１０２は、出現頻度の差異（差分値）が大きいほど、非重要次元に対応する画像特徴（形状）に対し、抑制度合い（例えば、ぼかしの強調度合い）を小さくした画像処理を行う。なお、差異（差分値）が非常に大きい場合（例えば、所定閾値よりも大きい場合）、外見上十分容易に識別が可能であるため、非重要次元に対応する画像特徴（形状）に対する抑制処理を行わないようにしてもよい。この場合、例えば、抑制度合いのパラメータは、抑制処理の不実行を示す０（ゼロ）となる。

（１−５）画像処理部１０２は、上記（１−１）〜（１−４）以外の次元については、隣接次元の強調・抑制度合を補間する画像処理を行う。

・画像特徴が色の場合
図１５は、本実施例における強調・抑制処理の説明図である。以下、画像特徴が「色」である場合について説明する。

画像処理装置１において、画像処理部１０２は、強調・抑制処理を実行する際、画像特徴（色）の重要度ヒストグラム及び出現頻度ヒストグラムを参照し、下記のルールに基づいて、画像処理を行う。

（２−１）重要度ヒストグラムを参照し、重要次元（重要度が所定閾値以上の次元３）と、当該重要次元に隣接する非重要次元（重要度が所定閾値未満の次元）４とを比較し、出現頻度ヒストグラムにおいて、対応する重要次元と非重要次元との出現頻度の差異（差分値）が小さい場合、類似する色（ビン）が多いことを意味する。類似する色が多い場合には、強調度合いが大きくないと、外見上容易に識別が困難である。従って、画像処理部１０２は、出現頻度の差異（差分値）が小さいほど、当該重要次元に対応する画像特徴（色）に対し、強調度合い（例えば、彩度の強調度合い）を大きくした画像処理を行う。

（２−２）一方、重要度ヒストグラムを参照し、重要次元３と、当該重要次元に隣接する非重要次元４とを比較し、出現頻度ヒストグラムにおいて、対応する重要次元と非重要次元との出現頻度の差異（差分値）が大きい場合、類似する色（ビン）が少ないことを意味する。類似する色が少ない場合には、強調度合いが小さくとも、外見上容易に識別が可能であり、逆に必要以上に強調を行ってしまうと、仕上がりの不自然さが大きくなる。従って、画像処理部１０２は、出現頻度の差異（差分値）が大きいほど、重要次元に対応する画像特徴（色）に対し、強調度合い（例えば、彩度の強調度合い）を小さくした画像処理を行う。なお、差異（差分値）が非常に大きい場合（例えば、所定閾値よりも大きい場合）、外見上十分容易に識別が可能であるため、重要次元に対応する画像特徴（色）に対する強調処理を行わないようにしてもよい。

（２−３）また、重要度ヒストグラムを参照し、非重要次元４と、当該非重要次元に隣接する重要次元３とを比較し、出現頻度ヒストグラムにおいて、対応する非重要次元と重要次元との出現頻度の差異（差分値）が小さい場合、類似する色（ビン）が多いことを意味する。類似する色が多い場合には、抑制度合いが大きくないと、外見上容易に識別が困難である。従って、画像処理部１０２は、出現頻度の差異（差分値）が小さいほど、当該非重要次元に対応する画像特徴（色）に対し、抑制度合い（例えば、彩度の抑制度合い）を大きくした画像処理を行う。なお、非重要次元に対応する画像特徴（色）は、即ち、外見上重要でない画像特徴（色）である。このため、非重要次元に対応する画像特徴（色）に対しては、強調処理ではなく、抑制処理を施すようにしている。

（２−４）一方、重要度ヒストグラムを参照し、非重要次元４と、当該非重要次元に隣接する重要次元３とを比較し、出現頻度ヒストグラムにおいて、対応する非重要次元と重要次元との出現頻度の差異（差分値）が大きい場合、類似する色（ビン）が少ないことを意味する。類似する色が少ない場合には、抑制度合いが小さくとも、外見上容易に識別が可能であり、逆に必要以上に抑制を行ってしまうと、仕上がりの不自然さが大きくなる。従って、画像処理部１０２は、出現頻度の差異（差分値）が大きいほど、非重要次元に対応する画像特徴（色）に対し、抑制度合い（例えば、彩度の抑制度合い）を小さくした画像処理を行う。なお、差異（差分値）が非常に大きい場合（例えば、所定閾値よりも大きい場合）、外見上十分容易に識別が可能であるため、非重要次元に対応する画像特徴（色）に対する抑制処理を行わないようにしてもよい。

（２−５）画像処理部１０２は、上記（２−１）〜（２−４）以外の次元については、隣接次元の強調・抑制度合を補間する画像処理を行う。

（強調・抑制処理フロー）
図１６は、本実施例における強調・抑制処理動作の一例を示すフローチャートである。当該フローチャートは、サンプル画像の次元毎に実行される。

Ｓ５０１：画像処理装置１において、画像処理部１０２は、対象となる次元が重要次元か否かを判定する。重要次元は、重要度が所定閾値以上の次元である。対象となる次元が重要次元である場合、Ｓ５０２へ進む。対象となる次元が重要次元でない場合、次元は非重要次元であるので、Ｓ５０５へ進む。

Ｓ５０２：画像処理部１０２は、当該重要次元が非重要次元に隣接するか否かを判定する。当該重要次元が非重要次元に隣接する場合、Ｓ５０３へ進む。当該重要次元が非重要次元に隣接しない場合、ＥＮＤへ進みフローチャートを終了する。なお、この場合、画像処理部１０２は、隣接次元の強調・抑制度合を補間する画像処理を行ってよい。

Ｓ５０３：画像処理部１０２は、当該重要次元の出現頻度と、隣接する非重要次元の出現頻度との差分値を算出する。

Ｓ５０４：画像処理部１０２は、Ｓ５０３で算出した出現頻度の差分値に応じて、強調度合いを調整する。

例えば、画像処理部１０２は、出現頻度の差異（差分値）が小さいほど、当該重要次元に対応する画像特徴に対し、強調度合いを大きくした画像処理を行う。一方、画像処理部１０２は、出現頻度の差異（差分値）が大きいほど、重要次元に対応する画像特徴に対し、強調度合いを小さくした画像処理を行う。また、画像処理部１０２は、差異（差分値）が非常に大きい場合（例えば、所定閾値よりも大きい場合）、外見上十分容易に識別が可能であるため、重要次元に対応する画像特徴（形状）に対する強調処理を行わないようにしてもよい。

Ｓ５０５：一方、画像処理部１０２は、対象となる次元が非重要次元である場合、当該非重要次元が重要次元に隣接するか否かを判定する。当該非重要次元が重要次元に隣接する場合、Ｓ５０６へ進む。当該非重要次元が重要次元に隣接しない場合、ＥＮＤへ進みフローチャートを終了する。なお、この場合、画像処理部１０２は、隣接次元の強調・抑制度合を補間する画像処理を行ってよい。

Ｓ５０６：画像処理部１０２は、当該非重要次元の出現頻度と、隣接する重要次元の出現頻度との差分値を算出する。

Ｓ５０７：画像処理部１０２は、Ｓ５０３で算出した出現頻度の差分値に応じて、抑制度合いを調整する。

例えば、画像処理部１０２は、出現頻度の差異（差分値）が小さいほど、当該非重要次元に対応する画像特徴（に対し、抑制度合いを大きくした画像処理を行う。一方、画像処理部１０２は、出現頻度の差異（差分値）が大きいほど、非重要次元に対応する画像特徴対し、抑制度合いを小さくした画像処理を行う。また、画像処理部１０２は、差異（差分値）が非常に大きい場合（例えば、所定閾値よりも大きい場合）、外見上十分容易に識別が可能であるため、非重要次元に対応する画像特徴（形状）に対する抑制処理を行わないようにしてもよい。

図１７は、本実施例における強調・抑制処理の対象例を示す図である。

図１７に示されるように、画像特徴が形状である場合、重要次元に対してはエッジを強調し、非重要次元に対してぼかしを強調する。一方、画像特徴が色である場合、重要次元に対しては彩度を強調し、非重要次元に対して彩度を抑制する。

＜強調・抑制処理後のサンプル画像＞
図１８は、強調・抑制処理後のサンプル画像例を示す図である。

図に示されるように、一般的な強調・抑制処理によれば、重要箇所（注目領域）１７００−２内において、例えば、画像特徴（形状）１７０１−２、画像特徴（形状）１７０２−２、画像特徴（色）１７０３−２は、×２．０の強調度合いで画像処理が実行される。

一方、本実施例における強調・抑制処理によれば、重要箇所（注目領域）１７００内において、例えば、画像特徴（形状）１７０１は、×１．５の強調度合いで、画像特徴（形状）１７０２は、×１．１の強調度合いで、画像特徴（色）１７０３は、×−１．５の強調度合い（×１．５の抑制度合い）で画像処理が実行される。

本例のサンプル画像の場合、本実施例における強調・抑制処理のように、画像特徴（形状）１７０１は、×１．５の強調度合いで、画像特徴（形状）１７０２は、×１．１の強調度合いで、画像特徴（色）１７０３は、×−１．５の強調度合い（×１．５の抑制度合い）で、外見上十分容易に識別が可能である。

これに対し、一般的な強調・抑制処理によれば、重要箇所（注目領域）１７００−２内において、例えば、画像特徴（形状）１７０１−２、画像特徴（形状）１７０２−２、画像特徴（色）１７０３−２は、×２．０の強調度合いで画像処理が実行される。しかしながら、一般的な強調・抑制処理のように、重要箇所（注目領域）の全ての画素に同一の度合いで強調又は抑制の画像処理を行うと、元画像と比べて、重要箇所（注目領域）の画像特徴の全体傾向が変わってしまい、不自然な強調又は抑制となる可能性がある。

本実施例における強調・抑制処理は、サンプル画像上、画像特徴の出現頻度と画像特徴に類似する画像特徴との出現頻度に応じて（即ち、外見上の識別容易性に応じて）、強調・抑制処理の度合いを調整するため、過度な画像処理を抑制して、元画像を生かした自然な強調・抑制処理を行うことが可能である。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。本実施例における病害虫の例に限られず、例えば、各種の動物、植物、昆虫、魚、鳥、両生類、はちゅう類等々の例に適用することができる。またこのような生物以外にも、類似する対象物であって、一部の特徴点により、識別可能な対象物に適用することができる。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
異なるカテゴリに属する画像同士を比較し、カテゴリ間における画像特徴を抽出する画像特徴抽出部と、
前記画像特徴の出現頻度と、該画像特徴と類似する類似画像特徴の出現頻度との差分度合いに応じて、前記画像特徴に対する強調の度合いを調整する画像処理部と、
を有することを特徴とする画像処理装置。
（付記２）
前記画像処理部は、
前記差分度合いが大きいほど、前記画像特徴に対する強調の度合いを小さく調整すること、
を特徴とする付記１記載の画像処理装置。
（付記３）
前記画像処理部は、
前記差分度合いが所定度合いよりも大きい場合、前記画像特徴に対する強調の度合いを、該強調の不実行を示す度合いに調整すること、
を特徴とする付記１又は２記載の画像処理装置。
（付記４）
前記画像処理部は、
前記差分度合いに応じて、前記類似画像特徴に対する抑制の度合いを調整すること、
を特徴とする付記１ないし３何れか一項記載の画像処理装置。
（付記５）
前記画像処理部は、
前記差分度合いが大きいほど、前記類似画像特徴に対する抑制の度合いを小さく調整すること、
を特徴とする付記４記載の画像処理装置。
（付記６）
前記画像処理部は、
前記差分度合いが所定度合いよりも大きい場合、前記類似画像特徴に対する抑制の度合いを、該抑制の不実行を示す度合いに調整すること、
を特徴とする付記４又は５記載の画像処理装置。
（付記７）
前記画像特徴は、少なくとも、形状特徴又は色特徴の何れかを含むこと、
を特徴とする付記１ないし６何れか一項記載の画像処理装置。
（付記８）
コンピュータにより実行される画像処理方法であって、
異なるカテゴリに属する画像同士を比較し、カテゴリ間における画像特徴を抽出し、
前記画像特徴の出現頻度と、該画像特徴と類似する類似画像特徴の出現頻度との差分度合いに応じて、前記画像特徴に対する強調の度合いを調整すること、
を特徴とする画像処理方法。
（付記９）
異なるカテゴリに属する画像同士を比較し、カテゴリ間における画像特徴を抽出し、
前記画像特徴の出現頻度と、該画像特徴と類似する類似画像特徴の出現頻度との差分度合いに応じて、前記画像特徴に対する強調の度合いを調整する処理を、コンピュータに実行させる画像処理プログラム。

１ 画像処理装置１
２ 記憶装置
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ ＨＤＤ
１５ インターフェース
１６ 入力装置
１７ 表示装置
１８ 通信装置
１０１ 画像特徴抽出部
１０２ 画像処理部

Claims (5)

1. 異なるカテゴリに属する画像からそれぞれ抽出される特徴点を、所定の特徴空間における各領域に分類し、同一領域に分類された特徴点同士をカテゴリ間において比較することで、カテゴリ間における特徴点の出現頻度の差が所定の条件を満たす領域を特定して、カテゴリ間における画像特徴を抽出する画像特徴抽出部と、
   前記画像特徴に対応する領域に分類された特徴点の出現頻度と、該画像特徴と類似する類似画像特徴に対応する領域に分類された特徴点の出現頻度との差分度合いに応じて、前記画像特徴に対応する領域に分類された特徴点に対する強調の度合いを調整する画像処理部と、
   を有することを特徴とする画像処理装置。
2. 前記画像処理部は、
   前記差分度合いが大きいほど、前記画像特徴に対応する領域に分類された特徴点に対する強調の度合いを小さく調整すること、
   を特徴とする請求項１記載の画像処理装置。
3. 前記画像処理部は、
   前記差分度合いが所定度合いよりも大きい場合、前記画像特徴に対応する領域に分類された特徴点に対する強調の度合いを、該強調の不実行を示す度合いに調整すること、
   を特徴とする請求項１又は２記載の画像処理装置。
4. コンピュータにより実行される画像処理方法であって、
   異なるカテゴリに属する画像からそれぞれ抽出される特徴点を、所定の特徴空間における各領域に分類し、同一領域に分類された特徴点同士をカテゴリ間において比較することで、カテゴリ間における特徴点の出現頻度の差が所定の条件を満たす領域を特定して、カテゴリ間における画像特徴を抽出し、
   前記画像特徴に対応する領域に分類された特徴点の出現頻度と、該画像特徴と類似する類似画像特徴に対応する領域に分類された特徴点の出現頻度との差分度合いに応じて、前記画像特徴に対応する領域に分類された特徴点に対する強調の度合いを調整すること、
   を特徴とする画像処理方法。
5. 異なるカテゴリに属する画像からそれぞれ抽出される特徴点を、所定の特徴空間における各領域に分類し、同一領域に分類された特徴点同士をカテゴリ間において比較することで、カテゴリ間における特徴点の出現頻度の差が所定の条件を満たす領域を特定して、カテゴリ間における画像特徴を抽出し、
   前記画像特徴に対応する領域に分類された特徴点の出現頻度と、該画像特徴と類似する類似画像特徴に対応する領域に分類された特徴点の出現頻度との差分度合いに応じて、前記画像特徴に対応する領域に分類された特徴点に対する強調の度合いを調整する処理を、コンピュータに実行させる画像処理プログラム。