JP6375778B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は，ヒューリスティクスを利用して画像フィルタを生成する技術に関する。

画像等の視覚刺激（目に見える情報）には、ヒトの視覚にとってそもそも目立ちやすい個所とそうでない個所が存在し，このような「目立ちやすさ」という性質を「顕著性」と呼び，その度合いを「顕著度」と呼んでいる。コンピュータに顕著度を算出させるアルゴリズムは，非引用文献１等で既に開示されている公知の技術で，コンピュータが画像内の顕著度を算出できれば，画像内において目立ちやすい領域をコンピュータ側で判断できるため，顕著度を利用して画像処理する様々な試みが検討されている。

例えば，特許文献１では，原画像に含まれる画素の色周波数の重み付け関数に従い，原画像の顕著性マップを生成し、画素のエネルギー値（顕著度）に基づいて原画像の構図を変更することで，アスペクト比は異なるが原画像と内容が変わらない画像を得ることのできる発明が開示されている。

更に，特許文献２では，原画像の顕著性マップを生成し、原画像の一部領域である注目領域（特許文献２では第１領域）及び原画像の顕著性マップに基づいて、注目領域又は注目領域を除く領域の少なくとも一方に対して，顕著度の算出に用いる基礎特徴についての画像補正（輝度成分に対する補正処理、色成分に対する補正処理または方向性エッジ成分に対する補正処理）を行うことで，原画像に含まれる主要被写体が良好な画像を取得できる発明が開示されている。

特許文献２で開示されている発明を応用すれば，注目領域内の顕著度を所望する指標（例えば，顕著度を高めるまたは低める）にできるだけ沿うように変化させた原画像を得ることができるが，このように原画像を画像処理すると，原画像と画像フィルタ適用後の原画像の印象が大幅に変わってしまうことがあるため，原画像に設定された注目領域の顕著度が所望する指標にできるだけ沿うように変化し，かつ，原画像と画像フィルタ適用後の原画像の印象が大幅に変わることがないように画像処理できることが望まれる。

このような画像処理には，原画像の局所領域に適用する様々な基本フィルタを直列的に組合せた画像フィルタが必要になるが，基本フィルタの組合せの数は膨大になるため，原画像に設定された注目領域内の顕著度が所望する指標にできるだけ沿うように変化し，原画像と画像フィルタ適用後の原画像の印象が大幅に変わることがないという目的に適合する基本フィルタの最適な組合せを見るけることは困難である。

膨大な解空間の中から近似解を短時間で探索できる手法としてヒューリスティクスが知られており，例えば，特許文献３では，ヒューリスティクスの一つである遺伝的アルゴリズムを利用して画像フィルタを生成する発明が開示されている。しかし，ヒューリスティクス（例えば，遺伝的アルゴリズム）を利用して画像フィルタを生成する従来の技術は，原画像に設定された注目領域の顕著度が所望する指標にできるだけ沿うように変化し，かつ，原画像と画像フィルタ適用後の原画像の印象が大幅に変わることがないという結果が得られる画像フィルタを生成することを目的とした発明ではない。

特表２０１２−５２１７０８号公報 特開２０１４−２２８２６号公報 特開２０１０−２６９４４号公報

"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis", Laurent Itti, Christof Koch, and Ernst Niebur.IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254-1259, November, 1998

そこで，本発明は，原画像の一部領域である注目領域内の顕著度が所望する指標にできるだけ沿うように変化し，かつ，原画像と画像フィルタ適用後の原画像の印象が大幅に変わることがないという結果が得られる画像フィルタを自動的に生成できる画像処理方法および装置を提供することを目的とする。

上述した課題を解決する第１の発明は，コンピュータ装置が，画像処理の対象となる原画像を取得する原画像取得処理を実行するステップ，コンピュータ装置が，前記原画像内において顕著度を変更する領域となる注目領域を取得する注目領域取得処理を実行するステップ，コンピュータ装置が，前記原画像内の注目領域の顕著度を高める画像フィルタを生成する画像フィルタ生成処理ステップ、を含んだ画像処理方法であって、前記画像フィルタ生成処理ステップは、前記画像フィルタを前記原画像に適用後の画像と適用前の画像の類似性を評価する類似性適応度、および、この画像フィルタ適用後の前記原画像内の注目領域の顕著度の統計量を評価した顕著性適応度に基づいて算出される適応度を最大とする画像フィルタの最適化問題を解くステップを含むことを特徴とする画像処理方法である。

更に，第２の発明は，第１の発明に記載した画像処理方法において，前記画像フィルタは、前記原画像内の局所領域に適用する基本フィルタの組合せであって、前記画像フィルタの最適化問題を解くステップを、所定の終了条件を課した下での前記基本フィルタを遺伝子とした遺伝的アルゴリズムを用いて行うことを特徴とする。

更に，第３の発明は，第１の発明または第２の発明に記載した画像処理方法において，ぼんやり見たときの類似性を前記類似性適応度に反映させることができるようにした発明で，コンピュータ装置は，前記原画像と前記画像フィルタ適用後の原画像それぞれに平滑化処理を所定回数だけ繰り返し実行することで，前記原画像の平滑化画像列と前記画像フィルタ適用後の原画像の平滑化画像列を生成し，前記類似性適応度として，次式で示すカイ離度を算出することを特徴とする。

更に，第４の発明は，ヒューリスティクスを利用した画像処理を実行する装置であって，画像処理の対象となる原画像を取得する原画像取得手段と，前記原画像内において顕著度を変更する領域となる注目領域をオペレータに設定させる注目領域設定手段と，前記原画像内の局所領域に適用する基本フィルタの組合せで構成する画像フィルタの最適化問題をヒューリスティクスにより解くことで，前記原画像に適用する前記画像フィルタを生成する画像フィルタ生成手段を備え，前記画像フィルタ生成手段は，前記画像フィルタを前記原画像に適用後の画像と適用前の画像の類似性を評価する類似性適応度、および、この画像フィルタ適用後の前記原画像内の注目領域の顕著度の統計量を評価した顕著性適応度に基づいて算出される適応度を最大とする画像フィルタの最適化問題を解くことを特徴とする画像処理装置である。

更に，第５の発明は，第４の発明に記載した画像処理装置において，前記画像フィルタは、前記原画像内の局所領域に適用する基本フィルタの組合せであって、前記画像フィルタ生成手段は，所定の終了条件を課した下での前記基本フィルタを遺伝子とした遺伝的アルゴリズムを用いて行うことを特徴とする。

更に，第６の発明は，第４の発明または第５の発明に記載した画像処理装置において，前記画像フィルタ生成手段は，前記原画像と前記画像フィルタ適用後の原画像それぞれに平滑化処理を所定回数だけ繰り返し実行することで，前記原画像の平滑化画像列と前記画像フィルタ適用後の原画像の平滑化画像列を生成し，類似性適応度として，次式で示すカイ離度を算出することを特徴とする。

上述した本発明によれば，注目領域内の顕著度を評価した顕著性適応度は，オペレータが原画像内に設定した注目領域の顕著度が所望する指標にできるだけ沿うように変化した度合いを示す指標になり，原画像との類似性を評価した類似性適応度は，原画像と画像フィルタ適用後の原画像との差の度合いを示す指標になるため，顕著性適応度と類似性適応度に基づき算出した適応度を最大とする画像フィルタの最適化問題を解くことで，原画像内に設定された注目領域内の顕著度が所望する指標にできるだけ沿うように変化し，かつ，原画像と画像フィルタ適用後の原画像との差が大幅に変わらないという結果が得られる画像フィルタを生成できる。

像処理方法のおおまかな処理の流れを説明する図。 画像フィルタ探索処理の大まかな流れを説明する図。 初期世代生成処理を説明する図。 評価処理を説明する図。 顕著性適応度を算出する処理を説明する図。 類似性適応度を算出する処理を説明する図。 遺伝的操作処理を説明する図。 本実施形態に係る画像処理装置の構成を説明する図。 本実施形態に係る画像処理装置のブロック図。 画像処理装置が取得する原画像を説明する図。 原画像上に設定された注目領域を説明する図。 画像処理装置が生成する局所領域を説明する図。 平滑化画像列を説明する図。 画像処理装置が出力する出力画像を説明する図。

ここから，本発明の好適な実施形態を記載する。なお，以下の記載は本発明の範囲を束縛するものでなく，理解を助けるために記述するものである。

まず，本実施形態に係る画像処理方法について説明する。図１は，画像処理方法のおおまかな処理の流れを説明する図である。本実施形態に係る画像処理方法は，サーバやパーソナルコンピュータ等のコンピュータ装置が実行する方法で，コンピュータ装置が，画像処理の対象となる原画像を取得する原画像取得処理（Ｓ１）を実行するステップ，コンピュータ装置が，原画像内において顕著度を変更する領域となる注目領域をオペレータに設定させる注目領域設定処理（Ｓ２）を実行するステップ，コンピュータ装置が，原画像内の局所領域に適用する基本フィルタの組合せで構成する画像フィルタの最適化問題をヒューリスティクスにより解くことで，原画像に適用する画像フィルタを生成する画像フィルタ探索処理（Ｓ３）を実行するステップを含む。

本実施形態に係る画像処理方法の原画像取得処理（Ｓ１）において，コンピュータ装置が取得する原画像とは，画像処理の対象となる画像で，この処理において，コンピュータ装置は，オペレータ等が指定した原画像そのものデータや原画像が記憶されているパスを取得することになる。原画像の形態は様々考えられる。デジタルカメラで撮影された画像を原画像としてもよいが，ウェブページ全体の画像やウェブページに含まれる一つの画像を原画像とすることができる。なお，ウェブページ全体の画像を原画像とする際，コンピュータ装置は，所定のＨＴＭＬファイルにアクセスし，ウェブページ全体を画像に変換して記憶することで原画像を取得する。

また，本実施形態に係る画像処理方法の注目領域設定処理（Ｓ２）において，オペレータが原画像上に設定する注目領域とは，原画像内において顕著度を変更する領域で，この処理において，コンピュータ装置は，オペレータが原画像上に設定した注目領域の座標を取得することになる。オペレータが原画像上に注目領域を設定する手法は様々考えられる。例えば，ポインティングデバイスを用いて矩形の注目領域をオペレータに設定させることもできるし，コンピュータ装置が原画像に含まれるオブジェクト（例えば，ウェブページに含まれる広告画像）を画像解析し，注目領域とするオブジェクトをオペレータに選択させることもできる。

本実施形態に係る画像処理方法の画像フィルタ探索処理（Ｓ３）において，コンピュータ装置は，原画像に設定された注目領域の顕著度が所望する指標にできるだけ沿うように変化し，原画像と画像フィルタ適用後の原画像の印象が大幅に変わることがないという結果が得られる画像フィルタを探索できるように，画像フィルタの評価に用いる適応度を，画像処理フィルタを原画像に適用した結果となる画像フィルタ適用後の原画像における注目領域内の顕著度の統計量を評価した顕著性適応度，および，原画像と画像フィルタ適用後の原画像の類似性を評価した類似性適応度に基づき算出する。

注目領域内の顕著度を評価した顕著性適応度は，原画像内に設定された注目領域の顕著度が所望する指標にできるだけ沿うように変化した度合いを示す指標になり，原画像との類似性を評価した類似性適応度は，原画像と画像フィルタ適用後の原画像との差の度合いを示す指標になるため，顕著性適応度と類似性適応度に基づき算出した適応度を用いて画像フィルタをヒューリスティクスにより探索することで，原画像内に設定された注目領域内の顕著度が所望する指標にできるだけ沿うように変化し，かつ，原画像と画像フィルタ適用後の原画像との差が大幅に変わらないという結果が得られる画像フィルタを生成できる。

本実施形態に係る画像処理方法の画像フィルタ探索処理（Ｓ３）について詳細に説明する。広大な解空間から最適に近い近似解を短時間で探索できるヒューリスティクスには様々あるが，ここでは，このヒューリスティクスに遺伝的アルゴリズムを用いる。遺伝的アルゴリズムとは，生物の遺伝の仕組みに着想を得たアルゴリズムで，遺伝的アルゴリズムでは，複数の遺伝子で表現した個体を複数含む個体群を用意し、適応度の高い個体を優先的に選択して交叉などの遺伝的操作を行い，個体群を進化させ，最適に近似解が探索される。

次式は，本実施形態に係る遺伝子と個体を説明する式である。

本実施形態において，遺伝的アルゴリズムの遺伝子は基本フィルタになり，遺伝的アルゴリズムの個体は画像フィルタになる。遺伝的アルゴリズムの個体となる画像フィルタは，具体的には，複数の基本フィルタを直列的に連結した構造になり，画像フィルタを原画像に適用する際，画像フィルタに含まれる基本フィルタが原画像に順次適用されることになる。

遺伝的アルゴリズムの遺伝子となる基本フィルタは，基本フィルタを適用する局所領域と基本フィルタの作用を示す作用要素の組で少なくとも表現される。基本フィルタを適用する局所領域には，原画像上における局所領域の座標を示すデータが記述される。局所領域の形状およびサイズは任意に決定できるが，局所領域をｎ×ｍピクセルの矩形領域とすることが一般的である。また，基本フィルタの作用としては，基本フィルタの実現性を考慮すると，明度を変化させる作用，色相を変化させる作用，彩度を変化させる作用の３つが考えられ，これらの作用のいずれか一つを示すデータが作用要素として基本フィルタに記述される。

図２は，ヒューリスティクスに遺伝的アルゴリズムを用いた画像フィルタ探索処理（Ｓ３）の大まかな流れを説明する図である。

遺伝的アルゴリズムにより画像フィルタを生成する際，コンピュータ装置は，遺伝的アルゴリズムに係る初期世代の個体群として，初期世代の画像フィルタを複数含む初期世代の画像フィルタ群を生成する初期世代生成処理（Ｓ１０）を実行する。次に，コンピュータ装置は，評価対象となる画像フィルタ群に含まれる画像フィルタそれぞれについて適応度を演算することで，画像フィルタ群を評価する評価処理（Ｓ１１）を実行する。次に，コンピュータ装置は，予め定められた終了条件が満たされているか判定する処理（Ｓ１２）を実行し，予め定められた終了条件が満たされていると判定した場合，この時点の画像フィルタ群に含まれる画像フィルタの中から，適応度が最も高い画像フィルタを原画像に適応した結果である画像フィルタ適用後の原画像を出力する出力処理（Ｓ１４）を実行して，この手順は終了する。また，コンピュータ装置は，予め定められた終了条件が満たされていないと判定した場合，交叉等の遺伝的操作によりこの時点の画像フィルタ群を次世代の画像フィルタに進化させる遺伝的操作処理（Ｓ１３）を実行してから評価処理（Ｓ１１）に戻る。

コンピュータ装置が判定する終了条件としては，世代を判定する世代判定と適応度の収束を判定する収束判定が考えられる。世代判定とは，評価対象となる画像フィルタ群の世代を判定する手法で，評価対象となる画像フィルタ群の世代が事前に定められた第Ｎ世代（Ｎは自然数で例えばN=１００）になると，コンピュータ装置は，終了条件が満たされたと判定する。また，収束判定とは，適応度の収束を判定する手法で，この時の世代の画像フィルタ群から得られた最も高い適応度と一つ前の次世代の画像フィルタ群から得られた最も高い適応度との差が一定の範囲に収まっているとき、コンピュータ装置は，終了条件が満たされたと判定する。

初期世代生成処理（Ｓ１０）について詳細に説明する。図３は，初期世代生成処理（Ｓ１０）を説明する図である。まず，初期世代の画像フィルタ群を生成する際，コンピュータ装置は，原画像を所定の矩形サイズに分割するなどして，原画像内における局所領域を複数生成する処理（Ｓ２０）を実行する。次に，コンピュータ装置は，初期世代の画像フィルタ群に含ませる画像フィルタの数だけ繰り返して実行するループ処理Ｌ１（Ｓ２１）を実行し，このループ処理Ｌ１（Ｓ２１）において，コンピュータ装置は，画像フィルタに含ませる遺伝子の数だけ繰り返して実行するループ処理Ｌ２（Ｓ２２）を実行する。ループ処理Ｌ２（Ｓ２２）において，コンピュータ装置は，遺伝的アルゴリズムの遺伝子となる基本フィルタの局所領域と基本フィルタの作用要素をそれぞれランダムに選択することで，基本フィルタをランダムに生成し，この時までに既に生成している基本フィルタと直列的に結合する処理（Ｓ２３）を実行する。なお，初期世代の画像フィルタ群に含ませる画像フィルタの数はコンピュータ装置の外部から設定される値になるが，画像フィルタに含ませる基本フィルタの数は，コンピュータ装置の外部から設定される値でもよく，また，コンピュータ装置の内部でランダムに生成される所定数以上の値でもよい。

次に，評価処理（Ｓ１１）について説明する。図４は，評価処理（Ｓ１１）を説明する図である。コンピュータ装置は，評価処理（Ｓ１１）において，評価対象となる画像フィルタ群に含まれる画像フィルタの数だけ繰り返して実行するループ処理Ｌ３（Ｓ３０）を実行する。このループ処理Ｌ３（Ｓ３０）において，コンピュータ装置は，画像フィルタ適用後の原画像における注目領域内の顕著度を評価した顕著性適応度を算出する処理（Ｓ３１）を実行し，次に，原画像と画像フィルタ適用後の原画像の類似性を評価した類似性適応度を算出する処理（Ｓ３２）を実行し，そして，顕著性適応度と類似性適応度に少なくとも基づき適応度を算出する処理（Ｓ３３）を実行する。すなわち，コンピュータ装置が，このループ処理Ｌ３（Ｓ３０）を実行することで，評価対象となる画像フィルタ群に含まれる画像フィルタ毎の適応度が算出されることになる。

図５は，顕著性適応度を算出する処理（Ｓ３１）を説明する図である。顕著性適応度を算出する処理（Ｓ３１）において，コンピュータ装置は，図４のループ処理Ｌ３（Ｓ３０）の対象となる画像フィルタを原画像に適用することで画像フィルタ適用後の原画像を生成する処理（Ｓ４０）を実行し，次に，画像フィルタ適用後の原画像の顕著性マップを生成する処理（Ｓ４１）を実行し，次に，画像フィルタ適用後の原画像における注目領域内の顕著度の統計量を算出する処理（Ｓ４２）を実行し，そして，注目領域内の顕著度の統計量から顕著性適応度を算出する処理（Ｓ４３）を実行する。

画像フィルタ適用後の原画像を生成する処理（Ｓ４０）では，ループ処理Ｌ３（Ｓ３０）の対象となる画像フィルタに直列的に連結されている基本フィルタを原画像に順次適用することで，画像フィルタ適用後の原画像が生成される。注目領域内の顕著度の統計量を算出する処理（Ｓ４２）において算出する統計量としては，最大値、平均値、最小値または中央値などが考えられる。なお，画像フィルタ適用後の原画像の顕著性マップを生成する処理（Ｓ４１）の内容は，上述の非特許文献１などで詳細に記載されているため，ここでは説明を省く。

注目領域内の顕著度の統計量から顕著性適応度を算出する処理（Ｓ４３）の内容は，注目領域内の顕著度を変化させる際に用いる指標によって異なる。注目領域内の顕著度が，顕著度が高くなるほど階調が大きくなる２５６階調（０〜２５５）で表記されていると仮定する。注目領域内の顕著度を変化させる際に用いる指標が「注目領域内の顕著度を高める」の場合，すなわち，注目領域内の画像を目立たせたい場合は，注目領域内の顕著度の統計量が大きいほど目的が達成されていることになるため，顕著性適応度が大きいほど目的が達成されていることが示されるように，注目領域内の顕著度の統計量をそのまま顕著性適応度とする。また，注目領域内の顕著度を変化させる際に用いる指標が「注目領域内の顕著度を低める」の場合，すなわち，注目領域内の画像を目立たせたくない場合は，注目領域内の顕著度の統計量が小さいほど目的が達成されていることになるため，顕著性適応度が大きいほど目的が達成されていることが示されるように，注目領域内の顕著度の統計量の各ビットを反転させた値を顕著性適応度とする。更に，注目領域内の顕著度を変化させる際に用いる指標を「注目領域内の顕著度の平均値を１０％高める（または，１０％低める）」とすることもできる。この場合，原画像における注目領域内の顕著度の平均値を１０％高めた値（または，１０％低めた値）を目標値とし，顕著性適応度が大きいほど目的が達成されていることが示されるように，注目領域内の顕著度の統計量（ここでは，平均値）と目標値の差を２５５から減算した値を顕著性適応度とする。

図６は，類似性適応度を算出する処理（Ｓ３２）を説明する図である。類似性適応度を算出する処理（Ｓ３２）において，コンピュータ装置は，原画像と画像フィルタ適用後の原画像それぞれについて，平滑化処理を所定回数だけ繰り返し実行することで，原画像の平滑化画像列と画像フィルタ適用後の原画像の平滑化画像列を生成する処理（Ｓ５０）を実行する。なお，平滑化処理としては，ガウシアンフィルタや平均化フィルタなどを用いることができる。

次に，コンピュータ装置は，原画像と画像フィルタ適用後の原画像との差が大幅に変わらないことを示す指標である類似性適応度として，次式で示すカイ離度を算出する処理（Ｓ５１）を実行して，この手順は終了する。

カイ離度とは，原画像と画像フィルタ適用後の原画像が離れている度合いを示す値で，原画像と画像フィルタ適用後の原画像が離れていなければ小さな値に、原画像と画像フィルタ適用後の原画像が離れていれば大きな値になる。上式において，｛Ｍ_i｝は原画像の平滑化画像列を，｛Ｖ_i｝は画像フィルタ適用後の原画像の平滑化画像列を，そして，添え字のｉは平滑化処理した回数を示す。例えば，Ｍ₀は，平滑化していない原画像を示し，Ｖ₁は平滑化処理を１回実行した画像フィルタ適用後の原画像を示す。また，上式において，Ｗ_iは重み付け定数で、ｄ（）は画像間の距離を求める関数を表している。画像間の距離を算出する手法は様々あるが、例えば，画像に含まれる画素をある数値に変換（グレースケールに変換、ＨＳＶに変換、ＲＧＢコードに変換など）し、1次元ベクトルとして、いわゆる距離（ユークリッド距離、マハラノビス距離など）を算出するとよい。

上述のように，類似性適応度を算出することで、原画像と画像フィルタ適用後の原画像それぞれを平滑化処理したときの画像間の距離が類似性適応度に反映されることになる。例えば，平滑化処理の回数を２回とする場合，原画像と画像フィルタ適用後の原画像の距離をＷ₀で重み付けした値と，平滑化処理を１回実行した原画像と平滑化処理を１回実行した画像フィルタ適用後の原画像の距離をＷ₁で重み付けした値と，平滑化処理を２回実行した原画像と平滑化処理を２回実行した画像フィルタ適用後の原画像の距離をＷ₂で重み付けした値の総和が類似性適応度になる。

なお，原画像と画像フィルタ適用後の原画像それぞれを平滑化処理したときの画像間の距離を類似性適応度に反映させるのには意味がある。平滑化処理することによって画像はぼやけるため，原画像と画像フィルタ適用後の原画像それぞれを平滑化処理したときの画像間の距離を類似性適応度に反映させることで，よく見たときの原画像と画像フィルタ適用後の原画像の類似性に加え，ぼんやりと見たときの原画像と画像フィルタ適用後の原画像の類似性を類似性適応度に反映させることができる。

次に，適応度を算出する処理（Ｓ３３）について説明する。適応度は，顕著性適応度が大きいほど大きく，類似性適応度が小さいほど大きくなる数値で，原画像に設定された注目領域内の顕著度が所望する指標にできるだけ沿うように変化し，原画像と画像フィルタ適用後の原画像の印象が大幅に変わることがないという目的を達成しているほど適応度は大きくなる。

顕著性適応度が大きいほど適応度が大きくなるためには，顕著性適応度に正の相関を持たせることが必要で，類似性適応度が小さいほど適応度が大きくなるためには，顕著性適応度に負の相関を持たせることが必要になり，例えば，次式を用いて適応度を算出することができる。
なお，上式において，Ｆ＿Ｓは，図４のループ処理Ｌ３（Ｓ３０）の対象となる画像フィルタに係る顕著性適応度で，Ｆ＿Ｄは，図４のループ処理Ｌ３（Ｓ３０）の対象となる画像フィルタに係る類似性適応度で，Ｆは，図４のループ処理Ｌ３（Ｓ３０）の対象となる画像フィルタに係る適応度で，ｖは定数である。

次に，図２の遺伝的操作処理（Ｓ１３）について説明する。図７は，遺伝的操作処理（Ｓ１３）を説明する図である。遺伝的操作処理（Ｓ１３）において，コンピュータ装置は，評価した画像フィルタ群の中から遺伝的操作の対象とする２つの画像フィルタを選択する処理（Ｓ６０）を実行し，次に，選択した画像フィルタに施す遺伝的操作を選択する処理（Ｓ６１）を実行し，次に，選択した２つの画像フィルタを対象として，選択した遺伝的操作を行う処理（Ｓ６２）を実行し，次に，遺伝的操作により生成した画像フィルタの数を確認する処理（Ｓ６３）を実行する。なお，遺伝的操作により生成した画像フィルタの数を確認する処理（Ｓ６３）において，遺伝的操作により生成した画像フィルタの数が所定数に達していればこの処理を終了し，遺伝的操作により生成した画像フィルタの数が所定数に達していなければ，遺伝的操作の対象とする２つの画像フィルタを選択する処理（Ｓ６０）に戻る。

遺伝的操作の対象とする２つの画像フィルタを選択する処理（Ｓ６０）では，ルーレット選択、ランキング選択またはトーナメント選択などのアルゴリズムを用い、適応度が良好な個体がより優先的に選択される。また，遺伝的操作を選択する処理（Ｓ６１）では，所与の確率に従って、交叉（組み換え），無操作または突然変異のいずれかが選択される。交叉（組み換え）とは，２つの個体（ここでは，画像フィルタ）の遺伝子（ここでは，基本フィルタ）の一部を入れ換える操作で，遺伝子の一部を入れ換える操作としては，一点交叉、二点交叉、多点交叉および一様交叉などが知られている。更に，無操作とは，何もせず、選択された個体をコピーする操作である。更に，突然変異とは，個体の遺伝子の一部を変化させる操作である。

ここから，本実施形態に係る画像処理装置について説明する。図８は，本実施形態に係る画像処理装置１の構成を説明する図で，図９は，本実施形態に係る画像処理装置１のブロック図である。

図８に図示したように，本実施形態に係る画像処理装置１は，ＣＰＵ１ａ，ＲＡＭ１ｂ，ＲＯＭ１ｃ、データ記憶装置１ｄ（例えば，ハードディスク），ディスプレイ１ｅ，ポインティングデバイス１ｆおよびキーボード１ｇを備えたコンピュータ装置である。本実施形態に係る画像処理装置１のデータ記憶装置１ｄには，本実施形態に係る画像処理装置１のＣＰＵ１ａを動作させるコンピュータプログラムが記憶され，このコンピュータプログラムにより，本実施形態に係る画像処理方法を実行するための機能が画像処理装置１に備えられる。

図９に図示したように，本実施形態に係る画像処理装置１は，本実施形態に係る画像処理方法を実行するための機能として，画像処理の対象となる原画像を取得する原画像取得手段１０，顕著度を変更する領域である注目領域を取得する注目領域設定手段１１，原画像内の局所領域に適用する基本フィルタの組合せで構成する画像フィルタをヒューリスティクスにより探索する画像フィルタ生成手段１２を備える。

図９で図示したこれらの手段としてコンピュータ装置を機能させるためのコンピュータプログラムは，画像処理装置１として用いるコンピュータ装置にインストールされた画像処理ソフトウェアのプラグインで実現することが好適で，本実施形態に係る画像処理装置１は，図９で図示したこれらの手段を作動させるメニューを有する。

本実施形態に係る画像処理装置１の動作について説明する。ポインティングデバイス１ｆなどにより画像処理装置１の原画像取得手段１０を作動させるメニューが選択されることで，画像処理装置１の原画像取得手段１０は作動し，画像処理装置１の原画像取得手段１０は画像処理の対象となる原画像を取得する。図１０は，画像処理装置１が取得する原画像を説明する図で，図１０で図示した原画像には，２つの動物画像が含まれている。

画像処理装置１の原画像取得手段１０を作動させるメニューが選択された後，ポインティングデバイス１ｆなどにより画像処理装置１の注目領域設定手段１１を作動させるメニューが選択されると，画像処理装置１の注目領域設定手段１１が作動し，ここでは，画像処理装置１の注目領域設定手段１１は，画像処理装置１の原画像取得手段が取得した原画像をディスプレイ１ｅに表示し，ポインティングデバイス１ｆを利用して，オペレータに注目領域を設定させる。図１１は，原画像上に設定された注目領域を説明する図で，図１１において，原画像に含まれる右側の動物画像が注目領域に設定されている。

画像処理装置１の注目領域設定手段１１を作動させるメニューが選択された後，ポインティングデバイス１ｆなどにより画像処理装置１の画像フィルタ生成手段１２を作動させるメニューが選択されると，画像処理装置１の画像フィルタ生成手段１２が作動し，画像処理装置１の画像フィルタ生成手段１２は，図２から図７を用いて説明した画像フィルタ探索処理（Ｓ３）を実行し，終了条件が満たされた場合，画像フィルタ適用後の原画像をディスプレイ１ｅに表示する。

図１２は，画像処理装置１が生成する局所領域を説明する図である。図１２では，画像処理装置１の画像フィルタ生成手段１２は，画像処理装置１の原画像取得手段１０が取得した原画像を格子状に分割することで，矩形状の複数の局所領域を原画像上に生成している。

図１３は，類似性適応度を算出する際に生成される平滑化画像列を説明する図である。例えば，平滑化処理を実行する回数を２回とする場合，平滑化画像列には，平滑化処理を１回も実行していない画像と，平滑化処理を１回実行した画像と，平滑化処理を２回実行した画像が含まれる。図１３に図示したように，原画像の平滑化画像列｛Ｍ_i｝には，平滑化処理していない原画像と，平滑化処理を１回実行した原画像と，平滑化処理を２回実行した原画像が含まれ，また，画像フィルタ適用後の原画像の平滑化画像列｛Ｖ_i｝には，平滑化処理していない画像フィルタ適用後の原画像と，平滑化処理を１回実行した画像フィルタ適用後の原画像と，平滑化処理を２回実行した画像フィルタ適用後の原画像が含まれることになる。なお，類似性適応度としてカイ離度を算出する際は，平滑化処理していない原画像と平滑化処理していない画像フィルタ適用後の原画像間に係る距離と，平滑化処理を１回実行した原画像と平滑化処理を１回実行した画像フィルタ適用後の原画像間に係る距離と，平滑化処理を２回実行した原画像と平滑化処理を２回実行した画像フィルタ適用後の原画像間に係る距離がそれぞれ算出されることになる。

図１４は，終了条件が成立したときに，画像処理装置１が出力する出力画像を説明する図である。図１４で図示した出力画像は，図１０で図示した原画像から得られた画像で，図１４では，注目領域内の動物画像の背景を濃くすることで，原画像に設定された注目領域内の顕著度が所望する指標にできるだけ沿うよう（ここでは，向上する方向）に変化し，更に，原画像と画像フィルタ適用後の原画像の印象が大幅に変わることがないようにしている。

１ 画像処理装置
１０ 原画像取得手段
１１ 注目領域設定手段
１２ 画像フィルタ生成手段

Claims (6)

1. コンピュータ装置が，画像処理の対象となる原画像を取得する原画像取得処理を実行するステップ，
   コンピュータ装置が，前記原画像内において顕著度を変更する領域となる注目領域を取得する注目領域取得処理を実行するステップ，
   コンピュータ装置が，前記原画像内の注目領域の顕著度を高める画像フィルタを生成する画像フィルタ生成処理ステップ、
   を含んだ画像処理方法であって、
   前記画像フィルタ生成処理ステップは、前記画像フィルタを前記原画像に適用後の画像と適用前の画像の類似性を評価する類似性適応度、および、この画像フィルタ適用後の前記原画像内の注目領域の顕著度の統計量を評価した顕著性適応度に基づいて算出される適応度を最大とする画像フィルタの最適化問題を解くステップを含む
   ことを特徴とする画像処理方法。
2. 前記画像フィルタは、前記原画像内の局所領域に適用する基本フィルタの組合せであって、
   前記画像フィルタの最適化問題を解くステップを、所定の終了条件を課した下での前記基本フィルタを遺伝子とした遺伝的アルゴリズムを用いて行うことを特徴とする請求項１に記載の画像処理方法。
3. コンピュータ装置は，前記類似性適応度として，前記原画像と前記画像フィルタ適用後の原画像それぞれに平滑化処理を所定回数だけ繰り返し実行することで，前記原画像の平滑化画像列と前記画像フィルタ適用後の原画像の平滑化画像列を生成し，次式で示すカイ離度を算出することを特徴とする，請求項１または２に記載した画像処理方法。
   
4. ヒューリスティクスを利用した画像処理を実行する装置であって，画像処理の対象となる原画像を取得する原画像取得手段と，前記原画像内において顕著度を変更する領域となる注目領域をオペレータに設定させる注目領域設定手段と，前記原画像内の局所領域に適用する基本フィルタの組合せで構成する画像フィルタの最適化問題をヒューリスティクスにより解くことで，前記原画像に適用する前記画像フィルタを生成する画像フィルタ生成手段を備え，
   前記画像フィルタ生成手段は，前記画像フィルタを前記原画像に適用後の画像と適用前の画像の類似性を評価する類似性適応度、および、この画像フィルタ適用後の前記原画像内の注目領域の顕著度の統計量を評価した顕著性適応度に基づいて算出される適応度を最大とする画像フィルタの最適化問題を解く，
   ことを特徴とする画像処理装置。
5. 前記画像フィルタは、前記原画像内の局所領域に適用する基本フィルタの組合せであって、前記画像フィルタ生成手段は，所定の終了条件を課した下での前記基本フィルタを遺伝子とした遺伝的アルゴリズムを用いて行うことを特徴とする，請求項４に記載した画像処理装置。
6. 前記画像フィルタ生成手段は，類似性適応度として，前記原画像と前記画像フィルタ適用後の原画像それぞれに平滑化処理を所定回数だけ繰り返し実行することで，前記原画像の平滑化画像列と前記画像フィルタ適用後の原画像の平滑化画像列を生成し，次式で示すカイ離度を算出することを特徴とする，請求項４または５に記載した画像処理装置。