JP6201549B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来、対象物体の画像から得られる特徴量と、予め記憶している物体候補の特徴量とを比較して、対象物体を判定する画像処理装置が知られている。特徴量としては、例えば、対象物体の画像の基準点から所定の角度間隔で引いた複数の放射線の長さが用いられる。

特開２０１２−１４６１０８号公報

しかしながら、対象物体の画像に「折り返し部分」が含まれる場合、１つの放射線に対して当該１つの放射線と対象物体の画像の輪郭線との交点が複数個出現してしまうため、特徴量の精度が低下してしまう可能性がある。この結果として、対象物体の判定精度が低下してしまう可能性がある。

開示の技術は、上記に鑑みてなされたものであって、対象物体の判定精度を向上させることができる、画像処理装置及び画像処理プログラムを提供することを目的とする。

開示の態様では、画像処理装置は、プロセッサを有する。プロセッサは、対象物体の画像の輪郭線を複数の区間に分割する複数の分割点において曲率をそれぞれ算出する。前記プロセッサは、前記複数の分割点の順列に対する前記曲率の変化から、前記曲率に対する頻度を表す第１のヒストグラムを算出する。前記プロセッサは、前記算出した第１のヒストグラムに基づいて、統計的パラメータの値を算出する。前記プロセッサは、前記算出した統計的パラメータの値に基づいて、複数の分類の内で前記対象物体が属する分類を特定する。前記プロセッサは、前記曲率の変化についての相関に基づいて、前記対象物体を判定する。

開示の態様によれば、対象物体の判定精度を向上させることができる。

図１は、一実施例の画像処理装置の一例を示す図である。 図２は、一実施例の画像処理装置の処理動作の一例を示すフローチャートである。 図３は、一実施例の画像処理装置の処理動作の一例を示すフローチャートである。 図４は、一実施例の画像処理装置の処理動作の一例を示すフローチャートである。 図５は、一実施例の画像処理装置の処理動作の一例を示すフローチャートである。 図６は、対象物体の画像の輪郭の抽出の説明に供する図である。 図７は、重心の算出方法の説明に供する図である。 図８は、平行移動及び位置ベクトルＬ［ｋ］の説明に供する図である。 図９は、輪郭線を複数の区分に分割する分割点の説明に供する図である。 図１０は、分割点ベクトルと位置ベクトルとの対応付け処理の説明に供する図である。 図１１は、曲率変化曲線の一例を示す図である。 図１２は、曲率ヒストグラムの一例を示す図である。 図１３は、位置ベクトル長ヒストグラムの一例を示す図である。 図１４は、分類データベースの一例を示す図である。 図１５は、分類データベースの一例を示す図である。 図１６は、対象物体が属する分類の特定処理の説明に供する図である。 図１７は、対象物体が属する分類の特定処理の説明に供する図である。 図１８は、対象物体の判定処理の説明に供する図である。 図１９は、統計的パラメータの値の算出、及び、対象物体の判定の具体例の説明に供する図である。 図２０は、統計的パラメータの値の算出、及び、対象物体の判定の具体例の説明に供する図である。 図２１は、統計的パラメータの値の算出、及び、対象物体の判定の具体例の説明に供する図である。

以下に、本願の開示する画像処理装置及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願の開示する画像処理装置及び画像処理プログラムが限定されるものではない。

［画像処理装置の構成例］
図１は、一実施例の画像処理装置の一例を示す図である。図１では、画像処理装置の一例として携帯電話の構成を示している。図１において、画像処理装置１０は、ＲＦ（Radio Frequency）回路１１と、表示部１２と、ＧＰＳ処理部１４と、カメラ１３と、プロセッサ１５と、メモリ１６とを有する。

ＲＦ回路１１は、プロセッサ１５から受け取る信号に対して所定の無線送信処理、つまり、ディジタルアナログ変換、アップコンバート等を施して無線信号を形成し、形成した無線信号をアンテナを介して送信する。また、ＲＦ回路１１は、アンテナを介して受信した受信信号に対して所定の受信無線処理、つまりダウンコンバート、アナログディジタル変換等を施し、受信無線処理後の受信信号をプロセッサ１５へ出力する。

表示部１２は、プロセッサ１５から受け取る表示データを表示する。また、表示部１２は、タッチパネル機能を有しており、タッチ位置に対応する情報をプロセッサ１５へ出力する。

ＧＰＳ処理部１４は、画像処理装置１０の位置情報を取得してプロセッサ１５へ出力する。

カメラ１３は、撮影した画像のデータをプロセッサ１５へ出力する。

メモリ１６は、カメラ１３で撮影された画像のデータ、無線回線を介して取得した画像データ、各種テーブル（データベース）、及び、プロセッサ１５で実行される各種プログラムを記憶する。メモリ１６の一例としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等が挙げられる。

プロセッサ１５は、符号化、変調、復調、復号等のベースバンド処理、及び、画像処理等のアプリケーション処理等を実行する。プロセッサ１５の一例としては、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。プロセッサ１５は、メモリ１６からプログラムを読み出して各処理を実行する。なお、ここでは、１つのプロセッサ１５がベースバンド処理及びアプリケーション処理を実行するものとしているが、これに限定されるものではなく、ベースバンド処理とアプリケーション処理とを別のプロセッサに実行させてもよい。

例えば、プロセッサ１５は、対象物体の輪郭線を複数の分割区間に分割する分割点において曲率をそれぞれ算出する。

また、プロセッサ１５は、複数の分割点の順列に対する曲率の変化曲線に基づいて、対象物体の判定処理を実行する。

具体的には、プロセッサ１５は、複数の分割点の順列に対する曲率の変化曲線から、曲率に対する頻度を表すヒストグラム（以下では、「曲率ヒストグラム」と呼ばれることがある）を算出する。そして、プロセッサ１５は、算出した曲率ヒストグラムに基づいて、「統計的パラメータ」の値を算出する。曲率ヒストグラムから算出される統計的パラメータは、曲率半径、曲率最頻値、及び曲率標準偏差の少なくとも１つを含む。そして、プロセッサ１５は、算出した統計的パラメータの値に基づいて、複数の「分類」の内で対象物体が属する分類を特定する。そして、プロセッサ１５は、特定した分類に属する複数の物体候補の内で曲率変化曲線についての相関が最も高い物体候補を対象物体として判定する。

なお、プロセッサ１５は、「位置ベクトル長ヒストグラム」に基づいて、上記の統計的パラメータを算出してもよい。「位置ベクトル長ヒストグラム」は、対象物体の画像の基準点（例えば、重心）から輪郭線上の点までの離間距離についてのヒストグラムである。位置ベクトル長ヒストグラムから算出される統計的パラメータは、上記の離間距離の分散値を含む。プロセッサ１５による画像処理については、以下で詳しく説明する。

［画像処理装置の動作例］
図２、図３、図４、及び図５は、一実施例の画像処理装置の処理動作の一例を示すフローチャートである。図２は、特に、画像処理装置の画像処理動作の概略を示し、図３、図４、及び図５は、特に、画像処理装置の画像処理動作の具体例を示す。図４は、図３のフローチャートの続きのフローチャートであり、図５は、図４のフローチャートの続きのフローチャートである。図２、図３、図４、及び図５に示すフローは、プロセッサ１５がカメラ１３で撮影された画像、又は、メモリ１６に記憶されている画像を取得すると、スタートする。

＜曲率及び曲率ヒストグラムの算出＞
プロセッサ１５は、取得画像における対象物体の画像の輪郭線を複数の分割区間に分割する分割点において曲率をそれぞれ算出する（ステップＳ１０１）。そして、プロセッサ１５は、複数の分割点の順列に対する曲率の変化曲線から、曲率ヒストグラムを算出する（ステップＳ１０２）。

ステップＳ１０１及びステップＳ１０２は、図３〜５におけるステップＳ２０１〜ステップＳ２０８に対応する。

例えば、プロセッサ１５は、取得画像における対象物体の画像の輪郭の座標Ｌ［Ｎ］を抽出する（ステップＳ２０１）。ここで、Ｎは、０から所定の自然数ｎまでの各値を取りうる。すなわち、Ｌ［Ｎ］は、原点を始点とし輪郭線上の点を終点とするベクトルである。このベクトルは、以下では、「位置ベクトル」と呼ぶことがある。例えば、猫の画像が取得された場合、図６に示すような輪郭が抽出される。図６に示す画像の猫は耳が折れ曲がっており、この耳に対応する部分が上記の「折り返し部分」に対応する。なお、輪郭抽出方法としては、例えば、ハフ変換を用いることができる。図６は、対象物体の画像の輪郭の抽出の説明に供する図である。

そして、プロセッサ１５は、輪郭の重心Ｇを抽出する（ステップＳ２０２）。ここで、ステップＳ２０１で輪郭線上の各点に対応する複数の位置ベクトルが求められているので、図７に示すように、当該複数の位置ベクトルを用いて重心ベクトルＧを算出することができる。図７は、重心の算出方法の説明に供する図である。

そして、プロセッサ１５は、ステップＳ２０１で抽出した輪郭を、ステップＳ２０２で算出した重心が原点と重なるように平行移動し、原点を始点とする複数の位置ベクトルＲ［ｋ］を作成（算出）する（ステップＳ２０３）。すなわち、或る位置ベクトルＲ［ｋ］は、位置ベクトルＬ［ｋ］と重心ベクトルＧとの差を算出することにより、求めることができる。ｋは、０からｎまでの整数である。図８は、平行移動及び位置ベクトルＬ［ｋ］の説明に供する図である。

そして、プロセッサ１５は、複数の位置ベクトルＲ［ｋ］の中で最長のものの長さＲ_Ｍａｘによって、各位置ベクトル［ｋ］を除算することにより、複数の位置ベクトルＲ［ｋ］を正規化して、複数の位置ベクトルＩ［ｋ］を算出する（ステップＳ２０４）。

そして、プロセッサ１５は、複数の位置ベクトルＩ［ｋ］を用いて、輪郭線の全長Ｓを算出すると共に、隣接する位置ベクトルＩ［ｋ］の終点間の距離の累積値Ｓａ［ｋ］を順次算出する（ステップＳ２０５）。これにより、累積値Ｓａは、ｎ個算出されるので、ｎ個の数値列となる。この累積値Ｓａの数値列は、例えば半分程度に間引きされてもよい。間引き後の、累積値Ｓａの数値列をＳｂ［ｉ］とする。また、プロセッサ１５は、図９に示すように、輪郭線の全長Ｓを（ｎ−１）等分し、各分割点における分割点間の距離の累積値ａ［ｉ］を順次算出する（ステップＳ２０５）。これにより、累積値ａ［ｉ］は、ｎ個算出されるので、ｎ個の数値列となる。図９は、輪郭線を複数の区分に分割する分割点の説明に供する図である。

そして、プロセッサ１５は、或る分割点における累積値ａとの差（ここでは、累積値ａに対する累積値Ｓｂの比と１との差）が所定値Δ１より小さい累積値Ｓｂに対応する終点を持つ位置ベクトルＩを順次特定し、特定した複数の位置ベクトルＩをベクトル列Ｐ［ｊ］とする（ステップＳ２０６）。すなわち、線分長の累積値ａ［ｋ］に近い位置ベクトルＩを選んで対応をとり、ベクトル列Ｐ［ｊ］を作成している。具体的には、図１０に示すように、原点を始点とし分割点を終点とする分割点ベクトルａｐ，ａｑ，ａｒ，ａｓが在る場合、当該分割点ベクトルに対応する累積値ａとの差がΔ１より小さい累積値Ｓｂに対応する位置ベクトルＩとして、Ｒ１，Ｒ２，Ｒ３，Ｒ４を特定する。すなわち、分割ベクトルを最も近い位置ベクトルＩに近似している。図１０は、分割点ベクトルと位置ベクトルとの対応付け処理の説明に供する図である。

そして、プロセッサ１５は、各Ｐ［ｊ］の終点において輪郭線の曲率を計算し、縦軸が曲率の値で横軸が項番ｊのグラフ、つまり、曲率変化曲線を作成する（ステップＳ２０７）。図１１は、曲率変化曲線の一例を示す図である。

そして、プロセッサ１５は、曲率変化曲線から、横軸を曲率とし縦軸を頻度とする曲率ヒストグラム（図１２参照）を作成する（ステップＳ２０８）。図１２は、曲率ヒストグラムの一例を示す図である。

＜位置ベクトル長ヒストグラムの算出＞
プロセッサ１５は、「位置ベクトル長ヒストグラム」を算出する（ステップＳ１０３）。

ステップＳ１０３は、図３〜５におけるステップＳ２０９に対応する。

例えば、プロセッサ１５は、図１３に示すように、横軸を正規化した位置ベクトルＩの長さとし、縦軸を位置ベクトルＩの長さの頻度とする、位置ベクトル長ヒストグラムを作成する（ステップＳ２０９）。図１３は、位置ベクトル長ヒストグラムの一例を示す図である。

＜統計的パラメータの値の算出＞
プロセッサ１５は、算出した曲率ヒストグラム及び位置ベクトル長ヒストグラムに基づいて、統計的パラメータの値を算出する（ステップＳ１０４）。

ステップＳ１０４は、図３〜５におけるステップＳ２１０に対応する。

例えば、プロセッサ１５は、統計的パラメータ（つまり、属性値）として、線分長Ｓ／（ｎ−１）、曲率平均ΣＣ［ｊ］／（ｎ−１）、曲率最頻値Ｃ［ｅ］、曲率標準偏差σ｛Ｃ［ｊ］｝、及びベクトル長分散σ２｛｜Ｐ［ｊ］｜｝を計算する（ステップＳ２１０）。曲率半径、曲率最頻値、及び曲率標準偏差は、曲率ヒストグラムから算出される。また、ベクトル長分散、つまり、上記の離間距離の分散値は、位置ベクトル長ヒストグラムから算出される。

＜対象物体が属する分類の特定＞
プロセッサ１５は、算出した統計的パラメータの値に基づいて、複数の「分類」の内で対象物体が属する分類を特定する（ステップＳ１０５）。

ステップＳ１０５は、図３〜５におけるステップＳ２１１及びステップＳ２１２に対応する。

ここで、メモリ１６には、「分類データベース」が記憶されている。図１４及び図１５は、分類データベースの一例を示す図である。

図１４に示すように、分類データベースには、分類１から分類ｋが記憶されている。そして、図１５に示すように、各分類には、各分類における各統計的パラメータの平均値（つまり、属性平均値）が対応付けられている。また、各分類には、メンバ１からメンバＭが対応付けられている。そして、メンバ１からメンバＭの中の少なくとも１つのメンバが、代表メンバとされている。そして、各メンバには、各メンバについての、曲率変化曲線（つまり、曲率グラフ）及び各統計的パラメータの値（つまり、属性値）が対応付けられている。

例えば、プロセッサ１５は、対象物体について算出した属性値と、各分類の属性平均値とを比較して類似しているか否かを判定し、対象物体が属している分類の候補を選出する（ステップＳ２１１）。例えば、対象物体についての各属性値に対する各分類についての各属性平均値の差（ここでは、対象物体についての各属性値に対する各分類についての各属性平均値の比の総計と５との差）が所定値Δ２より小さい分類を順次特定する。

ここでは、図１６に示すように、分類１及び分類３を分類候補として選出したものとする。図１６及び図１７は、対象物体が属する分類の特定処理の説明に供する図である。

そして、プロセッサ１５は、図１７に示すように、選出した複数の分類候補の各々の代表メンバの属性値と、対象物体について算出した属性値とを比較し、最も類似する分類を選択する（ステップＳ２１２）。例えば、プロセッサ１５は、各属性値について、対象物体についての属性値に近い順番で複数の代表メンバの属性値をソートする。そして、例えば、プロセッサ１５は、順位が高い代表メンバほど高い得点を付与する。そして、プロセッサ１５は、付与された得点の合計が最も高い代表メンバが属する分類を、対象物体が属する分類として特定する。

＜対象物体の判定＞
プロセッサ１５は、対象物体を判定する（ステップＳ１０６）。プロセッサ１５は、例えば、特定した分類に属する複数の物体候補（つまり、メンバ）の内で曲率変化曲線についての相関が最も高い候補物体を対象物体として判定（特定）する。

ステップＳ１０６は、図３〜５におけるステップＳ２１３に対応する。

例えば、プロセッサ１５は、図１８に示すように、特定した分類において、対象物体の画像の曲率変化曲線と、各メンバの曲率変化曲線との相関値を算出し、最も相関値の高いメンバを対象物体として判定（特定）する（ステップＳ２１３）。図１８は、対象物体の判定処理の説明に供する図である。

ここで、統計的パラメータの値の算出、及び、対象物体の判定について、具体例を挙げて説明する。図１９、図２０、及び図２１は、統計的パラメータの値の算出、及び、対象物体の判定の具体例の説明に供する図である。

例えば、対象物体がワイングラスであるものとする。そして、分類データベースには、「犬類」、「車類」、「グラス」、「植物」、・・・、「建物」といった分類が記憶されているものとする。

この場合、プロセッサ１５は、対象物体であるワイングラスの画像について算出した属性値と、各分類の属性平均値とを比較して、類似している分類（つまり、分類候補）を選択する。ここでは、「グラス」、及び、「建物」が分類候補として選択される。

次に、プロセッサ１５は、分類「グラス」の代表メンバである「ワイングラス」の属性値、及び、分類「建物」の代表メンバである「東京タワー」の属性値と、対象物体であるワイングラスの属性値とを比較し、最も類似する代表メンバの属する分類を特定する。ここでは、分類「グラス」が特定される。

次に、プロセッサ１５は、分類「グラス」に属するメンバである「ジョッキ」、「ワイングラス」、及び「ショットグラス」の各々の曲率変化曲線と、対象物体であるワイングラスの画像の曲率変化曲線との相関値を算出し、最も相関値の大きいメンバを特定する。ここでは、メンバ「ワイングラス」が特定される。

なお、各分類の代表メンバは、ユーザが予め設定してもよいし、分類のメンバの中で分類の属性平均値に最も近い属性値を持つメンバに設定してもよい。また、場所毎に異なる代表メンバを設定してもよい。例えば、画像処理装置１０の位置が「東京」の場合、分類「建物」の代表メンバは「東京タワー」とされ、「横浜」の場合、「横浜マリンタワー」とされてもよい。

以上のように本実施例によれば、画像処理装置１０においてプロセッサ１５は、対象物体の画像の輪郭線を複数の区間に分割する複数の分割点において曲率をそれぞれ算出する。そして、プロセッサ１５は、複数の分割点の順列に対する曲率の変化曲線に基づいて、対象物体の判定処理を実行する。

この画像処理装置１０の構成により、対象物体の画像の輪郭線上に設定された複数の分割点における曲率を算出しているので、対象物体の画像に「折り返し部分」が在る場合でも１つの分割点に対して１つの曲率（つまり、特徴量の１つ）を算出することができる。従って、特徴量の精度低下を防止できるので、対象物体の判定精度を向上させることができる。

また、プロセッサ１５は、上記の判定処理において、複数の分割点の順列に対する曲率の変化曲線から、曲率に対する頻度を表す曲率ヒストグラムに基づいて、統計的パラメータの値を算出する。そして、プロセッサ１５は、算出した統計的パラメータの値に基づいて、複数の分類の内で前記対象物体が属する分類を特定し、特定した分類に属する複数の物体候補の内で曲率変化曲線についての相関が最も高い物体候補を対象物体として判定する。

この画像処理装置１０の構成により、第１段目に、統計的パラメータに基づいて分類を粗く特定し、第２段目に、特定した分類に対して曲率変化曲線を適用して物体候補を精緻に判定することにより、高速且つ高精度で対象物体を判定することができる。

また、プロセッサ１５は、統計的パラメータの値の算出において、対象物体の画像の基準点から輪郭線上の点までの離間距離についての位置ベクトル長ヒストグラムに基づいて、統計的パラメータの値を算出してもよい。曲率ヒストグラムに基づいて算出される統計的パラメータは、曲率半径、曲率最頻値、及び曲率標準偏差の少なくとも１つを含む。また、位置ベクトル長ヒストグラムに基づいて算出される統計的パラメータは、上記の離間距離の分散値を含む。

また、複数の分類のそれぞれには、統計的パラメータに関する代表値、つまり代表メンバの統計的パラメータが対応づけられている。そして、プロセッサ１５は、分類の特定において、対象物体について算出した統計的パラメータの値と上記の代表値とが最も近い分類を、対象物体が属する分類として特定する。

１０ 画像処理装置
１１ ＲＦ回路
１２ 表示部
１３ カメラ
１４ ＧＰＳ処理部
１５ プロセッサ
１６ メモリ

Claims (6)

1. プロセッサを有し、
   前記プロセッサは、
   対象物体の画像の輪郭線を複数の区間に分割する複数の分割点において曲率をそれぞれ算出し、
   前記複数の分割点の順列に対する前記曲率の変化から、前記曲率に対する頻度を表す第１のヒストグラムを算出し、
   前記算出した第１のヒストグラムに基づいて、統計的パラメータの値を算出し、
   前記算出した統計的パラメータの値に基づいて、複数の分類の内で前記対象物体が属する分類を特定し、
   前記曲率の変化についての相関に基づいて、前記特定した分類に属する複数の物体候補の内で前記対象物体を判定する、
   ことを特徴とする画像処理装置。
2. 前記プロセッサは、
   前記対象物体の画像の基準点から前記輪郭線上の点までの離間距離についての第２のヒストグラムを算出し、
   前記算出した第１のヒストグラムに加えて、前記算出した第２のヒストグラムに基づいて、前記統計的パラメータの値を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のヒストグラムに基づいて算出される前記統計的パラメータは、曲率平均、曲率最頻値、及び曲率標準偏差の少なくとも１つを含む、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２のヒストグラムに基づいて算出される前記統計的パラメータは、前記離間距離の分散値を含む、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記複数の分類のそれぞれには、前記統計的パラメータに関する代表値が対応づけられ、
   前記プロセッサは、
   前記算出した統計的パラメータの値と前記代表値とに基づいて、前記対象物体が属する分類を特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 対象物体の画像の輪郭線を複数の区間に分割する複数の分割点において曲率をそれぞれ算出し、
   前記複数の分割点の順列に対する前記曲率の変化から、前記曲率に対する頻度を表す第１のヒストグラムを算出し、
   前記算出した第１のヒストグラムに基づいて、統計的パラメータの値を算出し、
   前記算出した統計的パラメータの値に基づいて、複数の分類の内で前記対象物体が属する分類を特定し、
   前記曲率の変化についての相関に基づいて、前記特定した分類に属する複数の物体候補の内で前記対象物体を判定する、
   処理を画像処理装置に実行させる、
   ことを特徴とする画像処理プログラム。

Images