JP6539469B2 - 特徴量抽出装置、特徴量抽出方法及び特徴量抽出用プログラム - Google Patents

Description

本願は、特徴量抽出装置、特徴量抽出方法及び特徴量抽出用プログラムの技術分野に属し、より詳細には、複数の画素からなる画像情報に相当する画像の特徴を示す特徴量を抽出する特徴量抽出装置、特徴量抽出方法及び特徴量抽出用プログラムの技術分野に属する。

近年、例えば車載用のナビゲーション装置等において、それに備えられたカメラ等により撮像した画像について、その内容を認識する画像認識処理が必要とされている。このような画像認識処理としては、当該画像の内容を解析し、当該画像としての特徴量を抽出することが求められる。このような画像認識処理についての従来技術の一例として、下記特許文献１に記載された技術がある。

この特許文献１に記載されている技術では、入力画像の画素ごとの特徴量を変換することにより、当該特徴量のデータ量を削減した変換値を求め、その変換値をビンとするヒストグラムを生成し、そのヒストグラムに基づいて元の入力画像の特徴量を出力する構成とされている。そしてこの場合の特徴量としては、いわゆるＣＳ−ＬＢＰ（Center Symmetric - Local Binary Pattern）が用いられている。このＣＳ−ＬＢＰは、上記入力画像の局所的な特徴を示す局所特徴量であって、当該入力画像に相当するディジタル的な画像データに基づいて当該入力画像から抽出されるものであり、その値は一般にＣＳ−ＬＢＰ値と称される。

特開２０１４−８５８０２号公報

しかしながら、上記特許文献１に記載されている技術では、上記ヒストグラムが単一の画素に対応したＣＳ−ＬＢＰ値に基づく一次元的なヒストグラムとして画像の特徴量を表現しているため、特徴量が類似している画像では識別が困難になるという問題点があった。

一方、近年における携帯型の端末装置の普及状況を鑑みると、処理能力が必ずしも高くない上記端末装置に対して上述したような画像認識処理を搭載することが必要になることが予想され、この場合にはその処理量を削減しつつ識別精度の高い特徴量を抽出することが求められる。

そこで本願は、上記の問題点及び要請に鑑みて為されたもので、その課題の一例は、入力画像について、処理量を削減しつつ識別精度の高い特徴量を生成することが可能な特徴量抽出装置及び特徴量抽出方法並びに当該特徴量抽出装置用のプログラムを提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、複数の画素からなる画像情報に基づいて、当該画像情報に相当する画像の特性に対応した特性情報を生成する生成手段と、予め設定され且つ相互に異なる位置情報に基づいて、前記生成された特性情報から、相互に異なり且つ前記画像内において離隔した当該特性情報の一部を抽出特性情報としてそれぞれ抽出する抽出手段と、各前記抽出された抽出特性情報に基づいて、当該各抽出特性情報をそれぞれ構成する前記画素ごとに当該画素の特徴量を示す特徴量マップを、当該各抽出特性情報についてそれぞれ生成するマップ生成手段と、複数の前記画素間の相対的な位置関係として前記特性に対応して予め設定された共起位置関係を示す共起位置情報であって、異なる前記特徴量マップに跨がる前記共起位置関係を示す共起位置情報に基づいて、各前記生成された特徴量マップに対応するヒストグラム量を示す共起ヒストグラム情報を生成するヒストグラム生成手段と、を備える。

上記の課題を解決するために、請求項７に記載の発明は、複数の画素からなる画像情報に相当する画像の特徴を示す特徴量を抽出する特徴量抽出装置において実行される特徴量抽出方法において、前記画像情報に基づいて前記画像の特性に対応した特性情報を生成する生成工程と、予め設定され且つ相互に異なる位置情報に基づいて、前記生成された特性情報から、相互に異なり且つ前記画像内において離隔した当該特性情報の一部を抽出特性情報としてそれぞれ抽出する抽出工程と、各前記抽出された抽出特性情報に基づいて、当該各抽出特性情報をそれぞれ構成する前記画素ごとに当該画素の特徴量を示す特徴量マップを、当該各抽出特性情報についてそれぞれ生成するマップ生成工程と、複数の前記画素間の相対的な位置関係として前記特性に対応して予め設定された共起位置関係を示す共起位置情報であって、異なる前記特徴量マップに跨がる前記共起位置関係を示す共起位置情報に基づいて、各前記生成された特徴量マップに対応するヒストグラム量を示す共起ヒストグラム情報を生成するヒストグラム生成工程と、を含む。

上記の課題を解決するために、請求項８に記載の発明は、コンピュータを、請求項１から請求項６のいずれか一項に記載の特徴量抽出装置として機能させる。

実施形態に係る特徴量抽出装置の概要構成を示すブロック図である。 第１実施例に係る画像処理装置の概要構成を示すブロック図である。 第１実施例に係る特徴量抽出処理を示すフローチャートである。 第１実施例に係る特徴量抽出処理を示す図であり、（ａ）は第１実施例に係るＣＳ−ＬＢＰ値の算出を例示する図であり、（ｂ）は第１実施例に係る共起ヒストグラムを例示する図であり、（ｃ）は第１実施例に係る共起位置を例示する図である。 具体的な画像についての第１実施例に係る特徴量抽出処理を例示する図であり、（ａ）は第１例を示す図であり、（ｂ）は第２例を示す図である。 第２実施例に係る特徴量抽出処理を示すフローチャートである。 第２実施例に係る画像の分割方法を例示する図であり、（ａ）は当該分割方法の第１例を示す図であり、（ｂ）は当該分割方法の第２例を示す図である。

次に、本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態に係る特徴量抽出装置の概要構成を示すブロック図である。

図１に示すように、実施形態に係る特徴量抽出装置Ｓは、生成手段１と、抽出手段２と、マップ生成手段３と、ヒストグラム生成手段４と、を備えて構成されている。

この構成において生成手段１は、複数の画素からなる画像情報に基づいて、当該画像情報に相当する画像の特性に対応した特性情報を生成する。

次に抽出手段２は、予め設定された位置情報に基づいて、生成手段１により生成された特性情報から当該特性情報の一部を抽出特性情報として抽出する。

更にマップ生成手段３は、抽出手段２により抽出された抽出特性情報に基づいて、当該抽出特性情報を構成する上記画素ごとに当該画素の特徴量を示す特徴量マップを生成する。

これによりヒストグラム生成手段４は、複数の上記画素間の相対的な位置関係として上記画像の特性に対応して予め設定された共起位置関係を示す共起位置情報に基づいて、マップ生成手段３により生成された特徴量マップに対応するヒストグラム量を示す共起ヒストグラム情報を生成する。

以上説明したように、実施形態に係る特徴量抽出装置Ｓの動作によれば、複数の画素からなる画像情報に相当する画像の特性に対応した特性情報を生成し、その特性情報から、既定の位置情報に基づいた抽出特性情報を抽出する。その後、当該抽出特性情報に基づいて特徴量マップを生成し、更に特徴量マップに対応する共起ヒストグラム情報を共起位置情報に基づいて生成する。よって、抽出特性情報を構成する画素ごとの特徴量を示す特徴量マップに対応した共起ヒストグラム情報を共起位置情報に基づいて生成するので、処理量を削減しつつ、元の画像についての識別精度が高い共起ヒストグラム情報を生成することができる。

次に、上述した実施形態に対応する具体的な実施例について、図２乃至図７を用いて説明する。以下に説明する各実施例は、画像認識処理、より具体的には画像からその特徴を抽出して分類等する処理等を行う画像処理装置に対して実施形態を適用した場合の実施例である。なお各実施例に係る上記画像認識処理を行う画像処理装置は、具体的には例えば、ナビゲーション装置等の車両搭載装置、いわゆる道路交通情報システム、ゲーム装置、エンターテインメント関連装置、いわゆるデジタルサイネージ装置又はリモートセンシング装置等の一部として必要とされるものである。

（１）第１実施例
始めに、実施形態に対応する第１実施例について、図２乃至図５を用いて説明する。なお、図２は第１実施例に係る画像処理装置の概要構成を示すブロック図であり、図３は第１実施例に係る特徴量抽出処理を示すフローチャートである。また、図４は第１実施例に係る特徴量抽出処理を示す図であり、図５は具体的な画像についての第１実施例に係る特徴量抽出処理を例示する図である。このとき図２では、図１に示した実施形態に係る特徴量抽出装置Ｓにおける各構成部材に対応する第１実施例の構成部材それぞれについて、当該特徴量抽出装置Ｓにおける各構成部材と同一の部材番号を用いている。

第１実施例に係る画像処理装置ＳＶは、全体としてはいわゆるパーソナルコンピュータ等により実現されるものであり、図２に示すように具体的には、ＣＰＵ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等からなる処理部１１と、インターフェース１２と、ＨＤＤ（Hard Disc Drive）又はＳＳＤ（Solid State Drive）等からなる記録部１３と、液晶ディスプレイ等からなるディスプレイ１４と、キーボード及びマウス等からなる操作部１５と、により構成されている。

また処理部１１は、実施形態に係る生成手段１の一例に相当する生成部１と、実施形態に係る抽出手段２の一例に相当する抽出部２と、実施形態に係るマップ生成手段３の一例に相当するマップ生成部３と、実施形態に係るヒストグラム生成手段４の一例に相当するヒストグラム生成部４と、出力部１０と、を備えて構成されている。このとき上記生成部１、上記抽出部２、上記マップ生成部３、上記ヒストグラム生成部４及び上記出力部１０のそれぞれは、処理部１１を構成するＣＰＵ等のハードウェアロジック回路により実現されてもよいし、或いは、後述する第１実施例に係る特徴量抽出処理に相当するプログラムを上記ＣＰＵにより読み出して実行することによりソフトウェア的に実現されるものであってもよい。そして図２に破線で示すように、上記生成部１、上記抽出部２、上記マップ生成部３及び上記ヒストグラム生成部４により、実施形態に係る特徴量抽出装置Ｓの一例を構成している。また、上記出力部１０が本願に係る「特徴量情報生成手段」の一例に相当する。

この構成においてインターフェース１２は、処理部１１による制御の下、画像処理装置ＳＶに対する後述する画像データの入力や、画像処理装置ＳＶと例えばインターネット等の外部ネットワークとの間のデータの授受等を制御する。

また記録部１３には、後述する第１実施例に係る特徴量抽出処理に相当するプログラム等が不揮発性に記録されており、このプログラム等が必要に応じて処理部１１により読み出され、当該特徴量抽出処理に供される。この他記録部１３には、当該特徴量抽出処理の実行に必要な諸データが一時的に記憶されて、必要に応じて処理部１１により読み出される。更に記録部１３は、当該特徴量抽出の対象となる画像に相当し且つ複数の画素からなる画像データ（ディジタル的な画像データ）を、必要に応じて記録する。この場合の画像は、例えば図示しないカメラで撮像された画像でもよいし、図示しない他の記録媒体に蓄積されている画像コンテンツに相当する画像でもよい。

更に操作部１５は、当該特徴量抽出処理に関する諸操作がユーザにより実行されると、当該操作に相当する操作信号を生成して処理部１１に出力する。また、当該特徴量抽出処理に当たって上記ユーザに提示すべき情報は、処理部１１の制御の下、ディスプレイ１４に表示される。

これらにより処理部１１の生成部１は、図２に示すように、複数の画素からなる上記画像データが例えばインターフェース１２を介して又は記録部１３から入力されると、当該画像データに基づいて、当該画像データに相当する階調データを生成して処理部１１の抽出部２に出力する。このときの階調データとは、例えば上記各画素に対応する輝度値データである。

次に当該抽出部２は、実施例に係る特徴量抽出処理の対象となる上記画像内の画像ブロックの当該画像内の位置を示す予め設定された位置データに基づいて、生成部１により生成された一画像分の階調データから上記位置データに対応したその全部又は一部を階調ブロックデータとして抽出して処理部１１のマップ生成部３に出力する。このとき上記画像ブロックは、典型的には上記画像内の矩形の領域であり、また当該階調ブロックデータは上記画像ブロックに対応する階調データである。更に上記位置データは、例えば予め記録部１３に記録されていてもよいし、インターフェース１２を介して外部から取得してもよい。

そして当該マップ生成部３は、上記抽出部２により抽出された階調ブロックデータに基づいて、当該階調ブロックデータに相当する画像ブロックについての局所的な特徴を示すＣＳ−ＬＢＰ特徴量マップを生成し、処理部１１のヒストグラム生成部４に出力する。

ここで、上記「階調ブロックデータに相当する画像ブロックについての局所的な特徴」とは、換言すれば、元の画像のその画像ブロックの部分に相当する局所的な特徴である。また上記ＣＳ−ＬＢＰ特徴量マップは、画像ブロックを構成する各画素に対応するＣＳ−ＬＢＰ値に相当する。なお、このＣＳ−ＬＢＰ値自体は、典型的には上記特許文献１において定義されているものが用いられる。

これにより当該ヒストグラム生成部４は、上記画像内の複数の画素間の相対的な位置関係として当該画像の特性に対応して予め設定された共起位置関係を示す共起位置データに基づいて、マップ生成部３により生成されたＣＳ−ＬＢＰ特徴量マップに対応するＣＳ−ＬＢＰヒストグラム量を示すＣＳ−ＬＢＰ共起ヒストグラムを生成して処理部１１の出力部１０に出力する。このときの上記共起位置関係については任意に設定し得るが、一例としては、ＣＳ−ＬＢＰ特徴量マップ内の二個以上の要素（画素）間の相対的な位置を指定する座標とするのが好ましい。このような共起位置データは、実施例に係る特徴量抽出処理の対象となる画像の特性に対応したものが予め記録部１３に記録されていてもよいし、実施例に係る特徴量抽出処理が実行される都度にインターフェース１２を介して外部から取得されてもよい。また上記ＣＳ−ＬＢＰ共起ヒストグラムは、典型的には、上記ＣＳ−ＬＢＰ特徴量マップに対応するヒストグラム量を示す２次元以上の配列となる。

そして当該出力部１０は、上記ヒストグラム生成部４により生成されたＣＳ−ＬＢＰ共起ヒストグラムに対応するＣＳ−ＬＢＰ共起特徴量を生成する。このとき上記ＣＳ−ＬＢＰ共起特徴量は、上記ＣＳ−ＬＢＰ共起ヒストグラムに対応する任意の形式のデータであり、典型的には多次元のベクトル量の配列により表現されたデータである。そして当該ＣＳ−ＬＢＰ共起特徴量は、インターフェース１２を介して例えば外部に出力され、その後の図示しない任意の処理に供される。この場合の任意の処理とは、典型的には画像認識処理である。

次に、第１実施例に係る特徴量抽出処理について、具体的に図２乃至図５を用いて説明する。なお当該特徴量抽出処理は、例えば操作部１５におけるその開始を指示する操作により、又は当該特徴量抽出処理の対象となる画像の画像データがインターフェース１２を介して入力されたときに自動的に、開始される。

即ち図３に示すように、当該特徴量抽出処理が開始されるとヒストグラム生成部４は、後に生成されるＣＳ−ＬＢＰ共起ヒストグラムを構成することとなる各ヒストグラムビンを初期化する。これに加えて、当該特徴量抽出処理の対象となる画像の画像データが例えばインターフェース１２を介して入力される（ステップＳ１）。そして生成部１は、この画像データに相当する階調データを生成して抽出部２に出力する。この場合の階調データの生成は任意の方法を用いることができるが、例えばいわゆるガウシアンフィルタやメジアンフィルタ等のノイズ除去フィルタを用いてもよい。

次に抽出部２は、上記位置データに基づき、生成部１から入力された階調データの一部を階調ブロックデータとして切り出し、マップ生成部３に出力する（ステップＳ２）。なおこの場合の位置データについては任意の形式を用いることができるが、より具体的には、例えば階調データ（元の画像に対応）の一部の矩形領域を階調ブロックデータ（画像ブロックに対応）として指定する位置座標とすることができる。即ち図４（ａ）左に例示するように、第１実施例に係る特徴量抽出処理の対象となる画像Ｇにおける、図４（ａ）に例示するｘ−ｙ座標により表される位置座標として、画像ブロックＧＢの当該画像Ｇ内の位置を示す位置座標を上記位置データとすることができる。

次にマップ生成部３は、画像ブロックＧＢの各要素（即ち各画素）に対応したＣＳ−ＬＢＰ値を算出し、上記ＣＳ−ＬＢＰ特徴量マップとしてヒストグラム生成部４に出力する（ステップＳ３）。このＣＳ−ＬＢＰ特徴量マップには、元の画像ブロックＧＢの画素ごとにそれぞれ算出されたＣＳ−ＬＢＰ値が記述されている。なおマップ生成部３によるＣＳ−ＬＢＰ値の算出処理、及びその結果を用いたＣＳ−ＬＢＰ特徴量マップの生成処理については、典型的には上記特許文献１に開示されている技術を用いるのが好適である。

このステップＳ３についてより具体的に図４（ａ）を用いて説明すると、図４（ａ）左に例示する画像ブロックＧＢの各画素に対応したＣＳ−ＬＰＢ値を含むＣＳ−ＬＢＰ特徴量マップＭＰは、例えば図４（ａ）右に例示するものとなる。図４（ａ）に例示する場合は、５画素×５画素分の画像ブロックＧＢから、「０」から「８」までのＣＳ−ＬＢＰ値を画素ごとにとり得るＣＳ−ＬＢＰ特徴量マップＭＰが生成されている。そして図４（ａ）右に例示するＣＳ−ＬＢＰ特徴量マップＭＰの場合、例えば画像ブロックＧＢの画素ＧＳ１−１についてのＣＳ−ＬＢＰ値は「７」と算出されている。以下同様に、画素ＧＳ１−２についてのＣＳ−ＬＢＰ値は「５」と、画素ＧＳ２−１についてのＣＳ−ＬＢＰ値は「３」と、画素ＧＳ２−２についてのＣＳ−ＬＢＰ値は「８」と、それぞれ算出されている。このようなＣＳ−ＬＢＰ特徴量マップＭＰは、元の画像Ｇの複数の画素ブロックＧＢごとにそれぞれ生成され、その後一時的に記録部１３に記録される。なお以下の説明において、画素ＧＳ１−１、画素ＧＳ１−２、画素ＧＳ２−１及び画素ＧＳ２−２等について共通の事項を説明する場合、これらを纏めて単に「画素ＧＳ」と称する。

次にヒストグラム生成部４は、上記共起位置データを参照し、マップ生成部３により生成されて記録部１３に記録されているＣＳ−ＬＢＰ特徴量マップＭＰから実施例に係るＣＳ−ＬＢＰ共起ヒストグラムを算出し、出力部１０に出力する（ステップＳ４乃至ステップＳ７）。

より具体的にヒストグラム生成部４は、先ず画像ブロックＧＢ内において上記共起位置データに対応する共起位置関係にある画素ＧＳについてのＣＳ−ＬＢＰ値を上記ＣＳ−ＬＢＰ特徴量マップＭＰから抽出する（ステップＳ４）。このとき図４（ａ）に例示する場合、上記共起位置関係としては、図４（ａ）に例示するｘ−ｙ座標において（２，１）の位置関係（即ち、ｘ方向に二画素、ｙ方向に一画素離れた位置関係）とされている。より具体的には、例えば画素ＧＳ１−１に対して共起位置関係にあるのは画素ＧＳ１−２であり、また画素ＧＳ２−１に対して共起位置関係にあるのは画素ＧＳ２−２である。なお以下の説明において、互いに共起位置関係にある画素ＧＳにより形成される画素ペアを、「共起画素ペア」と称する。そして図４（ａ）に例示する場合、画素ＧＳ１−１と、当該画素ＧＳ１−１に対して共起位置関係にある画素ＧＳ１−２と、により共起画素ペアＰ１が形成され、また画素ＧＳ２−１と、当該画素ＧＳ２−１に対して共起位置関係にある画素ＧＳ２−２と、により共起画素ペアＰ２が形成されている。なお以下の説明において、実施例に係る共起画素ペアについて共通の事項を説明する場合、単に「共起画素ペアＰ」と称する。このような共起画素ペアＰは、他の画素ＧＳとの関係では、一つの画素ＧＳについて複数形成され得る。また共起画素ペアＰは、一つの画像ブロックＧＢにおいても、互いに共起位置関係にある画素ＧＳごとに複数形成される。なお、例えば共起画素ペアＰ１における画素ＧＳ１−１のＣＳ−ＬＢＰ値を当該共起画素ペアＰ１についての第１ＣＳ−ＬＢＰ値とし、画素ＧＳ１−２のＣＳ−ＬＢＰ値を当該共起画素ペアＰ１についての第２ＣＳ−ＬＢＰ値とする。更に同様に、共起画素ペアＰ２における画素ＧＳ２−１のＣＳ−ＬＢＰ値を当該共起画素ペアＰ２についての第１ＣＳ−ＬＢＰ値とし、画素ＧＳ２−２のＣＳ−ＬＢＰ値を当該共起画素ペアＰ２についての第２ＣＳ−ＬＢＰ値とする。

次にヒストグラム生成部４は、各共起画素ペアＰにおける上記第１ＣＳ−ＬＢＰ値と第２ＣＳ−ＬＢＰ値との組み合わせのそれぞれを用いて、図４（ｂ）に例示するＣＳ−ＬＢＰ共起ヒストグラムとしての二次元のヒストグラムビンの位置を算出する（ステップＳ５）。この場合、例えば上記共起画素ペアＰ１についての第１ＣＳ−ＬＢＰ値は７であり、第２ＣＳ−ＬＢＰ値は５であるので、当該共起画素ペアＰ１のＣＳ−ＬＢＰ共起ヒストグラム上の位置は図４（ｂ）に符号「Ｐ１」で示す位置となる。また同様に、上記共起画素ペアＰ２についての第１ＣＳ−ＬＢＰ値は３であり、第２ＣＳ−ＬＢＰ値は８であるので、当該共起画素ペアＰ２のＣＳ−ＬＢＰ共起ヒストグラム上の位置は図４（ｂ）に符号「Ｐ２」で示す位置となる。

そして、上記ステップＳ４及びステップＳ５により図４（ａ）に例示する画像ブロックＧＢにおいて共起画素ペアＰ１が一つ検出されたことになるので、ヒストグラム生成部４は、当該共起画素ペアＰ１が対応するＣＳ−ＬＢＰ共起ヒストグラム上の位置（図４（ｂ）符号「Ｐ１」参照）にあるヒストグラムビンの高さ（その位置に対応する共起画素ペアＰが出現する頻度に相当する）を一だけインクリメントする（ステップＳ６）。また同様に、上記ステップＳ４及びステップＳ５により上記共起画素ペアＰ２も一つ検出されたことになるので、ヒストグラム生成部４は、当該共起画素ペアＰ２が対応するＣＳ−ＬＢＰ共起ヒストグラム上の位置（図４（ｂ）符号「Ｐ２」参照）にあるヒストグラムビンの高さを一だけインクリメントする（ステップＳ６）。なお図４（ｂ）に例示する場合、一つの画素ＧＳについてとり得るＣＳ−ＬＢＰ値は例えば「０」から「８」のいずれかの整数値をあるため、二つの画素ＧＳのＣＳ−ＬＢＰ値から成る実施例に係るＣＳ−ＬＢＰ共起ヒストグラムにおけるヒストグラムビンの数は、図４（ｂ）に例示するように合計８１個となる。

その後ヒストグラム生成部４は、画像ブロックＧＢにおいて、それぞれのＣＳ−ＬＢＰ値が算出済みである全ての共起画素ペアＰ（即ち全ての共起位置関係にそれぞれ対応する全ての共起画素ペアＰ）について上記ステップＳ３乃至ステップＳ６が終了したか否かを判定する（ステップＳ７）。ステップＳ７の判定において、上記ステップＳ３乃至ステップＳ６が終了していない共起画素ペアＰが存在する場合（ステップＳ７；ＮＯ）、処理部１１は当該未処理の共起画素ペアＰについて上記ステップＳ３乃至ステップＳ６を実行すべく上記ステップＳ３に戻る。一方ステップＳ７の判定において、全ての共起画素ペアＰについての上記ステップＳ３乃至ステップＳ６が終了している場合、次に処理部１１の出力部１０は、ヒストグラム生成部４により生成された上記ＣＳ−ＬＢＰ共起ヒストグラムに対応するＣＳ−ＬＢＰ共起特徴量を生成し、例えばインターフェース１２を介して外部に出力したり、或いはディスプレイ１４に例えば画像認識用として表示したりする（ステップＳ８）。その後処理部１１は第１実施例に係る特徴量抽出処理を終了する。なおステップＳ８におけるＣＳ−ＬＢＰ共起特徴量のＣＳ−ＬＢＰ共起ヒストグラムからの生成方法は、その後の処理に依存して変わり得るものであるが、一例としては、多次元のベクトル量の配列表現としてＣＳ−ＬＢＰ共起特徴量を生成することができる。

なお、上述した第１実施例に係る特徴量抽出処理では、一つの画像ブロックＧＢ内で当該特徴量抽出処理が完結する構成としたが、これ以外に、例えば図４（ｃ）に例示するように、ある画像ブロックＧＢに相当するＣＳ−ＬＢＰ特徴量マップＭＰ２と他の画像ブロックＧＢに相当するＣＳ−ＬＢＰ特徴量マップＭＰ３との間で、共起画素ペアＰ４乃至共起画素ペアＰ６が形成されるように上記共起位置データが設定されていてもよい。この場合は、図４（ｃ）に例示する（一つの画像ブロックＧＢに相当する）ＣＳ−ＬＢＰ特徴量マップＭＰ１内のみで共起画素ペアＰ１乃至共起画素ペアＰ３を形成した場合に比して、画像Ｇのより広い範囲で共起画素ペアＰ４乃至共起画素Ｐ６を形成することで、画像Ｇ全体としてのＣＳ−ＬＢＰ共起特徴量を検出することができることになる。

より具体的に図４（ｃ）に例示する場合、ＣＳ−ＬＢＰ特徴量マップＭＰ１内での共起画素ペアＰ１乃至共起画素ペアＰ３を用いて生成されたＣＳ−ＬＢＰ共起特徴量は、画像Ｇにおける「葉」や「木」の識別（特徴検出）に利用できるが、ＣＳ−ＬＢＰ特徴量マップＭＰ２及びＣＳ−ＬＢＰ特徴量マップＭＰ３に跨がった範囲で形成された共起画素ペアＰ４乃至共起画素ペアＰ６を用いて生成されたＣＳ−ＬＢＰ共起特徴量は、画像Ｇにおける「盆栽」の識別に利用できる。この場合、ＣＳ−ＬＢＰ特徴量マップＭＰ２に対応する画像ブロックＧＢとＣＳ−ＬＢＰ特徴量マップＭＰ３に対応する画像ブロックＧＢとの間は、画像Ｇとして撮像されている「盆栽」を識別するものとして、当該盆栽に対応して予め設定された距離だけ離れている。そしてこの距離は、共起画素ペアＰ４乃至共起画素ペアＰ６それぞれを形成する画素ＧＳ間の距離（画像Ｇ上の距離）に相当する。

次に、複数のＣＳ−ＬＢＰ特徴量マップＭＰの間で、複数の共起画素ペアＰが形成されるように共起位置データが設定される場合について、図５を用いて更に説明する。

例えば、人物を撮像した画像に対して第１実施例に係る特徴量抽出処理を施す場合、図５（ａ）に例示するように、当該画像Ｇ１について、顔部分に相当する画像ブロックＧＢ１、両手部分にそれぞれ相当する画像ブロックＧＢ２及び画像ブロックＧＢ３並びに脚部分に相当する画像ブロックＧＢ４をそれぞれ抽出する（図３ステップＳ２参照）。この場合の画像ブロックＧＢ１乃至画像ブロックＧＢ４相互間は、画像Ｇ１として撮像されている「人」の特徴量を抽出するものとして、当該人に対応して予め設定された距離だけ離れていることになる。そして、各画像ブロックＧＢ間において図５（ａ）に例示するように共起画素ペアＰ１乃至共起画素ペアＰ６を形成し（図３ステップＳ４参照）、以降、各共起画素ペアＰそれぞれに基づいてＣＳ−ＬＢＰ共起ヒストグラムを生成するように構成する（図３ステップＳ５乃至ステップＳ７参照）。このようにすれば、上記特許文献１に記載の技術に比して、「人」としての識別精度が高くなることが期待できる。

また他の例として、例えば自転車に乗った人を撮像したことが予め判っている画像に対して第１実施例に係る特徴量抽出処理を施す場合を考える。この場合には図５（ｂ）に例示するように、当該画像Ｇ２について、それが自転車に乗った人を撮像して得られるものであることが予め判っていることから、人に相当する画像ブロックＧＢ１０と、自転車に相当する画像ブロックＧＢ１１と、をそれぞれ抽出する（図３ステップＳ２参照）。このときの画像ブロックＧＢ１０と画像ブロックＧＢ１１とは、画像Ｇ２として撮像されている「自転車に乗った人」の特徴量を抽出するものとして、当該自転車及び当該人にそれぞれ対応して予め設定された距離だけ離れていることになる。そして、画像ブロックＧＢ１０の画素ＧＳ１と画像ブロックＧＢ１１の画素ＧＳ２により図５（ｂ）に例示するように共起画素ペアＰ１０を形成し（図３ステップＳ４参照）、当該共起画素ペアＰ１０に基づいてＣＳ−ＬＢＰ共起ヒストグラムを生成するように構成する（図３ステップＳ５乃至ステップＳ７参照）。この図５（ｂ）に例示するような場合には、第１実施例に係る位置データや共起位置データを、画像Ｇとして撮像される被写体に応じて予め自動的に設定することができる。このとき、予め自動的に設定する上記位置データと上記被写体との関係としては、図５（ｂ）に例示する場合を含めて下記の例が挙げられる。
（ｉ）被写体が「自転車に乗った人」である場合に、その画像Ｇ２中の「人」の位置及び「自転車」の位置にそれぞれ相当する各位置データを自動的に設定する（図５（ｂ）参照）。
（ii）被写体が「人」である場合に、その画像Ｇ中の「頭」の位置、「肩」の位置、「手足」の位置及び「胴体」の位置にそれぞれ相当する各位置データを自動的に設定する。
（iii）被写体が「二輪車」である場合に、その画像Ｇ中の「前輪」の位置及び「後輪」の位置にそれぞれ相当する各位置データを自動的に設定する。
（iv）被写体が「自動車」である場合に、その画像Ｇ中の「ボディ」の位置及び「タイヤ」の位置にそれぞれ相当する各位置データを自動的に設定する。

以上説明したように、第１実施例に係る特徴量抽出処理によれば、複数の画素ＧＳからなる画像データに相当する画像Ｇの特性に対応した階調データを生成し、その階調データから、既定の位置データに基づいた階調ブロックデータを抽出する。その後、当該階調ブロックデータに基づいてＣＳ−ＬＢＰ特徴量マップＭＰを生成し、更にＣＳ−ＬＢＰ特徴量マップＭＰに対応するＣＳ−ＬＢＰ共起ヒストグラムを共起位置データに基づいて生成する。よって、階調ブロックデータを構成する画素ＧＳごとの特徴量を示すＣＳ−ＬＢＰ特徴量マップＭＰに対応したＣＳ−ＬＢＰ共起ヒストグラムを共起位置データに基づいて生成するので、処理量を削減しつつ、元の画像Ｇについての識別精度が高いＣＳ−ＬＢＰ共起ヒストグラムを生成することができる。

また、共起位置データが、画像Ｇの特性に対応した画素ＧＳ（共起画素ペアＰを形成する画素ＧＳ）間の距離に基づいて予め設定されているので、元の画像Ｇの特徴をよりよく表したＣＳ−ＬＢＰ共起ヒストグラムを生成することができる。

更に、一つの画素ＧＳについての複数の共起位置データにそれぞれ基づいてＣＳ−ＬＢＰ共起ヒストグラムのヒストグラムビンを複数生成するので（図３ステップＳ７参照）、元の画像Ｇの特徴をよりよく表したＣＳ−ＬＢＰ共起ヒストグラムを生成することができる。

更にまた、相互に異なり且つ画像Ｇ内において離隔した階調ブロックデータをそれぞれ抽出し、それら階調ブロックデータについてＣＳ−ＬＢＰ特徴量マップＭＰ２及びＣＳ−ＬＢＰ特徴量マップＭＰ３をそれぞれ生成する（図４（ｃ）参照）。そして、異なるＣＳ−ＬＢＰ特徴量マップＭＰに跨がる共起位置関係を示す共起位置データに基づいてＣＳ−ＬＢＰ共起ヒストグラムを生成する。よって、離隔した画像ブロックＧＢについてのＣＳ−ＬＢＰ特徴量マップＭＰに跨がる共起位置データに基づいてＣＳ−ＬＢＰ共起ヒストグラムを生成するので、処理量を削減しつつ、元の画像Ｇ全体についての識別精度が高いＣＳ−ＬＢＰ共起ヒストグラムを生成することができる。

また、異なる位置データが、既定された画像Ｇ２内の異なる位置であってその特性に対応した異なる位置を示すので（図５（ｂ）参照）、当該特性に対応した位置の階調ブロックデータについてのＣＳ−ＬＢＰ特徴量マップＭＰに跨がる共起位置データに基づいてＣＳ−ＬＢＰ共起ヒストグラムを生成できることで、画像Ｇ全体の特徴をより表したＣＳ−ＬＢＰ共起ヒストグラムを生成することができる。

更に、ＣＳ−ＬＢＰ共起ヒストグラムに基づいて元の画像Ｇを特徴付けるＣＳ−ＬＢＰ共起特徴量情報を生成するので（図３ステップＳ８参照）、処理量を削減しつつ、元の画像Ｇについての識別精度が高いＣＳ−ＬＢＰ共起特徴量を生成することができる。

（２）第２実施例
次に、実施形態に対応する他の実施例である第２実施例について、図６及び図７を用いて説明する。なお、第２実施例に係る画像処理装置のハードウェア的な構成は、基本的には第１実施例に係る画像処理装置ＳＶのハードウェアと同様であるので、以下の第２実施例では、第１実施例に係る画像処理装置ＳＶと同様の構成部材及び同様の処理については、同様の部材番号及び同様のステップ番号を用いて、細部の説明は省略する。

また、図６は第２実施例に係る特徴量抽出処理を示すフローチャートであり、図７は第２実施例に係る画像の分割方法を例示する図である。このとき図６を用いた以下の説明では、図１に示した実施形態に係る特徴量抽出装置Ｓにおける各構成部材に対応する第２実施例の構成部材それぞれについて、当該特徴量抽出装置Ｓにおける各構成部材と同一の部材番号を用いている。また、第２実施例に係る画像処理装置における処理部１１が、本願に係る「分割手段」の一例及び「結合手段」の一例にそれぞれ相当する。

上述した第１実施例に係る特徴量抽出処理では、例えば図４に例示する場合、元の画像Ｇに相当する階調データ全体を一つの特徴量抽出処理の対象とした。これに対して以下の説明する第２実施例に係る特徴量抽出処理では、一つの画像を予め複数の分割画像に分割し、当該各分割画像それぞれについて独立して第１実施例に係る特徴量抽出処理を施す。そして、当該各特徴量抽出処理の結果を結合し、元の画像に相当するＣＳ−ＬＢＰ共起特徴量を生成する。このため第２実施例に係る画像処理装置には、第１実施例に係る画像処理装置ＳＶにおける生成部１、抽出部２、マップ生成部３及びヒストグラム生成部４をそれぞれ含んだ実施形態に係る特徴量抽出装置Ｓに相当する部分が、上記分割画像の数だけ含まれている。

即ち第２実施例に係る特徴量抽出処理は、第１実施例に係る特徴量抽出処理と同様に、例えば操作部１５におけるその開始を指示する操作により、又は当該特徴量抽出処理の対象となる画像の画像データがインターフェース１２を介して入力されたときに自動的に、開始される。

そして、対応するフローチャートを図６に示すように、第２実施例に係る特徴量抽出処理が開始されるとヒストグラム生成部４は第１実施例に係る特徴量抽出処理と同様のステップＳ１を実行し、更に生成部１は元の画像Ｇの画像データに相当する階調データを生成する。

次に処理部１１は、当該階調データを、元の画像Ｇを分割した分割画像に相当する分割階調データに分割する（ステップＳ１０）。ここで、ステップＳ１０の分割については、例えばインターフェース１２を介して入力される分割指示データを参照して分割する。このとき、例えば図７（ａ）に示すように、相互に重ならないような分割画像ＰＧ１、分割画像ＰＧ２、分割画像ＰＧ３、分割画像ＰＧ４、…、とするような上記分割指示データとしてもよいし、図７（ｂ）に例示するように、一部が相互に重なるような分割画像ＰＧ１、分割画像ＰＧ２、分割画像ＰＧ３、分割画像ＰＧ４、…、とするような上記分割指示データとしてもよい。なお上記分割指示データとしては、例えば二次元的な分割数を指定する情報とすることも考えられる。また以下の説明において、上記分割画像ＰＧ１、上記分割画像ＰＧ２、上記分割画像ＰＧ３又は上記分割画像ＰＧ４等について共通の事項を説明する場合、これらを纏めて単に「分割画像ＰＧ」と称する。

その後処理部１１の抽出部２、マップ生成部３及びヒストグラム生成部４は、第１実施例に係る特徴量抽出処理におけるステップＳ２乃至ステップＳ７と同様の処理を、上記分割された分割画像ＰＧに相当する分割階調データのそれぞれを対象として独立して施し、当該分割画像ＰＧについての分割ＣＳ−ＬＢＰ共起ヒストグラムをそれぞれ生成する。

そして処理部１１は、分割画像ＰＧについてそれぞれ生成された分割ＣＳ−ＬＢＰ共起ヒストグラムを結合し、元の画像Ｇに対応するＣＳ−ＬＢＰ共起ヒストグラムを生成する（ステップＳ１１）。このステップＳ１１における結合の方法としては、例えば第１実施例に係る特徴量抽出処理について図４（ｂ）に例示した二次元のＣＳ−ＬＢＰ共起ヒストグラムと同様の、各分割画像ＰＧにそれぞれ対応した分割ＣＳ−ＬＢＰ共起ヒストグラムを、行又は列毎に結合して一次元ベクトルに変換し、全ての分割ＣＳ−ＬＢＰ共起ヒストグラムに対応する一次元ベクトルを単純に結合する方法を用いることができる。

その後処理部１１は、全ての分割画像ＰＧについて上記ステップＳ２乃至上記ステップＳ７及び上記ステップＳ１１が終了したか否かを判定する（ステップＳ１２）。ステップＳ１２の判定において、上記ステップＳ２乃至上記ステップＳ７及び上記ステップＳ１１が終了していない分割画像ＰＧが存在する場合（ステップＳ１２；ＮＯ）、処理部１１は当該未処理の分割画像ＰＧについて上記ステップＳ２乃至上記ステップＳ７及び上記ステップＳ１１を実行すべく上記ステップＳ２に戻る。一方ステップＳ１２の判定において、全ての分割画像ＰＧについての上記ステップＳ２乃至上記ステップＳ７及び上記ステップＳ１１が終了している場合、次に処理部１１の出力部１０は、結合された上記ＣＳ−ＬＢＰ共起ヒストグラムに対応するＣＳ−ＬＢＰ共起特徴量を第１実施例に係る特徴量抽出処理と同様に生成し、例えばインターフェース１２を介して外部に出力したり、或いはディスプレイ１４に例えば画像認識用として表示したりする（ステップＳ８）。その後処理部１１は第２実施例に係る特徴量抽出処理を終了する。

以上説明したように、第２実施例に係る特徴量抽出処理によれば、第１実施例に係る特徴量抽出処理による作用効果に加えて、一つの画像Ｇについての階調データを分割した各分割階調データから分割ＣＳ−ＬＢＰ共起ヒストグラムをそれぞれ生成するので、元の画像Ｇの特徴をよりよく表したＣＳ−ＬＢＰ共起ヒストグラムを生成することができる。このとき、図７（ｂ）に例示する分割方法の場合は、画像Ｇ中の被写体の特徴をより詳細にとらえたＣＳ−ＬＢＰ共起特徴量を生成することが期待できる。

［変形例］
次に、実施形態に係る変形例について説明する。

（Ａ）第１変形例
先ず第１変形例として、各実施例に係る生成部１における階調データの生成について、各実施例に係る階調データの生成方法と異ならせ、
（ａ）画素の色空間（ＲＧＢ色空間、ＨＳＶ（Hue Saturation Value）色空間、グレースケール空間、ＹＵＶ色空間、Ｌａｂ（Lab color space）色空間又はＸＹＺ色空間等）を他の色空間に変換する色空間変換方法、又は色空間の特定の成分を選択する方法、又は、
（ｂ）スケール、回転、又は並行移動等の幾何学変換、
を適宜選択して用いることにより、元の画像の特性に応じて識別性能の高いＣＳ−ＬＢＰ共起特徴量を抽出することが期待できる。

（Ｂ）第２変形例
次に第２変形例として、各実施例に係る抽出部２における階調ブロックデータの生成において、上記位置データを外部から人為的に定義する構成に代えて、例えば機械学習方法等を用いて統計的に算出した事前データを用いるように構成してもよい。この場合には、元の画像中の静止被写体に対して識別性能の高いＣＳ−ＬＢＰ共起特徴量を生成することが期待できる。

更に各実施例に係るヒストグラム生成部４におけるＣＳ−ＬＢＰ共起ヒストグラムの生成においても、共起位置データに対して上記統計的な事前データを用いる等の工夫を用いるように構成してもよい。この場合には、元の画像中の動きのある被写体に対しても識別性の高いＣＳ−ＬＢＰ共起特徴量を生成することが期待できる。

（Ｃ）第３変形例
次に第３変形例として、各実施例に係る出力部１０におけるＣＳ−ＬＢＰ共起特徴量の生成において、複数の画像から取得したＣＳ−ＬＢＰ共起ヒストグラムの集合から、例えば主成分分析を用いて、特徴量として有用な成分のみを選択するように構成してもよい。この場合には、ＣＳ−ＬＢＰ共起特徴量の次元数を効果的に削減でき、以降の処理の計算量の更なる削減が期待できる。

（Ｄ）第４変形例
次に第４変形例として、第２実施例に係る処理部１１における分割ＣＳ−ＬＢＰ共起ヒストグラムの結合において、複数の分割ＣＳ−ＬＢＰ共起ヒストグラムを単純に結合する代わりに、例えばいわゆる調和平均や加重平均等を用いて結合するように構成してもよい。この場合には、ＣＳ−ＬＢＰ共起ヒストグラムの次元数を削減でき、以降の処理の計算量の更なる削減が期待できる。

（Ｅ）その他の変形例
その他の変形例として、図３又は図６にそれぞれ示したフローチャートに相当するプログラムを、光ディスク又はハードディスク等の記録媒体に記録しておき、或いはインターネット等のネットワークを介して取得しておき、これを汎用のマイクロコンピュータ等に読み出して実行することにより、当該マイクロコンピュータ等を各実施例に係る処理部１１として機能させることも可能である。

１ 生成手段（生成部）
２ 抽出手段（抽出部）
３ マップ生成手段（マップ生成部）
４ ヒストグラム生成手段（ヒストグラム生成部）
１０ 出力部
１１ 処理部
ＭＰ、ＭＰ１、ＭＰ２、ＭＰ３ ＣＳ−ＬＢＰ共起特徴量マップ
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ１０ 共起画素ペア
ＧＢ、ＧＢ１、ＧＢ２、ＧＢ３、ＧＢ４、ＧＢ１０、ＧＢ１１ 画像ブロック
Ｓ 特徴量抽出装置
ＳＶ 画像処理装置

Claims (8)

1. 複数の画素からなる画像情報に基づいて、当該画像情報に相当する画像の特性に対応した特性情報を生成する生成手段と、
   予め設定され且つ相互に異なる位置情報に基づいて、前記生成された特性情報から、相互に異なり且つ前記画像内において離隔した当該特性情報の一部を抽出特性情報としてそれぞれ抽出する抽出手段と、
   各前記抽出された抽出特性情報に基づいて、当該各抽出特性情報をそれぞれ構成する前記画素ごとに当該画素の特徴量を示す特徴量マップを、当該各抽出特性情報についてそれぞれ生成するマップ生成手段と、
   複数の前記画素間の相対的な位置関係として前記特性に対応して予め設定された共起位置関係を示す共起位置情報であって、異なる前記特徴量マップに跨がる前記共起位置関係を示す共起位置情報に基づいて、各前記生成された特徴量マップに対応するヒストグラム量を示す共起ヒストグラム情報を生成するヒストグラム生成手段と、
   を備えることを特徴とする特徴量抽出装置。
2. 請求項１に記載の特徴量抽出装置において、
   前記共起位置関係は、前記特性に対応した前記画素間の距離に基づいて予め設定されていることを特徴とする特徴量抽出装置。
3. 請求項１又は請求項２に記載の特徴量抽出装置において、
   前記ヒストグラム生成手段は、一つの前記画素についての異なる複数の前記共起位置関係をそれぞれ示す複数の前記共起位置情報にそれぞれ基づいて、前記特徴量マップに対応する前記共起ヒストグラム情報を複数生成することを特徴とする特徴量抽出装置。
4. 請求項１から請求項３のいずれか一項に記載の特徴量抽出装置において、
   異なる前記位置情報は、予め設定された前記画像内の異なる位置であって前記特性に対応した当該異なる位置を示す位置情報であることを特徴とする特徴量抽出装置。
5. 請求項１から請求項４のいずれか一項に記載の特徴量抽出装置において、
   一つの前記画像についての前記特性情報を分割して複数の分割特性情報を生成する分割手段と、
   結合手段と、
   を更に備え、
   前記抽出手段は、各前記生成された分割特性情報から当該分割特性情報の一部を前記抽出特性情報としてそれぞれ抽出し、
   前記マップ生成手段は、各前記抽出された抽出特性情報に基づいて前記特徴量マップをそれぞれ生成し、
   前記ヒストグラム生成手段は、前記共起位置情報に基づいて、各前記生成された特徴量マップにそれぞれ対応する分割共起ヒストグラム情報を生成し、
   前記結合手段は、各前記生成された分割共起ヒストグラム情報を結合して元の前記特性情報に対応した前記共起ヒストグラム情報を生成することを特徴とする特徴量抽出装置。
6. 請求項１から請求項５にいずれか一項に記載の特徴量抽出装置において、
   前記生成された共起ヒストグラム情報に基づいて、前記画像を特徴付ける共起特徴量情報を生成する特徴量情報生成手段を更に備えることを特徴とする特徴量抽出装置。
7. 複数の画素からなる画像情報に相当する画像の特徴を示す特徴量を抽出する特徴量抽出装置において実行される特徴量抽出方法において、
   前記画像情報に基づいて前記画像の特性に対応した特性情報を生成する生成工程と、
   予め設定され且つ相互に異なる位置情報に基づいて、前記生成された特性情報から、相互に異なり且つ前記画像内において離隔した当該特性情報の一部を抽出特性情報としてそれぞれ抽出する抽出工程と、
   各前記抽出された抽出特性情報に基づいて、当該各抽出特性情報をそれぞれ構成する前記画素ごとに当該画素の特徴量を示す特徴量マップを、当該各抽出特性情報についてそれぞれ生成するマップ生成工程と、
   複数の前記画素間の相対的な位置関係として前記特性に対応して予め設定された共起位置関係を示す共起位置情報であって、異なる前記特徴量マップに跨がる前記共起位置関係を示す共起位置情報に基づいて、各前記生成された特徴量マップに対応するヒストグラム量を示す共起ヒストグラム情報を生成するヒストグラム生成工程と、
   を含むことを特徴とする特徴量抽出方法。
8. コンピュータを、請求項１から請求項６のいずれか一項に記載の特徴量抽出装置として機能させることを特徴とする特徴量抽出用プログラム。