JP5548508B2 - 画像分類装置及びプログラム - Google Patents

Description

本発明は、画像を分類する技術に関し、特に、画像の空間周波数スペクトルに基づく画像分類装置及びプログラムに関するものである。

従来、画像や画像の中の被写体を分類する方法として、対象画像の画像特徴を利用するものがある。画像特徴には、色特徴、エッジ特徴、テクスチャ特徴、動き特徴などが用いられている。

これらの画像特徴の一つ又は複数をまとめて画像特徴量を定義することができる。従って、画像特徴量が特徴空間内のどの点に位置するかに応じて対象画像の分類を行うことになる。

画像特徴量を用いる画像分類法は、例えば拡大・縮小（スケーリング）や回転の影響を避けるために、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴を用いたり、複数色からなる被写体を判別する場合に色ヒストグラムを用いたりするなど、利用する画像特徴の種類を用途に応じて適切に選択する必要がある。そこで、多数の種類の画像特徴の中から、例えば、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）などの統計的技法によって有用な画像特徴を抽出するとともに、画像内の状態の変化（物体の突発的な変化や解像度の違いなど）に対して頑健な処理を行う技法が開示されている（例えば、特許文献１参照）。

尚、従来からの画像特徴量を用いる画像分類法は、識別関数を用いることが多い。識別関数は、画像特徴を入力とし、分類結果（クラス）を出力とする。識別関数の表現・学習の方法には、線形識別関数、サポートベクターマシン、ニューラルネットワーク、ブースティングなどが提案されているほか、場合分け（ＩＦ−ＴＨＥＮルール）を人手で設計することも行われている。

特許第４３７６１４５号明細書

しかしながら、従来の画像分類法は、画像特徴量の定義よりも、分類に用いる識別関数やその学習方法を主眼としたものが多い。画像特徴量に着眼したものであっても、多数の種類の画像特徴の中から有効なものを統計的に抽出する技術が主流であり、構成する個別の画像特徴量は、色ヒストグラムやエッジ特徴など、汎用的なものが利用されることが多い。

個別の画像特徴量を工夫する場合であっても、被写体の意味的な分類を行うものや、視覚的な境界で分割を行うのに用いることを目的としており、画像の標本化や符号化に起因する知覚上の画質変化を考慮した分類を行うことができなかった。このため、画像の標本化や符号化に直接的に有効な画像分類法が望まれる。

本発明の目的は、上述の問題を鑑みて為されたものであり、画像の空間周波数スペクトルに基づく画像分類装置及びプログラムを提供することにある。

本発明の画像分類装置は、入力画像のスペクトルに基づき分類を行う。これにより、分類した画像に対して標本化や符号化を行う場合に、分類に応じて画質劣化を踏まえた処理を行うことも可能となる。また、スペクトルをパラメータ表現とすることで処理負担を軽減させることができ、画像の分類を高速に実行することができる。

即ち、本発明の画像分類装置は、画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置であって、入力される画像をスペクトルのデータに変換するスペクトル演算部と、所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するパラメータ化処理部と、前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記抽出した回帰パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類する分類処理部と、を備えることを特徴とする。

また、本発明の画像分類装置において、前記パラメータ化処理部は、前記スペクトルのデータに対して正規化処理を施して得られる正規化データについて、２次元以上の多次元空間上の点列として配置し、配置した点群について回帰演算を実行して回帰パラメータを算出するパラメータ抽出部を備えることを特徴とする。

また、本発明の画像分類装置において、前記パラメータ化処理部は、前記スペクトルのデータに対して次元圧縮を施す次元圧縮処理部を備えることを特徴とする。

また、本発明の画像分類装置において、前記正規化情報は、前記スペクトルのデータの成分ごとのオフセット及び／又は成分ごとの倍率の情報によって与えられることを特徴とする。

また、本発明の画像分類装置において、前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、前記パラメータ化処理部は、前記正規化処理として、前記平均値を、前記スペクトルのデータの各成分に対するオフセットに用いることを特徴とする。

また、本発明の画像分類装置において、前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、前記パラメータ化処理部は、前記正規化処理として、前記標準偏差を、前記スペクトルのデータの各成分に対する倍率に用いることを特徴とする。

また、本発明の画像分類装置において、前記回帰演算は、直線回帰によることを特徴とする。

また、本発明は、画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置として構成するコンピュータに、入力される画像をスペクトルのデータに変換するステップと、所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するステップと、前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記抽出した回帰パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類するステップと、を実行させるためのプログラムとして構成される。

本発明によれば、入力画像の空間周波数スペクトルに基づいて分類を行うので、画像の標本化や符号化に起因する知覚上の画質変化を考慮した分類を行うことが可能となる。

本発明による一実施例の画像分類装置の構成を示すブロック図である。 本発明による一実施例の画像分類装置のスペクトル演算部の構成の一例を示すブロック図である。 本発明による一実施例の画像分類装置のパラメータ化処理部の構成の一例を示すブロック図である。 （Ａ）は、画像が１つの画像フレームの場合における複数の領域画像を例示する図であり、（Ｂ）は、画像が連続する画像フレームの場合における複数の領域画像を例示する図であり、（Ｃ）は、画像が連続する画像フレームの場合における複数の領域画像を例示する図であり、（Ｄ）は、画像が１つの画像フレームの場合における複数の領域画像を例示する図であり、（Ｅ）は、画像が連続する画像フレームの場合における複数の領域画像を例示する図である。 本発明による一実施例の画像分類装置の動作説明図である。 本発明による一実施例の画像分類装置における分類処理部の部分領域群を例示する図である。 （Ａ）は、１フレーム画像内のブロックごとに分類処理を実行する例を示す図であり、（Ｂ）は、本発明による一実施例の画像分類装置における分類処理部の分類結果を例示する図である。

以下、本発明による一実施例の画像分類装置を説明する。

〔装置構成〕
図１は、本発明による一実施例の画像分類装置の構成を示すブロック図である。本実施例の画像分類装置１は、画像ｇを入力して、正規化情報αを用いて分類処理を施し、分類結果ｃを出力する装置であり、制御部２と記憶部３とを備え、制御部２は、スペクトル演算部１０と、パラメータ化処理部２０と、分類処理部３０とを備える。また、画像ｇは、或る画像の一部分を切り出した部分画像であっても構わないし、画像全体であっても構わない。尚、詳細に後述するが、正規化情報αは、例えば、正規化対象のデータの絶対値の平均値と標準偏差とによって予め与えられるオフセットと倍率の情報である。

また、画像分類装置１をコンピュータとして構成させることができる。コンピュータに、制御部２の機能を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部３に記憶される。そのような記憶部３は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。制御部２は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部３から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。

スペクトル演算部１０は、入力される画像ｇをスペクトルｓのデータに変換し、スペクトルｓのデータをパラメータ化処理部２０に送出する。

より具体的には、図２に示すように、スペクトル演算部１０は、画像分割部１０１と、スペクトル変換部１０２とを備える。画像分割部１０１は、入力される画像ｇを標本化する所定の領域に画像分割し、画像分割した各領域の画像（以下、「領域画像」と称する）をスペクトル変換部１０２に送出する。スペクトル変換部１０２は、各領域画像をスペクトルｓのデータに変換してパラメータ化処理部２０に送出する。

パラメータ化処理部２０は、スペクトルｓのデータを入力して所定の正規化情報αに基づき正規化処理を施し、この正規化処理で得られる正規化データに対して回帰演算を実行し、得られた回帰パラメータをパラメータｒとして生成して分類処理部３０に送出する。

より具体的には、図３に示すように、パラメータ化処理部２０は、次元圧縮処理部２０１と、正規化処理部２０２と、パラメータ抽出部２０３とを備える。尚、次元圧縮処理部２０１と、正規化処理部２０２と、パラメータ抽出部２０３との順序は任意である。また、次元圧縮処理部２０１は、必要に応じて設ければよい。以下の例では、パラメータ化処理部２０が、次元圧縮処理部２０１、正規化処理部２０２、及びパラメータ抽出部２０３の順で縦続接続される場合を説明する。

次元圧縮処理部２０１は、入力されるスペクトルｓのデータに対して次元圧縮を施し、次元圧縮データｈとして正規化処理部２０２に出力する。正規化処理部２０２は、所定の正規化情報α（後述する正規化パラメータμ，σで規定される）に基づき、スペクトルｓのデータを次元圧縮した次元圧縮データｈに対して、偏差値評価に相当する正規化処理を実行し、正規化データＮに変換してパラメータ抽出部２０３に送出する。パラメータ抽出部２０３は、正規化データＮについて、２次元以上の多次元空間上の点列として配置し、配置した点群について回帰演算を実行して回帰パラメータを算出し、この回帰パラメータをパラメータｒ（例えば、２次元空間であれば直線回帰を実行して２つの回帰パラメータａ，ｂを得ることができる）として分類処理部３０に送出する。

分類処理部３０は、パラメータｒを構成する各成分（２次元空間であれば、回帰パラメータａ，ｂ）で表す空間について予め分割した複数の部分領域にて、パラメータｒが、いずれの部分領域に所属するかを判定することにより、画像分類装置１に入力される画像ｇの各領域画像を分類し、分類結果ｃを生成する。分類結果ｃは、入力画像の属する分類を表す識別子である。例えば、分類結果ｃは、整数値で表される。生成した分類結果ｃは、外部装置（図示せず）に送出するように構成してもよいし、記憶部３に格納するように構成してもよい。

次に、本発明による一実施例の画像分類装置１の動作をより詳細に説明する。

〔装置動作〕
まず、本実施例の画像分類装置１は、画像ｇを入力して分類処理を施すにあたり、画像ｇを標本化するために、画像分割部１０１によって所定の領域画像に画像分割する。例えば、図４（Ａ）に示すように、画像ｇが１つの画像フレームの場合、例えば１２分割（Ｂ_１乃至Ｂ_１２）でブロック分割して複数の領域画像を生成する。また、例えば、図４（Ｂ）に示すように、画像ｇが連続する画像フレームの場合、例えば１２分割（Ｂ_１乃至Ｂ_１２）でフレーム分割して複数の領域画像を生成する。また、例えば、図４（Ｃ）に示すように、画像ｇが連続する画像フレームの場合、各画像フレームを２次元の格子によって空間分割して、任意に選定した各画像フレームにおける空間分割領域について、例えば計１２分割（Ｂ_１乃至Ｂ_１２）でブロック・フレーム分割して複数の領域画像を生成する。さらに、例えば、図４（Ｄ）に示すように、画像ｇが１つの画像フレームの場合、例えば、重複するブロックにより１２分割（Ｂ_１乃至Ｂ_１２）でブロック分割して複数の領域画像を生成する。また、例えば、図４（Ｅ）に示すように、画像ｇが連続する画像フレームの場合、各画像フレーム内に複数の重複するブロックを設定して、任意に選定した各画像フレームにおけるブロック領域について、例えば計１２分割（Ｂ_１乃至Ｂ_１２）でブロック・フレーム分割して複数の領域画像を生成する。

以下の説明では、以下では、ベクトルｐの第ｑ成分をｐ（ｑ）の形式で表記する。また、画像ｇが１つの画像フレームの場合、例えば１２分割（Ｂ_１乃至Ｂ_１２）でブロック分割して複数の領域画像を生成する例を説明する。尚、画像ｇの形状及び標本点の配置は任意であるが、例えば、画像ｇの形状を長方形とし、該長方形の各辺に平行な２次元の格子によって標本化することができる。例えば、この２次元の格子は、等間隔とし、例えば２次元の格子の標本化間隔は、両軸ともに等しい間隔とすることができる。以下では、画像ｇを水平Ｘ画素、垂直Ｙ画素の長方形とし、水平方向の標本化間隔をＳｘ、垂直方向の標本化間隔をＳｙとおく。また、画像座標（ｘ，ｙ）（ここに、水平座標をｘ、垂直座標をｙとする）における画像ｇの画素値をｇ（ｘ，ｙ）と表記する。尚、画像ｇはモノクロームの階調画像を例に説明するが、画像ｇは、複数の原色や波長で撮像されたカラー画像に任意の色変換マトリクスを適用して変換した階調画像としてもよい。

図５は、本実施例の画像分類装置１の動作説明図である。図５（Ａ）に示すように、画像分類装置１は、画像分割部１０１によって、画像ｇを標本化するために、画像分割部１０１によって所定の領域画像（Ｂ_１乃至Ｂ_１２）に画像分割する。

次に、画像分類装置１は、スペクトル変換部１０２によって、各領域画像（Ｂ_１乃至Ｂ_１２）に対してスペクトル変換を施し、２次元スペクトルｓ（ｕ，ｖ）を得る。ここに、ｕは、水平方向の空間周波数を、ｖは垂直方向の空間周波数を、それぞれ表す。

２次元スペクトルｓ（ｕ，ｖ）は、空間周波数平面において有限の標本点数（Ｗ個、Ｗは自然数）で標本化されたものである。例えば、図５（Ｂ）に示すように、各領域画像（Ｂ_１乃至Ｂ_１２）に対応する標本化された２次元スペクトルは、それぞれｓ_１乃至ｓ_１２と表す。標本化された２次元スペクトルを１次元的に展開して、説明の便宜のために“Ｔ”で表し、その第ｗ成分（ｗは、１以上Ｗ以下の整数）をＴ（ｗ）と表してもよい。尚、離散化された２次元スペクトルＴ（ｗ）と、離散化された水平空間周波数ｕ（ｕは、０以上Ｕ−１以下の整数。Ｕは自然数）と、離散化された垂直空間周波数ｖ（ｖは、０以上Ｖ−１以下の整数、Ｖは自然数）とは、成分を行列上に扱うか、ベクトル上に扱うかの表記状の違いであって、含まれる情報は等しい。

スペクトル変換部１０２において実行する変換としては、実フーリエ変換、複素フーリエ変換、コサイン変換、サイン変換、アダマール変換、ウォルシュ変換など、入力信号を周波数に関連する領域に写像し得るものであれば任意の変換を用いることができる。以下の説明では、複素フーリエ変換を用いる。

さらに、スペクトル変換部１０２において実行する変換のアルゴリズムも任意のものでよい。例えば、画像ｇの各辺の長さがいずれも２の冪乗である場合には、Ｃｏｏｌｅｙ−Ｔｕｋｅｙ型の高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）アルゴリズムを用いることができる。

次に、画像分類装置１は、パラメータ化処理部２０によって、入力された２次元スペクトルＴ（ｗ）（又は、ｓ（ｕ，ｖ））を、Ｄ次元（Ｄは自然数）のパラメータｒに変換する。パラメータｒのｄ次元（ｄは１以上Ｄ以下の整数）の成分の値をｒ（ｄ）と表す。

前述したように、パラメータ化処理部２０は、入力されたデータの次元を下げ、次元圧縮データとして出力する次元圧縮処理部２０１を有するものとしてもよい。本例では、次元圧縮処理部２０１の圧縮対象の信号は入力された２次元スペクトルＴ（ｗ）（又は、ｓ（ｕ，ｖ））であり、次元圧縮の結果を次元圧縮データｈ（ｈは、Ｈ次元）として出力する。

例えば、次元圧縮処理部２０１における変換処理として、Ｈ行Ｗ列の行列Ａによる線形変換ｈ＝ＡＴを用いることができる。

このとき、行列Ａは、例えば、予め様々な入力画像ｇの２次元スペクトルＴに対し、カルーネン・レーベ変換（即ち、主成分分析）を行い、得られた基底ベクトル（行ベクトルとする）を、固有値の大きい順にＨ個だけ列方向に配置したものを用いることができる。

また、例えば、次元圧縮処理部２０１における変換処理として、入力された２次元スペクトルＴ（ｗ）（又は、ｓ（ｕ，ｖ））に対する非線形演算により次元を圧縮し、次元圧縮データｈを得るものとしてもよい。例えば、次元圧縮処理部２０１は、入力された２次元スペクトルｓから周波数に関する１次元ヒストグラムを生成し、この１次元ヒストグラムから離散化した値に変換して次元圧縮データｈ（ｋ）（ｋは、０≦ｋ≦Ｋなる整数。Ｋは０以上の整数。）を求め、出力する。ここに、ｋは、２次元空間周波数を１次元周波数に変換し、その変換結果ωを離散化したものである。２次元空間周波数（ｕ，ｖ）から１次元周波数ωへの変換と、この１次元周波数ωを離散化した１次元周波数ｋへの変換は、例えば式（１）により求められる。

尚、式（１）は、水平空間周波数ｕと、垂直空間周波数ｖとが、標本化前の像の大きさ（撮像面上での物理的長さ）に対して同一の尺度で表現されていることを前提としている。即ち、式（１）は、例えば、水平及び垂直方向の尺度が一致するようスケーリングが行われている場合を前提としている。例えば、次元圧縮処理部２０１は、図５（Ｂ）に示す各２次元スペクトル（ｓ_１（ｕ，ｖ）乃至ｓ_１２（ｕ，ｖ））を、図５（Ｃ）に示すように１次元周波数（ｈ_１（ｋ）乃至ｈ_１２（ｋ））に変換する。

水平空間周波数ｕと、垂直空間周波数ｖとが、画素数の逆数単位で表現され、且つ水平方向の標本化間隔Ｓ_Ｘと、垂直方向の標本化間隔Ｓ_Ｙとが異なる値である場合には、式（１）の代わりに式（２）を用いることができる。

１次元周波数ωから離散化された１次元周波数ｋへの変換方法は、任意の量子化ステップにより量子化を行うことで実現できる。例えば、等間隔Ωの量子化ステップで量子化を行う。量子化の際の端数の丸め方法は任意である。

例えば、量子化ステップを等間隔Ωとし、周波数ω_０を原点にとり、少数点以下切り捨てによる量子化を行う場合には、式（３）により離散化された１次元周波数ｋが求められる。尚、式（３）では、少数点以下切り下げや、四捨五入によるものなど、任意の少数点以下の丸め方法によることができる。

次元圧縮処理部２０１は、離散化された１次元周波数ｋごとに、各１次元周波数ｋに対応する２次元空間周波数のスペクトルの絶対値を積分し、その結果を次元圧縮データｈ（ｋ）とする。以上の動作（式（１）の代わりに式（２）を用いる場合）をまとめると、次元圧縮処理部２０１は、式（４）の演算を行う。

スペクトルｓ（ｕ，ｖ）が空間周波数（ｕ，ｖ）に関して離散化（標本化）されている場合には、次元圧縮処理部２０１は、式（４）の代わりに式（５）の演算を行う。

次に、画像分類装置１は、正規化処理部２０２によって、正規化対象データ（本例では、次元圧縮データｈ（ｋ））を、正規化情報αにより正規化し、正規化データＮとして出力する。

正規化情報αは、例えば、正規化対象データ（ここでは、次元圧縮データｈ）の各成分に対するスペクトルの絶対値の平均値μ（ｋ）と、標準偏差σ（ｋ）とによって予め与えられるオフセットと倍率の情報で構成される。

例えば、正規化対象データの各成分（例えば次元圧縮データｈの各成分）に関するオフセットと倍率の情報を、予め学習用に用意した「様々な入力画像、又は、ある画像内に設定した複数のブロック」におけるアンサンブル（集合）としての統計量から定める。例えば、正規化情報αを、正規化対象データの成分ごとの集合平均μ及びその標準偏差σにより表すことができる。

正規化情報αが、第ｋ成分の平均μ（ｋ）、及び標準偏差σ（ｋ）で与えられるとき、正規化データＮは、式（６）により得られる。

尚、正規化情報α（例えば、（μ，σ））は、予め定めた学習用画像を用いて学習して決定したものとすることができるほか、任意に定めたものとすることができ、記憶部３に格納しておくことができる。

このようにして、画像分類装置１は、正規化処理部２０２によって、図５（Ｃ）に示す１次元周波数（ｈ_１乃至ｈ_１２）を、図５（Ｄ）に示すように正規化データ（Ｎ_１乃至Ｎ_１２）に変換する。

次に、画像分類装置１は、パラメータ抽出部２０３によって、例えば、正規化データＮの各成分Ｎ（ｋ）を所定の規則でＥ次元空間（Ｅは２以上の自然数）上の点列として配置し、これらの点群について超曲面（以下、「超曲面」というときは、超平面、平面、又は直線を含むものとする）で回帰演算を実行することにより、回帰パラメータを求め、この回帰パラメータをパラメータｒとして出力する。

例えば、Ｅ＝２のときに正規化データＮを２次元空間上に配置する方法として、２次元空間上の点列を式（７）のように配置することができる。

ここに、ζ_１（ｋ）は、Ｎ（ｋ）を配置すべき、２次元空間の第１軸座標を与える関数である。例えば、式（８）のように決定する。

また、例えば、Ｅ＝３のときに正規化データＮを３次元空間上に配置する方法として、２次元空間上の点列を式（９）のように配置することができる。

ここに、ζ_ｍ（ｋ）（ｍ＝１，２）は、Ｎ（ｋ）を配置すべき、３次元空間の第ｍ軸座標を与える関数である。例えば、式（１０）のように決定することで、第１軸方向にＦ_１個（Ｆ_１は自然数）の標本点を有する平面上のラスタ走査となる。

さらに、一般的に、例えば、正規化データＮをＥ次元空間上に配置する方法として、Ｅ次元空間上の点列を式（１１）のように配置することができる。

ここに、ζ_ｍ（ｋ）（ｍ＝１，２，・・・，Ｅ−１）は、Ｎ（ｋ）を配置すべき、Ｅ次元空間の第ｍ軸座標を与える関数である。例えば、式（１２）のように決定することで、第ｍ軸（ｍ＝１，２，・・・，Ｅ−２）方向にＦ_ｍ個（Ｆ_ｍは自然数）の標本点を有する超曲面上のラスタ走査となる。

画像分類装置１は、パラメータ抽出部２０３によって、例えばＥ＝２として直線回帰を実行する場合には、パラメータｒとして、例えば、式（１３）に示すような、直線の傾きａと縦軸の切片ｂからなるベクトルを用いる。

直線回帰は、式（１４）により演算することができる。

このようにして、画像分類装置１は、パラメータ抽出部２０３によって、図５（Ｅ）に示すように各正規化データ（Ｎ_１乃至Ｎ_１２）を構成する成分群（例えば、ブロックβにおいては、Ｎ_β（０）乃至Ｎ_β（３））に対してそれぞれ回帰演算を実行して、それぞれをパラメータｒ（Ｅ＝２として直線回帰を実行する場合には、パラメータｒとして、直線の傾きａと縦軸の切片ｂからなるベクトルとなる）に変換する。図５（Ｅ）の例では、ブロックβに対してＥ＝２とした直線回帰を実行し、その結果、直線の傾きａ_βと縦軸の切片ｂ_βとからなるパラメータを得ている。

また、パラメータ抽出部２０３における回帰演算において、正規化データＮ（ｋ） （ｋ＝０，１，…，Ｋ−１）のうち、予め定めるインデックスｋのみの正規化データを用いて回帰を行っても構わない。例えば、パラメータ抽出部２０３は、Ｑ⊆｛０，１，…，Ｋ−１｝なるインデックスの部分集合Ｑに対し、回帰演算を行ってもよい。この場合、パラメータ抽出部２０３は、例えば、式（１４）の回帰演算の代わりに、次の式（１５）の演算を行う。

インデックスの部分集合Ｑとしては、例えば、Ｑ＝｛１，２，…，Ｋ−１｝のように直流成分０を除いたインデックスの集合を用いることができる。

次に、画像分類装置１は、分類処理部３０によって、パラメータｒを構成する全成分（前述の直線回帰にあっては、成分ａ及び成分ｂ）で定まる空間（パラメータ空間）をＣ個（Ｃは自然数。好ましくは２以上）の部分集合｛Ｄ_ｃ｝_{ｃ＝０，１，・・・，Ｃ−１}に分割（各部分領域は互いに重ならず、且つ、全部分領域の和集合は、このパラメータ空間全体となるものとする）しておき、式（１６）を用いて評価することによって、パラメータｒに対する分類結果ｃ（ｒ）を得る。

例えば、直線回帰による場合に、図６に示すような部分領域群｛Ｄ_ｃ｝を用いることができる。尚、図６の部分領域の境界上の点は、いずれか一つの部分領域のみに属するように定義するものとする。

例えば、画像分類装置１が、図７（Ａ）に示すように、１フレーム画像内のブロックごとに分類処理を実行するにあたり、スペクトル演算部１０によって例えば２５６画素四方の複素フーリエ変換を用い、次元圧縮処理部２０１によって所定の設定値（ω_０＝１、Ω＝１、Ｋ＝６３）で次元圧縮し、正規化処理部２０２によって正規化データに対して直線回帰を用いてパラメータｒ（成分ａ及び成分ｂ）を求め、分類処理部３０によって図６に示す部分領域群｛Ｄ_ｃ｝を用いて分類処理を実行すると、図７（Ｂ）に示すように、テクスチャが平坦なブロックは、ｃ＝０、テクスチャが被写体らしいブロックはｃ＝１、テクスチャが雑音らしいブロックはｃ＝２として分類される。

以上のように、本発明による一実施例の画像分類装置１は、スペクトル演算部１０と、パラメータ化処理部２０と、分類処理部３０とを備えることにより、入力画像のスペクトルに対して、正規化情報に基づき正規化を行うため、他の画像や他の画像領域に対する入力画像の相対的な偏差を分類評価することができるようになり、入力画像に特有の特徴量を抽出可能となる。また、画像分類装置１は、パラメータ化処理部２０によって、スペクトル、又はスペクトルに変換を施したデータをパラメータ表現することにより、画像が持つスペクトルの概略形を少ないデータ量で表現することができるようになる。このため、処理の高速化や、分類手段の設計・調整が容易に実現できるようになる。

また、本発明による一実施例の画像分類装置１は、パラメータ化処理部２０によって、回帰演算によりパラメータを算出することにより、スペクトル情報のパラメトリックな近似を平易な演算で実現することができるようになる。

また、本発明による一実施例の画像分類装置１は、パラメータ化処理部２０が、情報の次元を圧縮し、次元圧縮データとして出力する次元圧縮処理部２０１を備えることにより、入力情報の中に含まれる主要な情報だけを抽出することができ、入力情報に含まれ得る雑音など主要でない信号成分を例えば主成分分析法によって取り除くことや、入力情報の有する幾何学的な性質（等方性など）を強調するような情報の統合化を行うことができるようになる。

また、本発明による一実施例の画像分類装置１は、正規化情報αが、スペクトル（又はスペクトルの次元圧縮データ）の成分ごとのオフセット及び／又は成分ごとの倍率の情報によって与えられるため、偏差値評価に相当する正規化が実行され、スペクトルの偏りの直感的理解が可能となる。

また、本発明による一実施例の画像分類装置１は、正規化情報αが、予め学習用に用意した複数画像集合の統計量、例えば「様々な入力画像、又は、ある画像内に設定した複数のブロック」におけるアンサンブル（集合）の統計量として得られるスペクトル（又はスペクトルの次元圧縮データ）の第ｋ成分の平均μ（ｋ）、及び標準偏差σ（ｋ）で与えられるとき、パラメータ化処理部２０によって、正規化処理として、この平均μ（ｋ）を、スペクトル（又はスペクトルの次元圧縮データ）の各成分に対するオフセットに用いることにより、複数画像の平均を基準に、スペクトルが、それぞれどちらにずれているかを定量化することができるようになるため、画像間の相対評価が可能となる。

また、本発明による一実施例の画像分類装置１は、正規化情報αが、予め学習用に用意した複数画像集合の統計量、例えば「様々な入力画像、又は、ある画像内に設定した複数のブロック」におけるアンサンブル（集合）の統計量として得られるスペクトル（又はスペクトルの次元圧縮データ）の第ｋ成分の平均μ（ｋ）、及び標準偏差σ（ｋ）で与えられるとき、パラメータ化処理部２０によって、正規化処理として、標準偏差σ（ｋ）の情報を、スペクトル（又はスペクトルの次元圧縮データ）の各成分に対する倍率に用いることにより、複数画像での標準画像での標準偏差を基準に、スペクトルがどの程度ずれているかを定量化することができるため、画像間での正規化されたスケールでの分類評価が可能となる。

また、本発明による一実施例の画像分類装置１は、パラメータ抽出部２０３による回帰演算として直線回帰とすることにより、処理負担を軽減させ、高速に直線を規定する２つのパラメータが得られるとともに、分類処理も高速化する。

また、本発明による一実施例の画像分類装置１は、分類処理部３０が、パラメータｒを構成する各成分（２次元空間であれば、回帰パラメータａ，ｂ）で表す空間を予め分割した複数の部分領域にて、パラメータｒが、いずれの部分領域に所属するかを判定して分類することにより、簡単に画像の分類結果を得ることができるようなる。

尚、本例に挙げた各パラメータの具体的な数値（例えば、ω_０＝１、Ω＝１、Ｋ＝６３、部分領域Ｄ_ｃの形状、フーリエ変換の大きさや窓関数など）は、いずれも一例であり、その他の数値や形状の関数を用いることは当然あり得る。従って、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。

本発明に係る画像分類装置は、画像の空間周波数の特徴に基づき、画像を分類する。このため、空間周波数により画質が左右される画像符号化や標本化においてパラメータを制御するための画像認識系処理を要する用途に有用である。また、スペクトルの演算に、例えば離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を用いれば、例えばＪＰＥＧ方式で符号化された画像を、ＤＣＴブロックごとに高速に画像分類を行うことが可能である。

１ 画像分類装置
２ 制御部
３ 記憶部
１０ スペクトル演算部
２０ パラメータ化処理部
３０ 分類処理部
１０１ 画像分割部
１０２ スペクトル変換部
２０１ 次元圧縮処理部
２０２ 正規化処理部
２０３ パラメータ抽出部

Claims (8)

1. 画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置であって、
   入力される画像をスペクトルのデータに変換するスペクトル演算部と、
   所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するパラメータ化処理部と、
   前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記抽出した回帰パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類する分類処理部と、
   を備えることを特徴とする画像分類装置。
2. 前記パラメータ化処理部は、
   前記スペクトルのデータに対して正規化処理を施して得られる正規化データについて、２次元以上の多次元空間上の点列として配置し、配置した点群について回帰演算を実行して回帰パラメータを算出するパラメータ抽出部を備えることを特徴とする、請求項１に記載の画像分類装置。
3. 前記パラメータ化処理部は、
   前記スペクトルのデータに対して次元圧縮を施す次元圧縮処理部を備えることを特徴とする、請求項１又は２に記載の画像分類装置。
4. 前記正規化情報は、前記スペクトルのデータの成分ごとのオフセット及び／又は成分ごとの倍率の情報によって与えられることを特徴とする、請求項１〜３のいずれか一項に記載の画像分類装置。
5. 前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、
   前記パラメータ化処理部は、
   前記正規化処理として、前記平均値を、前記スペクトルのデータの各成分に対するオフセットに用いることを特徴とする、請求項１〜４のいずれか一項に記載の画像分類装置。
6. 前記正規化情報が、予め学習用に用意した複数画像集合の統計量として得られるスペクトルのデータの各成分の平均値及び標準偏差で与えられるとき、
   前記パラメータ化処理部は、
   前記正規化処理として、前記標準偏差を、前記スペクトルのデータの各成分に対する倍率に用いることを特徴とする、請求項１〜５のいずれか一項に記載の画像分類装置。
7. 前記回帰演算は、直線回帰によることを特徴とする、請求項１〜６のいずれか一項に記載の画像分類装置。
8. 画像の空間周波数スペクトルに基づいて画像を分類する画像分類装置として構成するコンピュータに、
   入力される画像をスペクトルのデータに変換するステップと、
   所定の正規化情報に基づいて前記スペクトルのデータに対して正規化処理を施し、正規化処理で得られる正規化データに対して回帰演算を実行して回帰パラメータを抽出するステップと、
   前記回帰パラメータを構成する各成分で表す空間について予め分割した複数の部分領域にて、前記抽出した回帰パラメータがいずれの部分領域に所属するかを判定し、前記入力される画像を分類するステップと、
   を実行させるためのプログラム。

Images