JP4432262B2

JP4432262B2 - 画像処理装置、画像処理方法及び記録媒体

Info

Publication number: JP4432262B2
Application number: JP2000605968A
Authority: JP
Inventors: 哲二郎近藤; 淳一石橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-03-12
Filing date: 2000-03-13
Publication date: 2010-03-17
Anticipated expiration: 2020-03-13
Also published as: US7916977B2; WO2000055811A1; US20060140486A1; US20100098344A1; US7697732B2

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及び記録媒体に関する。
【０００２】
【従来の技術】
被写体としての人物の顔の向きを検出する方法が、１９９１年電子情報通信学会春期全国大会論文Ｐ７−３０８にＤ−５９６「特定方向を向く人物像の実時間抽出」として提案されている。この方法においては、人の顔が白黒カメラで撮影され、その画像データが２値化され、目、鼻、及び口を含む１つの領域の中心と頭部の中心との距離から、顔が正面を向いている人物が検索される。また、電子情報通信学会論文誌Ｄ−ＩＩＶｏｌ．Ｊ７２−Ｄ−ＩＩＭｏ．９ｐｐ．１４４１−１４４７（１９８９年９月）に、「単眼視画像による顔の向き検出法の指示入力への応用」という方法も提案されている。この方法においては、顔が３個の特徴的な点で構成される三角形としてモデル化され、各３点間の距離が既知データとして与えられる。そして、これら３点間の投影から、３点の３次元位置が求められ、三角形の重心位置と法線方向とが３次元空間中での顔の向きとして検出される。
【０００３】
さらに、特開平７−２３９３４号公報には、左頭髪領域の幅Ｌと顔領域の幅Ｗの比Ｌ／Ｗ、並びに、左頭髪領域の幅Ｌと右頭髪領域の幅Ｒの比Ｌ／Ｒに基づいて、顔の向きを求めることが提案されている。
【０００４】
しかしながら、顔の特徴点を両目、鼻などとした場合、顔の可動範囲が大きいと、ある角度を境に、それ以上顔が回転されると、両目の検出が不可能になり、結果的に、顔の特徴点を計測することができなくなるという問題点があった。
【０００５】
また、頭から両目の位置や口の位置を自動的に、しかもロバストに検出することは困難である。さらに、後者の方法においては、顔の特徴点の３点の距離を既知とする限定条件が付加されているため、処理を自動化することが困難である課題があった。
【０００６】
また、特開平７−２３９３４号公報に記載された方法では、赤外線カメラを用いて画像を取得しているので、通常のカメラで撮像した画像から顔の向きを判定することができないばかりでなく、コスト高となるという問題点があった。
【０００７】
【発明が解決しようとする課題】
ところで、一般的に、センサは、ほとんど類似度判定を行う装置であると行っても過言ではない。例えば、温度計などであれば、センサ出力と予め測定した基準の温度と比較して、最も近い温度を出力するものであるし、速度計や角度測定なども同様である。これは点情報からセンサ結果を出力するものであるが、過去・未来の情報も用いる非点情報でも同様なことが言える。この代表的なものとしては、画像センサがある。入力画像をセンシングし、映し出されたものが何であるかを判定するセンサの場合、予め作成した画像テンプレートと入力画像を比較し、最も類似した画像を答えとするものが多い。このような手法では、従来、入力データと比較するテンプレートとして固定テンプレートを用いていたので、どのテンプレートを用いると最適に判定ができるかを判定することが困難であった。また、テンプレートの数自体もいくつにするのが最適であるかなどを判定するのも困難であった。
【０００８】
そこで、本発明の目的は、最適なテンプレートを生成できるようにすることにある。
【０００９】
また、予め決められた固定処理に対して何らかの入力が入ってきたときに分類されたグループに出力するグループ分けの処理を行うのでは、固定処理と比較した場合、はじめから最適な分類方法を確立するのは困難であり、また、予め想定した母集団から実行時に母集団がずれた場合、処理が固定処理であると対応することができない。
【００１０】
そこで、本発明の目的は、母集団の変換に柔軟に対応することができ、また、自動的に最適な分類方法を得ることができるようにすることにある。
【００１１】
また、現出社会は、線形なものより非線形のものの方が多いが、従来のクラス分類適応処理では、予測式に主に線形予測式を用いていたので、同一クラス内が線形であれば問題ないが、非線形なものが含まれていると、その学習に最小自乗近似を用いる場合、非線形要素の影響でオーバーフィッティングなどが生じることがあり、予測式の次数を高くしたにも拘わらず性能がかえって低下するといった問題があった。また、近似式を用いる生じる誤差が、時として性能に影響するほど大きくなってしまうことがあった。
【００１２】
そこで、本発明の目的は、非線形要素の影響を低減することにある。
【００１３】
【課題を解決するための手段】
本発明は、このような状況に鑑みてなされたものであり、ビデオカメラの画像から、顔の向きなど、物体の姿勢を広範囲に、かつ正確に推定できるようにするものである。
【００１４】
すなわち、本発明は、画像処理装置であって、それぞれ特徴を示す付加データが付加された複数のサンプルデータを上記付加データに基づいて複数のグループに初期分類する初期分類手段と、上記初期分類手段により初期分類された各グループ毎に、グループ内のサンプルデータの特徴を表すグループ特徴データとして各グループ内のサンプルデータの平均値を検出するグループ特徴データ検出手段と、すべてのサンプルデータに対して、上記グループ特徴データ検出手段により検出された各グループのグループ特徴データとの相関を演算することにより、各グループのグループ特徴データとの距離を検出する距離検出手段と、上記距離検出手段によって検出された距離に基づいて、上記すべてのサンプルデータを上記複数のグループに再分類する再分類手段と、上記再分類手段による再分類によって、前グループと異なるグループに分類されたサンプルデータ数が収束したか否かを検出する収束検出手段と、上記収束検出手段が収束したと検出するまで、上記グループ特徴データ検出手段と、上記再分類手段と、上記収束検出手段による処理を繰り返させ、上記収束検出手段が収束したと検出したときの上記各グループのグループ特徴データを、上記各グループの代表サンプルデータとして決定する決定手段とを備え、上記複数のサンプルデータを複数のグループに分類し、各グループの代表サンプルデータを生成する代表サンプル生成装置と、入力サンプルデータと、上記代表サンプル生成装置により複数のグループ毎に予め生成された代表サンプルデータとの相関を演算することにより距離を検出する距離検出手段と、上記複数のグループの代表サンプルデータとの各距離に基づいて、複数のクラスの１つに分類する分類手段と、クラス毎に予め設定された係数データセットを記憶する記憶手段と、上記分類手段で分類されたクラスに基づいて、上記記憶手段から読み出した係数データセットに基づいて予測式を生成する予測式生成手段と、上記予測式を解き、上記入力サンプルデータとして与えられる画像データで示される画像の向きに応じたサンプル特徴データとして、上記複数の代表サンプルデータを結ぶライン上において、連続的に値を有するサンプル特徴データを生成する特徴データ生成手段とを備えるサンプル特徴データ生成装置とからなることを特徴とする。
【００１５】
また、本発明は、画像処理方法であって、それぞれ特徴を示す付加データが付加された複数のサンプルデータを上記付加データに基づいて複数のグループに初期分類し、初期分類された各グループ毎に、グループ内のサンプルデータの特徴を表すグループ特徴データとして各グループ内のサンプルデータの平均値を検出し、すべてのサンプルデータに対して、検出された上記各グループのグループ特徴データとの相関を演算することにより、各グループのグループ特徴データとの距離を検出し、検出された上記距離に基づいて、上記すべてのサンプルデータを上記複数のグループに再分類し、上記再分類によって、前グループと異なるグループに分類されたサンプルデータ数が収束したか否かを検出し、収束したと検出するまで、上記グループ特徴データの検出処理、上記サンプルデータの再分類処理と、上記サンプルデータ数の収束検出処理を繰り返し、上記サンプルデータ数が収束したと検出したときの上記各グループのグループ特徴データを、上記各グループの代表サンプルデータとして決定することにより、上記複数のサンプルデータを複数のグループに分類し、各グループの代表サンプルデータを生成する代表サンプル生成ステップと、入力サンプルデータと、上記代表サンプル生成ステップにより複数のグループ毎に予め生成された代表サンプルデータとの相関を演算することにより距離を検出し、上記複数のグループの代表サンプルデータとの各距離に基づいて、複数のクラスの１つに分類し、クラス毎に予め設定された係数データセットを記憶する記憶手段から、上記分類されたクラスに基づいて、読み出した係数データセットに基づいて予測式を生成し、上記予測式を解き、上記入力サンプルデータとして与えられる画像データで示される画像の向きに応じたサンプル特徴データとして、上記複数の代表サンプルデータを結ぶライン上において、連続的に値を有するサンプル特徴データを生成するサンプル特徴データ生成ステップとを有することを特徴とする。
【００１６】
さらに、本発明は、画像処理装置に備えられたコンピュータにより読み取り実行可能に画像処理プログラムが記録された記録媒体であって、それぞれ特徴を示す付加データが付加された複数のサンプルデータを上記付加データに基づいて複数のグループに初期分類する初期分類手段と、上記初期分類手段により初期分類された各グループ毎に、グループ内のサンプルデータの特徴を表すグループ特徴データとして各グループ内のサンプルデータの平均値を検出するグループ特徴データ検出手段と、すべてのサンプルデータに対して、上記グループ特徴データ検出手段により検出された各グループのグループ特徴データとの相関を演算することにより、各グループのグループ特徴データとの距離を検出する距離検出手段と、上記距離検出手段によって検出された距離に基づいて、上記すべてのサンプルデータを上記複数のグループに再分類する再分類手段と、上記再分類手段による再分類によって、前グループと異なるグループに分類されたサンプルデータ数が収束したか否かを検出する収束検出手段と、上記収束検出手段が収束したと検出するまで、上記グループ特徴データ検出手段と、上記再分類手段と、上記収束検出手段による処理を繰り返させ、上記収束検出手段が収束したと検出したときの上記各グループのグループ特徴データを、上記各グループの代表サンプルデータとして決定する決定手段とを備え、上記複数のサンプルデータを複数のグループに分類し、各グループの代表サンプルデータを生成する代表サンプル生成装置と、
入力サンプルデータと、上記代表サンプル生成装置により複数のグループ毎に予め生成された代表サンプルデータとの相関を演算することにより距離を検出する距離検出手段と、上記複数のグループの代表サンプルデータとの各距離に基づいて、複数のクラスの１つに分類する分類手段と、クラス毎に予め設定された係数データセットを記憶する記憶手段と、上記分類手段で分類されたクラスに基づいて、上記記憶手段から読み出した係数データセットに基づいて予測式を生成する予測式生成手段と、上記予測式を解き、上記入力サンプルデータとして与えられる画像データで示される画像の向きに応じたサンプル特徴データとして、上記複数の代表サンプルデータを結ぶライン上において、連続的に値を有するサンプル特徴データを生成する特徴データ生成手段とを備えるサンプル特徴データ生成装置として上記コンピュータを機能させる画像処理プログラムが記録されていることを特徴とする。
【００１７】
【発明の実施の形態】
発明を実施するための最良の形態以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００１８】
本発明は、例えば図１に示すような構成のコンテンツ選択システムに適用される。
【００１９】
図１は、本発明を適用した画像処理装置の構成例を表している。画像入力装置１は、例えば、ビデオカメラなどにより構成され、被写体を撮像する。Ａ／Ｄ変換器２は、画像入力装置１より出力された画像データをＡ／Ｄ変換し、例えば、パーソナルコンピュータなどにより構成される演算装置３に供給する。記憶装置４は、例えば、ハードディスクなどにより構成され、演算装置３において処理する画像データとテンプレートとしての画像データを記憶する。
【００２０】
演算装置３は、図２に示すような機能ブロックを有している。顔領域判定器１１は、画像入力装置１より入力された画像データの中から、テンプレートと比較する範囲としての顔領域がどこにあるのかを判定する。相関演算器１２は、顔領域判定器１１により判定された顔領域と、記憶装置４に予め記憶されているテンプレートとの相関を演算する。クラス分類器１３は、相関演算器１２により演算された相関に基づいてクラス分類処理を行い、角度推定器１４は、クラス分類器１３により分類されたクラスに対応して、画像入力装置１より入力された被写体の顔の向きの角度を推定する演算を行う。
【００２１】
次に、図３のフローチャートを参照して、上記した画像処理装置の動作について説明する。最初に、ステップＳ１において、画像データと姿勢データがリンクしたデータベースを作成する処理を実行する。すなわち、ステップＳ１では、画像入力装置１により、所定の方向を向いている被写体としての人の顔を撮像する。画像入力装置１により得られた画像データは、Ａ／Ｄ変換器２によりＡ／Ｄ変換され、演算装置３に入力される。演算装置３は、入力された画像データから、ユーザが手動により指定する枠の範囲、ここでは、例えば、両目と鼻を含む矩形の範囲を抽出し、記憶装置４に供給し、記憶させる。このとき、演算装置３は、その時の顔の向いている角度を姿勢データとして、その画像データにリンクして記憶させる。一人の顔に対して、同様の処理が、顔の向いている方向を異ならせた状態で、複数回行われる。そして、複数の人の顔について、上記処理を行い、それぞれ画像データと姿勢データをリンクして記憶装置４に記憶させる。これにより、記憶装置４には、例えば、図４に示すような、所定の枚数のテンプレートからなる画像データが登録される。簡単のため、図４には、１６枚のテンプレートのみが示されているが、例えば、１３０枚のテンプレートを登録される。
【００２２】
次に、ステップＳ２において、ステップＳ１で作成された１３０枚のテンプレートから、３つの代表顔の画像を作成する処理が実行される。この処理の詳細は、図５に示されている。
【００２３】
ステップＳ１１において、ユーザは、ステップＳ１で作成された１３０枚のテンプレートの両目と鼻の位置を指定する。ステップＳ１２において、演算装置３は、ステップＳ１１で指定された両目と鼻の３点で指定された領域の重心が画像の中心になるように、一定の大きさの画像を各テンプレートから切り出す。ステップＳ１３において、ユーザは、手動操作で、ステップＳ１２で各テンプレートから切り出した各画像を、その顔の向きに応じて３つの顔クラスに分類する。例えば、正面を見ている画像を第１の顔クラス、顔の右側の画像は第２の顔クラス、顔の左側の画像は第３の顔クラスのように分類が行われる。
【００２４】
次に、ステップＳ１４において、演算装置３は、３つの顔クラスのそれぞれの顔クラス内における画像の平均を演算することで、代表顔の画像を作成する。図４に示すように、顔の向きにより有効領域が異なるので、各顔クラスに分類されたテンプレートの形状は、必ずしもすべて同一のものとはならない。従って、画像の平均化処理は、異なる形状のテンプレートのもとで、目の位置を合わせて実行される。
【００２５】
この際、例えば、図６Ａ，図６Ｂ及び図６Ｃに示すように、有効領域の形状が異なるテンプレートがあった場合、例えば、図７に示すように、最も小さい領域Ａの範囲で平均化を行い、最も小さい領域Ａの画像データＤＡ、領域Ｂの画像データ範囲ＤＢ及び領域Ｃの画像データＤＣからＲＡＶＧ＝（ＤＡ＋ＤＢ＋ＤＣ）／３なる平均値ＲＡＶＧを演算して代表顔の代表顔の画像データとする。
【００２６】
あるいは、図８に示すように、最も小さい領域Ａの範囲内においては、３枚のテンプレート（領域Ａ，Ｂ，Ｃ）間でＲＡＶＧ１＝（ＤＡ＋ＤＢ＋ＤＣ）／３にて示される平均値ＲＡＶＧ１を演算して代表顔の画像データとし、また、領域Ａの外側で領域Ｂの範囲内においては、２枚のテンプレート（領域Ｂと領域Ｃ）間でＲＡＶＧ２＝（ＤＢ＋ＤＣ）／２にて示される平均値ＲＡＶＧ２を演算して代表顔の画像データとし、さらに、領域Ｂの外側で領域Ｃの範囲内においては、画像データＤＣを代表顔の画像データとする。この場合には、平均化を行う領域の数が、領域によって変化することになる。
【００２７】
また、例えば各領域Ａ，Ｂ，Ｃの平均をとる場合には、領域Ａの外側の画素及び領域Ｂの外側の画素を０として計算するのではなく、予め設定されている値Ｋが存在するものとして、図９に示すように、領域Ａの外側で領域Ｂの範囲内においては、ＲＡＶＧ２＝（Ｋ＋ＤＢ＋ＤＣ）／３にて示される平均値ＲＡＶＧ２を演算して代表顔の画像データとし、さらに、領域Ｂの外側で領域Ｃの範囲内においては、ＲＡＶＧ３＝（２Ｋ＋ＤＣ）／３にて示される平均値ＲＡＶＧ３を演算して代表顔の画像データとすることもできる。
【００２８】
さらに、例えば各領域Ａ，Ｂ，Ｃの平均をとる場合に、顔クラス数ｎを母数とて、ＲＡＶＧ４＝（Ｋ＋ＤＢ＋ＤＣ）／ｎにて示される平均値ＲＡＶＧ４を演算して代表顔の画像データとするようにしてもよい。
【００２９】
次に、ステップＳ１５に進み、１３０枚の全てのテンプレートについての処理が終了したか否かを判定し、まだ終了していない場合には、ステップＳ１６に進み、全ての代表顔の画像に対する相関値Ｃの演算が終了したか否かを判定する。１つのテンプレートについて、３つの代表顔の画像との相関値Ｃの演算がまだ終了していない場合には、ステップＳ１７に進み、演算装置３は、３つの代表顔の画像のうち、まだ相関値Ｃを演算していない代表顔の画像との間の相関値Ｃを演算し、その演算された相関値Ｃを記憶する。その後、ステップＳ１６に戻り、ステップＳ１７の処理が、ステップＳ１６において、１つのテンプレートと３つの代表顔の画像との相関値Ｃが求められたと判定されるまで、繰り返し実行される。
【００３０】
相関値Ｃは、例えば次式（１）に従って演算される。なお、式（１）において、Ｒは代表顔の画像データを表し、ＲＡＶＧは、その平均値を表す。また、Ｔはテンプレートの画像データを表し、ＴＡＶＧは、その平均値を表す。
【００３１】
【数１】

【００３２】
１つのテンプレートと３つの代表顔の画像との間の相関値Ｃの演算が完了すると、ステップＳ１８に進み、演算装置３は、３つの代表顔の画像との相関値Ｃのうち、最も相関の高い代表顔の画像に属する顔クラスに、そのテンプレートをクラス分けする。
【００３３】
その後、ステップＳ１５に戻り、１３０枚の全てのテンプレートについて、同様の処理を行ったか否かが判定される。１３０枚のテンプレートについて同様の処理が完了したとき、ステップＳ１９に進み、演算装置３は、１３０枚のテンプレートのうち、属する顔クラスが、過去の顔クラスと変化したテンプレートの数が、予め設定されている閾値以下となったか否かを判定する。このステップＳ１９における判定結果が「ＮＯ」であった場合には、ステップＳ１４に戻り、各顔クラス毎にそのクラスに属するテンプレートの画像の画素毎の平均値が演算され、代表顔の画像が作成（更新）される。そして、新たに作成された３つの代表顔の画像に対して、ステップＳ１５乃至ステップＳ１８の処理が実行され、１３０枚のテンプレートと新たな３枚の代表顔の画像との相関値が演算される。各テンプレートは、３枚の代表顔の画像のうち、より近い相関値を有する代表顔の画像の顔クラスに属するように顔クラスが変更される。
【００３４】
その後、再び、ステップＳ１９に進み、属する顔クラスが変更されたテンプレートの数が、予め設定されている所定の閾値以下になったか否かが判定される。属する顔クラスが変更されたテンプレートの数が、閾値以下になっていなければ、再び、ステップＳ１４に戻り、それ以降の処理が繰り返し実行される。ステップＳ１９において、顔クラスが変更されたテンプレートの数が、閾値以下になったと判定されたとき、処理は終了される。なお、このステップＳ１９では、顔クラスが変更されたテンプレートの数の変化率や再分類処理の回数を閾値として、収束判定を行うようにしてもよい。
【００３５】
以上のようにして、例えば、図１０に示すような、３つの顔クラスの平均顔が、それぞれの顔クラスの代表顔の画像として登録される。
【００３６】
図１１は、３つの顔クラスの代表顔の画像と、その顔クラスに属するテンプレートとの関係を概念的に表している。同図に示すように、クラス１の代表顔１は、テンプレート１−１乃至テンプレート１−ｐの平均的な顔とされ、代表顔２は、クラス２に属するテンプレート２−１乃至テンプレート２−ｑの平均的な顔とされ、クラス３の代表顔３は、テンプレート３−１乃至テンプレート３−ｒの平均的な顔とされる。ｐ＋ｑ＋ｒの値は、この例の場合、１３０となる。
【００３７】
ここでは、各顔クラス毎にその顔クラスに属するテンプレートの画像の画素毎の平均値を演算することにより、各顔クラスの代表顔の画像を作成したが、上記平均値以外に、全体の中央の値を持つ画素値、最大値と最小値との中間値、又は中間の値を持つ画素値などを用いて各顔クラスの代表顔の画像を作成することもできる。
【００３８】
ここで、上述のステップＳ１で作成された１３０枚のテンプレートから、３つの代表顔の画像を作成する処理において、上記１３０枚のテンプレートにそれぞれ顔の向いている角度の情報が予め付与されている場合には、図１２に示すように、上述のステップＳ１１〜Ｓ１３の処理に代えて、ステップＳ１０において、上記角度の情報に基づいて、各テンプレートの画像を上記第１〜第３の顔クラスに初期分類する処理を行うようにすることができる。すなわち、図１３に示すように、各テンプレートの画像を角度の情報Ｘ０〜Ｘｎに基づいて代表顔Ｎの顔クラスに分類する。
【００３９】
以上のようにして、データベース中のテンプレートの数（この例の場合、１３０枚）より少ない数（この例の場合、３枚）の代表顔の画像が作成された後に、実際に入力された画像に対する顔の向きの検出処理が実行される。このとき、図３のステップＳ３において、被写体の顔が、画像入力装置１により撮像さる。演算装置３は、撮像した画像に対して、ステップＳ４において、顔の位置判定処理を実行し、ステップＳ５において、顔の角度判定処理を実行する。ステップＳ４の顔の位置判定処理の詳細は、図１４のフローチャートに示されている。
【００４０】
最初に、ステップＳ３１において、演算装置３の顔領域判定器１１は、この例の場合、３枚の代表顔の画像全てに対する処理が終了したか否かを判定する。処理が終了していない場合にはステップＳ３２に進み、次に処理すべき代表顔の画像をセットする。そして、ステップＳ３３において、顔領域判定器１１は、ステップＳ３２でセットされた代表顔の画像の全領域のサーチが終了したか否かを判定する。このサーチ処理が終了していない場合にはステップＳ３４に進み、顔領域判定器１１は、入力された画像のフレーム内の注目画素を基準にしたテンプレートと同じ大きさの領域の画像と、対象とされている代表顔の画像との相関値を演算する。
【００４１】
例えば、図１５Ａに示すように、図１０に示す３枚の代表顔の画像のうち、中央の画像が処理対象の代表顔として選択されているとすると、図１５Ｂに示すように、この代表顔に対応する大きさの領域が入力画像のフレームの左上の領域から順次抽出され、その領域の画像と代表顔の画像との相関が演算される。
【００４２】
次に、ステップＳ３５に進み、ステップＳ３４で演算により求められた相関値は、その時点で保持している相関値の最大値ＭＡＸより大きいか否かが判定される。このステップＳ３５における判定結果が「ＹＥＳ」の場合にはステップＳ３６に進み、ステップＳ３４で演算により求められた相関値が、その時点における最大値ＭＡＸとして保存される。
【００４３】
その後、ステップＳ３３に戻り、サーチが全領域に渡って行われたか否かが判定される。全領域に渡ってサーチが行われていない場合にはステップＳ３４に進み、顔領域判定器１１は、代表顔に対応する領域の位置を前回より入力画像のフレーム内において１画素ずつ順次させる。そして、新たな位置の領域の画像と代表顔の画像との相関値が再び演算される。ステップＳ３５ではステップＳ３４で求められた相関値がステップＳ３６で過去に保存されている最大値ＭＡＸより大きいか否かが判定され、大きい場合には、ステップＳ３６において最大値ＭＡＸが、上記ステップＳ３４で求められた相関値で更新される。また、ステップＳ３５において、最大値ＭＡＸがステップＳ３４で求められた相関値より小さいと判定された場合には、ステップＳ３６の処理はスキップされる。
【００４４】
以上の処理が、代表顔と比較される入力画像のフレーム内の領域を左上から右下方向に順次移動させることで（サーチさせることで）、繰り返し実行される。この処理は、ステップＳ３３において、入力画像のフレームの全領域に渡ってサーチが行われたと判定されるまで、繰り返し実行される。
【００４５】
ステップＳ３３において入力画像のフレームの全領域に渡ってサーチが終了したと判定された場合にはステップＳ３７に進み、相関演算器１２は、入力画像のフレーム内の最大相関値が得られた位置と、その最大相関値すなわちステップＳ３６の処理により得られた最大値ＭＡＸを保存する。
【００４６】
図１６は、最大相関値が得られた位置の例を表している。すなわち、図１６において、四角形の枠が、代表顔に対応する領域の範囲を表しており、その左上の角の位置が、その代表顔の位置とされる。図１６は、サーチの結果得られた相関値の値を濃度で表しており、高い相関値ほど白く表され、低い相関値ほど黒く表されている。図１６の例では、表示されている枠の左上の近傍が白く表示され、その他の領域は黒く表示されている。従って、図１６の例では、画面の左上に示されている代表顔に最も相関の高い画像が得られた位置は、枠で示された位置であるということになる。なお、図１７は、相関値の高い部分を拡大して、相関値を３次元表示して模式的に示したものである。
【００４７】
次に、ステップＳ３１に戻り、３枚の代表顔の画像全てについての処理が終了したか否かが判定される。この例では、１枚の代表顔の画像についての処理を終了しただけなので、次に、例えば、図１０に示されている３枚の代表顔の画像のうち、右側の画像が処理対象の代表顔として選択され、ステップＳ３３以降の処理が実行される。
【００４８】
その結果、上述した場合と同様にして、図１５Ｂに示した入力画像と、図１０の右側に示した代表顔の画像との間の最大相関値と、その最大相関値が得られた位置が求められ、その値が、ステップＳ３７で保存される。
【００４９】
その後、ステップＳ３１に戻り、図１０の左側に示す代表顔の画像が、対象代表顔として選択され、その画像と、図１５Ｂに示す入力画像との最大相関値が得られる位置と、その値が検索され、ステップＳ３７で保存される。
【００５０】
以上のようにして、３枚の代表顔の画像についての処理が終了した場合、ステップＳ３１において、ＹＥＳの判定が行われ、ステップＳ３８に進み、相関演算器１２は、３枚の代表顔の画像のうち、入力画像との相関値が最も大きかった画像の位置を、その入力画像の顔の位置として記憶する。
【００５１】
この例の場合、図１５Ｂに示すように、入力画像が、正面を向いている顔の画像であるので、図１０に示す３つの代表顔の画像のうち、中央に示す画像との相関が最大となる。そこで、図１５Ｂにおいて、白い枠で示す位置が、この入力画像の最大相関位置として記憶される。
【００５２】
以上のようにして、入力画像の顔の位置（３枚の代表顔の画像と比較する範囲の位置）が特定されたとき、図３のステップＳ５の顔の角度判定処理が実行される。この顔の角度判定処理の詳細は、図１８のフローチャートに示されている。
【００５３】
最初にステップＳ５１において、相関演算器１２は、全ての代表顔の画像との相関値の演算処理が終了したか否かを判定する。すなわち、３枚の代表顔の画像と、入力画像の図１５Ｂにおいて枠で示す領域の画像との相関値を求める処理が終了しているか否かが判定される。
【００５４】
処理が終了していない場合にはステップＳ５２に進み、次に処理すべき代表顔の画像をセットする。そして、ステップＳ５３では、相関演算器１２は、図１５Ｂにおいて、枠で示されている領域の画像と、ステップＳ５３でセットされた代表顔の画像、例えば、図１０の中央に示す代表顔の画像との相関を演算する処理が実行される。そして、演算された相関値が、ステップＳ５４において記憶される。なお、この相関値は、実際には、図１４のステップＳ３７で、その代表顔の画像について保存された値と等しいので、この代表顔の画像におけるステップＳ５３とステップＳ５４の処理は、省略することも可能である。
【００５５】
次に、ステップＳ５１に戻り、例えば、図１０の右側に示す代表顔の画像と、図１５Ｂの枠で示す領域との相関値を求める演算が、ステップＳ５３において行われる。そして、ステップＳ５４において、演算された相関値が記憶される。なお、この代表顔の画像と、図１５Ｂに示す入力画像との相関値の演算も、図１４のステップＳ３３乃至ステップＳ３６の処理で既に実行されているのであるが、ステップＳ３７において保存される値は、必ずしも図１５Ｂに枠で示す領域（図１０の中央に示す代表顔の画像との間で最も高い相関が得られる領域）との比較結果であるとは限らないので、この代表顔の画像の場合は、実際に、相関値の演算が行われ、新たに記憶される。
【００５６】
同様にして、図１０の左側に示す代表顔の画像についても、ステップＳ５３とステップＳ５４の処理が実行され、図１５Ｂに枠で示す領域との間の相関値が演算され、記憶される。
【００５７】
以上のようにして、入力画像の所定の領域と３つの代表顔の画像との間の相関値が求められたとき、ステップＳ５１から、ステップＳ５５に進み、クラス分類器１３は、代表顔の画像との相関値に基づいて、クラス分類処理を実行する。
【００５８】
クラス分類器１３は、相関値に基づいてクラスを決定すると、そのクラスを角度推定器１４に出力する。ここで、クラスは、例えば相関値Ｃ１，Ｃ２，Ｃ３が与えられたとき、一義的に決定されるものである。すなわち、このクラスとは、入力データを性質の類似するクラスに分類し、対応するクラス毎に、予め学習により求めたデータ処理を適用する手法におけるクラスである。
【００５９】
角度推定器１４は、ステップＳ５６で、次式に従って、入力画像の角度θを演算する。
【００６０】
θ＝ｗ１Ｃ１＋ｗ２Ｃ２＋ｗ３Ｃ３（２）
上記式（２）において、Ｃ１乃至Ｃ３は、ステップＳ５４で記憶された３つの代表顔の画像に対する入力画像との相関値を表し、ｗ１乃至ｗ３は、係数である。そして、角度推定器１４は、この係数ｗ１乃至ｗ３を相関値に基づいて決定されたクラス毎に記憶している。すなわち、角度推定器１４は、ステップＳ５６において、クラス分類器１３より入力されたクラスに対応する係数セットを読み出し、その係数セットにクラス分類器１３を介して相関演算器１２より入力された相関値Ｃ１乃至Ｃ３を乗算して、式（２）に従って、入力画像の角度θを演算する。
【００６１】
図１９は、相関値と被写体の向いている角度との関係を表している。同図において、縦軸は、相関値を表し、横軸は、被写体が実際に向いている角度を表している。また、同図において、左向き、正面、又は右向きと表現されているのは、それぞれ、図１０に示す、左側、中央、又は右側に示す代表顔の画像を用いて入力画像との相関値を求めた場合を表している。同図から明らかなように、正面を向いている代表顔の画像を用いて、被写体の入力画像との相関値を求めると、被写体が正面を向いている場合に、最も高い相関値が得られ、被写体が、右又は左を向くほど、相関値が低くなることがわかる。
【００６２】
また、左向きの代表顔の画像を用いた場合、被写体が正面よりも左側を向いているとき、向いている角度にほぼ比例する相関値が得られることがわかる。また、同様に、右向きの代表顔の画像を用いた場合には、被写体が右側を向いているとき、ほぼ、その向いている角度に比例した相関値が得られることがわかる。
【００６３】
従って、例えば、図２０に示すように、入力画像が、被写体の右側の顔が撮像されている画像である場合には、図１０に示す３つの代表顔の画像のうち右側に示す代表顔の画像を用いたとき、最大の相関値が得られる。同様に、図２１に示すように、入力画像が、被写体の左側の画像が撮像されている画像である場合には、図１０に示す３つの代表顔画像のうち、左側に示す左側の画像との相関が最も高くなる。
【００６４】
なお、クラス毎の係数セットの学習は、例えば、ベクトル量子化などで用いられているｋ−ｍｅａｎｓ法などのアルゴリズムを用いて、多くの入力画像から、比較的少ない数のクラスの画像を生成し、正しい結果が得られる係数セットを学習するようにすることができる。なお、ｋ−ｍｅａｎｓ法は、ＬＢＧアルゴリズムとも称され、その詳細は、例えば、オーム社（商号）の「画像情報圧縮」の第１２７頁乃至第１３０頁に開示されている。
【００６５】
図２２は、以上の本発明の原理を模式的に表している。同図に示すように、この発明においては、多くのテンプレートの中から、比較的少ない数の（この例の場合、５個の）代表顔の画像が作成される。そして、入力画像と、代表顔の画像との相関値Ｃに対して、クラス分類適応処理により、入力画像の向きが算出される。
【００６６】
ここで、クラス分類処理は、例えば図２３のフローチャートに示す手順に従って、代表顔の画像と入力画像との相関値評価を行うことによって実行される。
【００６７】
すなわち、図２３のフローチャートに示すクラス分類処理では、まず、ステップＳ７１において、入力画像について、すべての代表顔の画像との相関値評価を行ったか否かを判定し、評価していない代表顔の画像がある場合にステップＳ７２に進み、代表顔の画像と入力画像との相関演算を行い、相関値Ｃを保存し、ステップＳ７３で次の代表顔の画像を指定して、ステップＳ７１に戻って、ステップＳ７１からステップＳ７３の処理を繰り返すことにより、すべての代表顔の画像との相関値Ｃ１，Ｃ２，Ｃ２の評価を行ったら、ステップＳ７４に進んで、相関値評価の結果に基づいて最も相関の高い代表顔の画像のクラスに分類する。
【００６８】
また、角度θのわかっている入力画像と代表顔の画像との相関値の組（ベクトル）がたくさんある場合は、例えば図２４のフローチャートに示す手順に従ってクラス分類処理を実行するようにしてもよい。
【００６９】
すなわち、図２４のフローチャートに示すクラス分類処理では、まず、ステップＳ８１において、テンプレート毎に各代表顔の画像に対する相関値ｃ１，ｃ２，ｃ２をベクトル表現し、ステップＳ８２において、ユーザがクラスを代表する相関ベクトルの初期値を設定し、代表ベクトル（Ｃ１，Ｃ２，Ｃ３）とする。
【００７０】
ステップＳ８３では全てのテンプレートについて処理を行ったか否かを判定し、処理すべきテンプレートがある場合にステップＳ８４に進む。
【００７１】
ステップＳ８４では全ての代表ベクトルに対する処理を行ったか否かを判定し、処理すべき代表ベクトルがある場合にステップＳ８５に進んで相関ベクトルと代表ベクトルの内積演算のような距離評価を行う。そして、ステップＳ８４に戻って、ステップＳ８４とステップ５を繰り返すことにより、全ての相関ベクトルに対して代表ベクトルとの距離評価を行ったらステップＳ８６に進む。
【００７２】
ステップＳ８６では、ベクトル間の距離が最も短い（相関が高く類似している）代表ベクトルの属するクラスに分類する。そして、ステップＳ８３に戻って、ステップＳ８３からステップＳ８６の処理を繰り返し行うことにより、全ての相関ベクトルにおいてクラス分類を行ったら、ステップＳ８７に進む。
【００７３】
ステップＳ８７では、同一クラス内で平均値演算を行い新たに代表ベクトル（Ｃ１’，Ｃ２’，Ｃ３’）を求める。
【００７４】
そして、次のステップＳ８８では、新たに求めた代表ベクトル（Ｃ１’，Ｃ２７，Ｃ３’）と元の代表ベクトル（Ｃ１，Ｃ２，Ｃ３）で内積演算に代表される距離評価を行い、代表ベクトルに変化がある場合には、ステップＳ８３に戻って、新たに求めた代表ベクトル（Ｃ１’，Ｃ２’，Ｃ３’）を用いて、ステップＳ８３からステップＳ８８の処理を繰り返し行い、代表ベクトルの変化がある値以下になったらステップＳ８９に進み、この代表ベクトルを答えとして決定し、処理を終了する。
【００７５】
さらに、クラス毎の係数セットの学習処理は、例えば図２５のフローチャートに示す手順に従って、すべての学習データのクラス分類を行い、同一クラスのデータに対して最小自乗法により係数セットを学習することにより実行される。
【００７６】
すなわち、クラス毎の係数セットの学習処理では、まず、ステップＳ９１において、すべてのクラスについて学習処理を行ったか否かを判定し、処理すべきクラスがある場合にステップＳ９２に進み、処理するクラス内のすべてのデータを処理したか否かを判定し、処理すべきデータがある場合にステップＳ９３に進む。
【００７７】
ステップＳ９３では教師データ（角度θ）を読み込んで正規化方程式に入れ、次のステップＳ９４で相関値Ｃ１，Ｃ２，Ｃ２を読み込み正規化方程式に入れて、ステップＳ９２に戻って、ステップＳ９２からステップＳ９４の処理を繰り返すことにより、処理するクラス内のすべてのデータについて正規化方程式を生成したら、ステップＳ９５に進む。
【００７８】
ステップＳ９５では、最小自乗法により正規化方程式を解いて、そのクラスの係数セットｗ１，ｗ２，ｗ３を決定する。
【００７９】
そして、ステップＳ９６で次のクラスを指定して、ステップＳ９１に戻って、ステップＳ９１からステップＳ９６の処理を繰り返すことにより、すべてのクラスについて係数セットｗ１，ｗ２，ｗ３を決定したら、学習処理を終了する。
【００８０】
なお、以上の説明においては、被写体を人の顔としたが、人以外の被写体の向きを検出する場合にも、本発明は、適用することが可能である。また、画像間の距離は、相関以外の方法で計測するようにしてもよい。
【００８１】
また、上述の如き処理を行う演算装置３には、例えば図２６に示すように、バス３１１に接続されたＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３１２、メモリ３１３、入力インターフェース３１４、ユーザインターフェース３１５や出力インターフェース３１６などにより構成される一般的なコンピュータシステム３１０が使用され、上記演算装置３の機能を実現するためのコンピュータ制御可能なプログラムすなわち図３のフローチャートに従って画像処理を行うための画像処理プログラムが記録された記録媒体として、ユーザに提供される。上記画像処理プログラムには、図５や図１２のフローチャートに従って代表顔作成処理を行うための代表顔作成プログラム、図１４のフローチャートに従って顔の位置判定処理を行うための顔の位置判定プログラムや図１８のフローチャートに従って顔の角度判定処理を行うための顔の角度判定プログラム等が含まれている。さらに、上記画像処理プログラムには、図２３や図２４のフローチャートに従ってクラス分類処理を行うためのクラス分類処理プログラム、図２５のフローチャートに従って係数セットの学習処理を行うための学習処理プログラム等も含まれている。また、上記記録媒体には、磁気ディスク、ＣＤ−ＲＯＭなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００８２】
【発明の効果】
以上の如く、本発明によれば、複数のテンプレートから作成された、より少ない数の代表顔の画像と、入力された画像データとの距離に基づいて、入力された画像データのグループを決定し、そのグループに基づいて、入力された画像の角度を演算するようにしたので、簡単かつ迅速に、被写体の角度を求めることが可能となる。
【００８３】
すなわち、本発明では、それぞれ特徴を示す付加データが付加された複数のサンプルデータを上記付加データに基づいて複数のグループに初期分類し、初期分類された各グループ毎に、グループ内のサンプルデータの特徴を表すグループ特徴データとして各グループ内のサンプルデータの平均値を検出し、すべてのサンプルデータに対して、検出された上記各グループのグループ特徴データとの相関を演算することにより、各グループのグループ特徴データとの距離を検出し、検出された上記距離に基づいて、上記すべてのサンプルデータを上記複数のグループに再分類し、上記再分類によって、前グループと異なるグループに分類されたサンプルデータ数が収束したか否かを検出し、収束したと検出するまで、上記グループ特徴データの検出処理、上記サンプルデータの再分類処理と、上記サンプルデータ数の収束検出処理を繰り返し、上記サンプルデータ数が収束したと検出したときの上記各グループのグループ特徴データを、上記各グループの代表サンプルデータとして決定することにより、上記複数のサンプルデータを複数のグループに分類し、各グループの代表サンプルデータを生成するので、上記代表サンプル例えば代表顔の画像を時々刻々と変化させることが可能であり、時間がたつにつれて自動的に最適な代表顔の画像を作成することができ、また、予め固定の代表顔の画像を求める場合にも自動的に最適な代表顔の画像をもとめることができる。また、入力サンプルデータと、上記複数のグループ毎に予め生成された代表サンプルデータとの相関を演算することにより距離を検出し、上記複数のグループの代表サンプルデータとの各距離に基づいて、複数のクラスの１つに分類し、クラス毎に予め設定された係数データセットを記憶する記憶手段から、上記分類されたクラスに基づいて、読み出した係数データセットに基づいて予測式を生成し、上記予測式を解き、上記入力サンプルデータとして与えられる画像データで示される画像の向きに応じたサンプル特徴データとして、上記複数の代表サンプルデータを結ぶライン上において、連続的に値を有するサンプル特徴データを生成するので、線形な予測値をそのまま用いるのではなく、それはパラメータとして用い、その値と実際にセンシングした値との間の対応付けを行うことにより、例えば同一クラスの中に非線形要素が紛れ込んでいたとしても、線形・非線形変換テーブルなど用いて線形にパラメータに変換することができれば、あとは線形予測式で学習することが可能となり、非線形要素の影響を低減することができる。
【００８４】
さらに、本発明によれば、線形な予測値をそのまま用いるのではなく、それはパラメータとして用い、その値と実際にセンシングした値との間の対応付けを行うことにより、例えば同一クラスの中に非線形要素が紛れ込んでいたとしても、線形・非線形変換テーブルなど用いて非線形要素の影響を吸収することができる。
【図面の簡単な説明】
【図１】図１は、本発明を適用した画像処理装置の構成例を示すブロック図である。
【図２】図２は、上記画像処理装置における演算装置の機能構成を示すブロック図である。
【図３】図３は、上記画像処理装置の動作を示すフローチャートである。
【図４】図４は、データベースの例を示す図である。
【図５】図５は、上記画像処理装置において３つの代表顔の画像を作成する処理を示すフローチャートである。
【図６】図６Ａ，図６Ｂ及び図６Ｃは、有効領域の形状が異なるテンプレートの例を模式的に示す図である。
【図７】図７は、テンプレートの平均化処理を説明する図である。
【図８】図８は、テンプレートの平均化処理を説明する図である。
【図９】図９は、テンプレートの平均化処理を説明する図である。
【図１０】図１０は、３つの代表顔の画像を説明する図である。
【図１１】図１１は、代表顔の画像とそれに属するテンプレートとの関係を示す図である。
【図１２】図１２は、上記代表顔の画像を作成する処理の他の例を示すフローチャートである。
【図１３】図１３は、初期分類処理における代表顔の画像とそれに属するテンプレートとの関係を示す図である。
【図１４】図１４は、上記画像処理装置における顔の位置判定処理を示すフローチャートである。
【図１５】図１５Ａ及び図１５Ｂは、入力画像と最大の相関が得られる代表顔の画像を説明する図である。
【図１６】図１６は、サーチ後の相関値を説明する図である。
【図１７】図１７は、相関値の高い部分を拡大して、相関値を３次元表示して模式的に示した図である。
【図１８】図１８は、上記画像処理装置における顔の角度判定処理を示すフローチャートである。
【図１９】図１９は、被写体の角度と相関値の関係を示す図である。
【図２０】図２０は、入力画像と最大の相関が得られる代表顔の画像とを説明する図である。
【図２１】図２１は、入力画像と最大の相関が得られる代表顔の画像とを説明する図である。
【図２２】図２２は、入力画像と顔クラスの関係を説明する図である。
【図２３】図２３は、クラス分類のためのクラス決定処理を示すフローチャートである。
【図２４】図２４は、クラス分類のためのクラス決定処理の他の例を示すフローチャートである。
【図２５】図２５は、予測係数決定処理を示すフローチャートである。
【図２６】図２６は、上記画像処理装置における演算装置として使用されるコンピュータシステムの構成を示すブロック図である。

Claims

それぞれ特徴を示す付加データが付加された複数のサンプルデータを上記付加データに基づいて複数のグループに初期分類する初期分類手段と、上記初期分類手段により初期分類された各グループ毎に、グループ内のサンプルデータの特徴を表すグループ特徴データとして各グループ内のサンプルデータの平均値を検出するグループ特徴データ検出手段と、すべてのサンプルデータに対して、上記グループ特徴データ検出手段により検出された各グループのグループ特徴データとの相関を演算することにより、各グループのグループ特徴データとの距離を検出する距離検出手段と、上記距離検出手段によって検出された距離に基づいて、上記すべてのサンプルデータを上記複数のグループに再分類する再分類手段と、上記再分類手段による再分類によって、前グループと異なるグループに分類されたサンプルデータ数が収束したか否かを検出する収束検出手段と、上記収束検出手段が収束したと検出するまで、上記グループ特徴データ検出手段と、上記再分類手段と、上記収束検出手段による処理を繰り返させ、上記収束検出手段が収束したと検出したときの上記各グループのグループ特徴データを、上記各グループの代表サンプルデータとして決定する決定手段とを備え、上記複数のサンプルデータを複数のグループに分類し、各グループの代表サンプルデータを生成する代表サンプル生成装置と、
入力サンプルデータと、上記代表サンプル生成装置により複数のグループ毎に予め生成された代表サンプルデータとの相関を演算することにより距離を検出する距離検出手段と、上記複数のグループの代表サンプルデータとの各距離に基づいて、複数のクラスの１つに分類する分類手段と、クラス毎に予め設定された係数データセットを記憶する記憶手段と、上記分類手段で分類されたクラスに基づいて、上記記憶手段から読み出した係数データセットに基づいて予測式を生成する予測式生成手段と、上記予測式を解き、上記入力サンプルデータとして与えられる画像データで示される画像の向きに応じたサンプル特徴データとして、上記複数の代表サンプルデータを結ぶライン上において、連続的に値を有するサンプル特徴データを生成する特徴データ生成手段とを備えるサンプル特徴データ生成装置と
からなる画像処理装置。
上記収束検出手段は、前回と異なるグループに分類されたサンプルデータが所定数以下であったときに収束したと検出することを特徴とする請求項１記載の画像処理装置。
上記記憶手段には、分類毎に設定され、サンプル特徴データ対応付けされた代表サンプルデータとの関係に基づいて、サンプルデータを複数のクラスに分類分けされ、クラス毎に、サンプル特徴データとサンプルデータの値とを既知データとし、係数データを未知データとした正規方程式を生成して、クラス毎に上記正規方程式を解くことで、予めサンプル特徴データとサンプルデータが対応付けされて記憶されたデータベースに基づいて、上記サンプル特徴データを持たない新たなサンプルデータからサンプル特徴データを生成するためのクラス毎に生成された係数データセットが記憶されることを特徴とする請求項１記載の画像処理装置。
それぞれ特徴を示す付加データが付加された複数のサンプルデータを上記付加データに基づいて複数のグループに初期分類し、初期分類された各グループ毎に、グループ内のサンプルデータの特徴を表すグループ特徴データとして各グループ内のサンプルデータの平均値を検出し、すべてのサンプルデータに対して、検出された上記各グループのグループ特徴データとの相関を演算することにより、各グループのグループ特徴データとの距離を検出し、検出された上記距離に基づいて、上記すべてのサンプルデータを上記複数のグループに再分類し、上記再分類によって、前グループと異なるグループに分類されたサンプルデータ数が収束したか否かを検出し、収束したと検出するまで、上記グループ特徴データの検出処理、上記サンプルデータの再分類処理と、上記サンプルデータ数の収束検出処理を繰り返し、上記サンプルデータ数が収束したと検出したときの上記各グループのグループ特徴データを、上記各グループの代表サンプルデータとして決定することにより、上記複数のサンプルデータを複数のグループに分類し、各グループの代表サンプルデータを生成する代表サンプル生成ステップと、
入力サンプルデータと、上記代表サンプル生成ステップにより複数のグループ毎に予め生成された代表サンプルデータとの相関を演算することにより距離を検出し、上記複数のグループの代表サンプルデータとの各距離に基づいて、複数のクラスの１つに分類し、クラス毎に予め設定された係数データセットを記憶する記憶手段から、上記分類されたクラスに基づいて、読み出した係数データセットに基づいて予測式を生成し、上記予測式を解き、上記入力サンプルデータとして与えられる画像データで示される画像の向きに応じたサンプル特徴データとして、上記複数の代表サンプルデータを結ぶライン上において、連続的に値を有するサンプル特徴データを生成するサンプル特徴データ生成ステップと
を有する画像処理方法。
画像処理装置に備えられたコンピュータにより読み取り実行可能に画像処理プログラムが記録された記録媒体であって、
それぞれ特徴を示す付加データが付加された複数のサンプルデータを上記付加データに基づいて複数のグループに初期分類する初期分類手段と、上記初期分類手段により初期分類された各グループ毎に、グループ内のサンプルデータの特徴を表すグループ特徴データとして各グループ内のサンプルデータの平均値を検出するグループ特徴データ検出手段と、すべてのサンプルデータに対して、上記グループ特徴データ検出手段により検出された各グループのグループ特徴データとの相関を演算することにより、各グループのグループ特徴データとの距離を検出する距離検出手段と、上記距離検出手段によって検出された距離に基づいて、上記すべてのサンプルデータを上記複数のグループに再分類する再分類手段と、上記再分類手段による再分類によって、前グループと異なるグループに分類されたサンプルデータ数が収束したか否かを検出する収束検出手段と、上記収束検出手段が収束したと検出するまで、上記グループ特徴データ検出手段と、上記再分類手段と、上記収束検出手段による処理を繰り返させ、上記収束検出手段が収束したと検出したときの上記各グループのグループ特徴データを、上記各グループの代表サンプルデータとして決定する決定手段とを備え、上記複数のサンプルデータを複数のグループに分類し、各グループの代表サンプルデータを生成する代表サンプル生成装置と、
入力サンプルデータと、上記代表サンプル生成装置により複数のグループ毎に予め生成された代表サンプルデータとの相関を演算することにより距離を検出する距離検出手段と、上記複数のグループの代表サンプルデータとの各距離に基づいて、複数のクラスの１つに分類する分類手段と、クラス毎に予め設定された係数データセットを記憶する記憶手段と、上記分類手段で分類されたクラスに基づいて、上記記憶手段から読み出した係数データセットに基づいて予測式を生成する予測式生成手段と、上記予測式を解き、上記入力サンプルデータとして与えられる画像データで示される画像の向きに応じたサンプル特徴データとして、上記複数の代表サンプルデータを結ぶライン上において、連続的に値を有するサンプル特徴データを生成する特徴データ生成手段とを備えるサンプル特徴データ生成装置として
上記コンピュータを機能させる画像処理プログラムが記録されていることを特徴とする記録媒体。