JPWO2007142227A1 - 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム - Google Patents

Abstract

画像取得装置に傾きを検出するための特別な機器を組み込むことなく、入力画像の上下方向をより正確に判定する。対象物候補検出手段１０１は、入力画像から対象物候補とその対象物候補の入力画像中における角度とを検出する。類似度算出手段１０３は、検出された各対象物候補について、予め記憶しておいた各対象物との類似度を算出する。そして、入力画像角度算出手段１０４は、算出した各対象物候補の類似度と、入力画像中における角度とに基づいて、入力画像の上下方向を判定する。入力画像角度算出手段１０４は、例えば、各対象物候補の入力画像中における角度に対し、類似度に基づく重み付けを行い、重み付けの角度を用いて入力画像の上下方向に対する傾き角度を算出する。

Description

本発明は、画像の上下方向を判定する画像方向判定装置、画像方向判定方法、および画像方向判定用プログラムに関し、特にディジタルカメラ等で撮影された静止画像の上下方向を判断するための画像方向判定装置、画像方向判定方法、および画像方向判定用プログラムに関する。

従来の画像方向判定装置の一例が特許文献１に記載されている。特許文献１に記載されている手法は、電子カメラに傾き検出器を組み込み、画像撮影時にカメラの傾きを取得して画像の上下方向を判定する手法である。そのための構成として、静止画像を取得する電子画像取得装置と、垂直回転平面内での画像取得装置の回転を検出し、画像取得装置の縦長方向の位置にある基準位置から９０度の整数倍に対応する回転出力値を生成する回転検出器と、回転出力値に基づいて処理済みディジタル画像信号を発生する信号プロセッサとを備える。

また、別の画像方向判定装置の一例が、特許文献２に記載されている。特許文献２に記載されている手法は、撮影した画像データの中から人物の顔画像を検出して顔の上下方向を画像の上下方向として判定する手法である。図１９は、特許文献２等に記載されている従来の画像方向判定装置の構成例を示すブロック図である。図１９に示すように、顔の上下方向によって画像の上下方向を判定する画像方向判定装置は、静止画像を撮影して静止画像データを出力するカメラ撮像部９１と、静止画像データを圧縮するディジタル画像信号処理部９２と、圧縮静止画像データを記録する記憶部９３と、静止画像の被写体に含まれる人間の顔を検出して、顔の上下方向を判定し、判定の結果、顔の上下方向が画像の上下方向と異なる場合には、画像の上下方向を顔の上下方向と一致するように画像を回転させるよう指示する顔画像認識・処理部９５とを備える。

また、特許文献３には、文字画像について、文字画像から抽出した文字方向に依存しない特徴量個数情報に基づき認識候補文字を選択し、その候補文字に関する辞書データを回転させて、文字画像から抽出した文字方向に依存する特徴量データ（文字閉ループ，文字十字交差点，文字Ｔ字交差点，文字端点等の局所的形状の相対的位置）との一致度によって判定した回転角を角度情報とする手法が記載されている。

特開平１１−２２５２８３号公報（段落０００５、図１） 特開２００５−２６０８７０号公報（段落００１２−００１３） 特開平１０−２２４５９６号公報（段落００１０−００１３）

しかしながら、特許文献１に記載の手法を用いる場合、傾き検出器を組み込んでいない画像取得装置では上下判定が行ない。また、上下判定を行えるようにするためには、画像取得装置に傾き検出器を組み込む必要があり、ディジタルカメラ等の画像取得装置の製造に、画像の上下判定を行うためのコストがかかるという問題点がある。

また、特許文献２に記載の手法では、入力画像から検出された顔の上下方向のみを利用して画像の上下方向を判定するために、正確な判定を行えない。その理由は、一般に顔画像検出の精度は高くなく、顔の誤検出が頻繁に生じるため、誤検出された顔をもとに不正確な上下判定が行われる可能性が高いためである。

また、特許文献３に記載の手法は、文字画像に特化した手法であり、文字の切り出し精度の高さや、原稿から検出される文字の多さ等の助勢特性によるところであるといえる。つまり、原稿画像からひとつ切り出した文字の一致度がある程度高い場合にその文字の上下方向を判定する、という特許文献３の手法では、単純な閾値処理で条件のよい候補が選択される必要があり、比較対象となる文字が数多く検出でき、かつ、文字の切り出し精度が高くなければならない。

しかしながら、一般の写真の場合、対象物の検出精度は高くなく、また、対象物の検出個数も多くない。例えば、顔を対象物としてみると、顔の表情や向き、照明条件の影響により、あらかじめ記憶された特徴量との一致度は高くなく、また、原稿画像から抽出される文字数と比較すると、検出される顔の数も少ない。このため、単純な閾値処理で条件のよい候補を選ぶことは難しく、条件の良くない候補から角度を判定してしまう可能性が高い。

また、特許文献２および特許文献３に記載の手法において、複数の候補から異なる角度が検出されることが考慮されておらず、集合写真等の画像に対して正しく判定できない。

そこで、本発明は、画像取得装置に傾き検出器を組み込むことなく、入力画像の上下方向をより正確に判定することを目的とする。

また、本発明は、具体的には、入力画像を限定することなく、一般の写真画像であっても、上下方向を判定するための特別な機器（傾き検出器等）の組み込みコストをかけずに、正確に上下方向を判定できるような画像方向判定装置、画像方向判定方法、および画像方向判定用プログラムを提供することを目的とする。

上記課題を解決する本発明は、入力画像の上下方向を判定する画像方向判定装置であって、入力画像から、固定的な形状または配置をもち、その形状または配置から一定の角度が検出可能な対象物を対象物候補として検出する対象物候補検出手段（例えば、対象物候補検出手段１０１）と、対象物候補抽出手段によって抽出された対象物候補について、予め記憶している登録対象物との類似度を算出する類似度算出手段（例えば、類似度算出手段１０３）と、対象物候補抽出手段によって抽出された対象物候補の入力画像中における角度と、類似度算出手段によって算出された類似度とに基づいて、入力画像の上下方向を判定する上下方向判定手段（例えば、入力画像角度算出手段１０４）とを備えたことを特徴とする。

また、画像方向判定装置は、対象物候補検出手段によって検出された対象物候補について、入力画像内の対象物候補領域の画像情報に基づいて、対象物候補の特徴量を抽出する特徴量抽出手段（例えば、特徴量抽出手段１０２）を備え、対象物候補検出手段は、入力画像から、複数の対象物候補を検出するとともに、検出した対象物候補の入力画像中における角度を抽出し、類似度算出手段は、特徴量抽出手段によって抽出される各対象物候補の特徴量と、予め記憶している登録対象物の特徴量とを比較することによって、類似度を算出し、上下方向判定手段は、各対象物候補の入力画像中における角度に対し、登録対象物との類似度に基づいて重みを付与することによって、入力画像の上下方向に対する傾き角度を算出する入力画像角度算出手段を含んでいてもよい。

また、対象物検出手段は、入力画像を所定の角度で回転させた回転画像から、回転画像中における角度が０度の対象物候補を検出するとともに、検出した際の回転画像の回転角度に基づいて、対象物候補の入力画像中における角度を算出してもよい。

また、類似度算出手段は、対象物候補抽出手段によって抽出された各対象物候補と、予め記憶している各登録対象物との組み合わせによる類似度を算出してもよい。

また、特徴量抽出手段は、対象物の方向に応じて値が変わる特徴量を抽出し、類似度算出手段は、特徴量抽出手段によって抽出される、対象物の方向に応じて値の変わる特徴量を用いて類似度を算出してもよい。

また、入力画像角度算出手段は、入力画像から対象物候補が検出されない場合には、入力画像の上下方向に対する傾き角度を０度としてもよい。

また、入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、予め記憶している登録対象物との類似度が最大となる対象物候補の入力画像中における角度に基づいて、入力画像の上下方向に対する傾き角度を算出してもよい。

また、入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、予め記憶している登録対象物との類似度が所定の閾値以上である対象物候補の入力画像中における角度の平均をもとに、入力画像の上下方向に対する傾き角度を算出してもよい。

入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、予め記憶している登録対象物との類似度が所定の閾値以上である対象物候補の入力画像中における角度に基づいて、入力画像の上下方向に対する傾き角度を算出してもよい。

また、入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、対象物候補の入力画像中における角度に対して、予め記憶している登録対象物との類似度を重みづけることによって算出された角度をもとに、入力画像の上下方向に対する傾き角度を算出してもよい。

また、入力画像角度算出手段は、０度、９０度、１８０度、２７０度のうち、算出した入力画像の上下方向に対する傾き角度に最も近い角度を入力画像の上下方向に対する傾き角度としてもよい。

また、対象物候補検出手段は、所定の対象物の特定部位の相対位置情報を保持し、保持している相対位置情報と入力画像から検出される特定部位の相対位置情報との類似性に基づいて、対象物候補を検出してもよい。

また、対象物候補検出手段は、所定の対象物の特徴量を保持し、保持している特徴量と入力画像から抽出される特徴量との類似性に基づいて、対象物候補を検出してもよい。

また、対象物候補検出手段は、所定の対象物を含む画像をテンプレートとして保持し、保持しているテンプレートを用いて、入力画像に対しテンプレートマッチングを行うことによって対象物候補を検出してもよい。

また、画像方向判定装置は、対象物候補検出用のテンプレートとして、予め記憶している対象物の画像を用いてもよい。

また、画像方向判定装置は、登録対象物として、特定人物を示す情報を記憶する人物特徴量記憶手段（例えば、特徴量記憶部１２２）を備えていてもよい。

また、対象物候補検出手段は、対象物候補として人物の顔候補を検出してもよい。

また、対象物候補検出手段は、検出した人物の顔候補の入力画像中における角度として、左右の目を結ぶ直線の垂直二等分線の垂直方向となす角度を抽出してもよい。

また、対象物候補検出手段は、入力画像中に含まれる複数の人物候補を検出するとともに、検出した人物候補の入力画像中における角度を抽出する人物候補検出手段を含み、特徴量抽出手段は、人物候補検出手段によって検出された人物候補の特徴量を抽出し、類似度算出手段は、人物候補検出手段によって検出された各人物候補について、特徴量抽出手段によって抽出された特徴量と、予め記憶している特定人物の特徴量との類似度を算出し、入力画像角度算出手段は、人物候補抽出手段によって抽出された各人物候補の入力画像中における角度と、類似度算出手段によって算出された特定人物との類似度とに基づいて、入力画像の上下方向に対する傾き角度を算出してもよい。

上記課題を解決する本発明は、入力画像の上下方向を判定する画像方向判定方法であって、入力画像から、固定的な形状または配置をもち、その形状または配置から一定の角度が検出可能な対象物を対象物候補として検出するステップと、抽出された対象物候補について、予め記憶されている登録対象物との類似度を算出するステップと、対象物候補の入力画像中における角度と、算出された類似度とに基づいて、入力画像の上下方向を判定するステップとを含むことを特徴とする。

また、画像方向判定方法は、入力画像から、複数の対象物候補を検出するとともに、検出した対象物候補の入力画像中における角度を抽出するステップと、検出された各対象物候補について、入力画像内の対象物候補領域の画像情報に基づいて、対象物候補の特徴量を抽出するステップと、抽出された各対象物候補の特徴量と、予め記憶されている登録対象物の特徴量とを比較することによって、類似度を算出するステップと、各対象物候補の入力画像中における角度に対し、登録対象物との類似度に基づいて重みを付与することによって、入力画像の上下方向に対する傾き角度を算出するステップとを含んでいてもよい。

上記課題を解決する本発明は、入力画像の上下方向を判定するための画像方向判定用プログラムであって、コンピュータに、入力画像から、固定的な形状または配置をもち、その形状または配置から一定の角度が検出可能な対象物を対象物候補として検出する処理、抽出された対象物候補について、予め記憶されている登録対象物との類似度を算出する処理、および対象物候補の入力画像中における角度と、算出された類似度とに基づいて、入力画像の上下方向を判定する処理を実行させることを特徴とする。

また、画像方向判定用プログラムは、コンピュータに、入力画像から、複数の対象物候補を検出するとともに、検出した対象物候補の入力画像中における角度を抽出する処理、検出された各対象物候補について、入力画像内の対象物候補領域の画像情報に基づいて、対象物候補の特徴量を抽出する処理、抽出された各対象物候補の特徴量と、予め記憶されている登録対象物の特徴量とを比較することによって、類似度を算出する処理、および各対象物候補の入力画像中における角度に対し、登録対象物との類似度に基づいて重みを付与することによって、入力画像の上下方向に対する傾き角度を算出する処理を実行させてもよい。

本発明によれば、ディジタルカメラ等の画像取得装置の製造にあたり、上下方向の判定を行うための機器コストがかからない。その理由は、画像取得装置に傾き検出器等の上下方向の判定を行うための機器を組み込む必要がないためである。

また、本発明によれば、画像の上下方向をより正確に判定できる。その理由は、画像から検出された対象物候補の中から対象物として信頼性の高い対象物候補を選び、信頼性の高い対象物候補の入力画像中における角度を利用して算出された傾き角度を基に画像の上下方向を判定するため、誤検出された対象物候補をもとに不正確な上下方向の判定を行う可能性が低いためである。

第１の実施の形態よる画像方向判定装置の構成例を示すブロック図である。 入力画像の例と角度記憶部１２１に記憶されるデータ構造の例を示す説明図である。 第１の実施の形態における特徴量記憶部１２２に記憶されるデータ構造の例を示す説明図である。 第１の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。 第２の実施の形態よる画像方向判定装置の構成例を示すブロック図である。 第２の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。 第３の実施の形態による画像方向判定装置の構成例を示すブロック図である。 第３の実施の形態における角度記憶部３２１に記憶されるデータ構造の例を示す説明図である。 第３の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。 第４の実施の形態による画像方向判定装置の構成例を示すブロック図である。 第４の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。 第５の実施の形態による画像方向判定装置の構成例を示すブロック図である。 第６の実施の形態による画像方向判定装置の構成例を示すブロック図である。 第１の実施例の構成例を示す説明図である。 第２の実施例の構成例を示す説明図である。 第３の実施例の構成例を示す説明図である。 第４の実施例の構成例を示す説明図である。 第５の実施例の構成例を示す説明図である。 顔の上下方向によって画像の上下方向を判定する従来の画像方向判定装置の一例を示す説明図である。

符号の説明

１００ データ処理装置
１０１ 対象物候補検出手段
１０２ 特徴量抽出手段
１０３ 類似度算出手段
１０４ 入力画像角度算出手段
１１０ 画像入力手段
１２０ 記憶装置
１３０ 出力手段
２０５ 画像加工手段
３０１１ 画像回転手段
３０１２ 一方向対象物候補検出手段
４４０ コマンド入出力装置
５５０ 入力画像角度算出用プログラム

実施の形態１．
以下、本発明の実施の形態を図面を参照して説明する。図１は、本実施の形態よる画像方向判定装置の構成例を示すブロック図である。図１に示す画像方向判定装置は、プログラムに従って動作するデータ処理装置１００と、画像信号を入力する画像入力手段１１０と、入力画像の上下方向の判定に用いる情報を記憶する記憶装置１２０と、入力画像の上下方向の判定結果を出力する出力手段１３０とを備える。また、データ処理装置１００は、対象物候補検出手段１０１と、特徴量抽出手段１０２と、類似度算出手段１０３と、入力画像角度算出手段１０４とを含む。また、記憶装置１２０は、角度記憶部１２１と、特徴量記憶部１２２とを含む。

画像入力手段１１０は、判定対象である画像の画像信号を入力する。また、画像入力手段１１０は入力した画像信号を対象物候補検出手段１０１に出力する。

対象物候補検出手段１０１は、画像入力手段１１０から入力される画像信号を用いて、画像から上下判定に用いる対象物の候補とする対象物候補、およびその角度を検出する。ここで、対象物とは、撮影の対象となりうるものであって、固定的な形状または配置をもち、その形状または配置から一定の角度（上下方向に対する傾斜角度）が検出可能なものをいう。対象物は、形状または配置から一定の角度が検出可能であれば、どのようなもの（人物、動植物、建築物、自然物等、またはこれらの組み合わせ）であってもよく、また、その部分であってもよい。また、対象物候補検出手段１０１は、画像から対象物候補が検出された場合には、特徴量抽出手段１０２に、検出した対象物候補に関する情報（例えば、画像領域や角度）を出力する。また、各対象物候補の入力画像中における角度を角度記憶部１２１に記憶する。なお、画像から対象物候補が検出されなかった場合には、入力画像角度算出手段１０４に「対象物なし」の旨を出力する。

角度記憶部１２１は、対象物候補検出手段１０１によって検出された各対象物候補の入力画像中における角度を記憶する。図２は、入力画像の例と角度記憶部１２１に記憶されるデータ構造の例を示す説明図である。図２に示すように、角度記憶部１２１は、例えば、対象物候補検出手段１０１によって検出された各対象物候補を識別するための識別子（以下、対象物候補識別子という。）と、その対象物候補の入力画像中における角度情報とを対応づけて記憶する。図２の例では、入力画像から３つの対象物候補（α，β，γ）が検出され、また、それらの入力画像中における角度として、−１０度，３０度，４５度が検出されたことを示している。

また、特徴量記憶部１２２は、予め撮影されうる対象物であって、入力画像から検出される対象物候補の比較対象とする対象物（以下、登録対象物という。）に関する情報（例えば、識別子や特徴量）を記憶する。対象物の蓄積の形態は、対象物を含む画像情報（登録画像）であっても、背景を含む対象物の画像領域であっても、対象物の画像領域から抽出した特徴量であってもよい。また、対象物の種類および個数は、単数でも複数でも構わない。図３は、登録画像の例と特徴量記憶部１２２に記憶されるデータ構造の例を示す説明図である。図３に示すように、特徴量記憶部１２２は、例えば、登録対象物を識別するための識別子（以下、登録対象物識別子という。）と、その登録対象物の特徴量とを対応づけて記憶する。登録対象物は、例えば、人物Ａ，人物Ｂといった特定人物であっても、犬Ｘ，猫Ｙ等の動物であっても、木Ｐ，花Ｑ等の植物であっても、東京タワー、ベイブリッジなどの建造物であっても、富士山，琵琶湖といった自然物であっても、カメラ，車といった人工物であってもかまわない。また、例えば、空と地面のような固定的な配置をもつ景色であってもよい。なお、登録対象物は、撮影されうるものの中で利用者が着目するものであることがより好ましい。

特徴量抽出手段１０２は、対象物候補検出手段１０１から入力された対象物候補に関する情報を用いて、対象物候補の画像領域から対象物候補の特徴量を抽出する。また、特徴量抽出手段１０２は、抽出した特徴量を類似度算出手段１０３に出力する。特徴量抽出手段１０２は、例えば、対象物を識別可能な特徴量として、色ヒストグラムのように上下方向に応じて変わらない値を抽出してもよい。また、例えば、エッジ方向のヒストグラムのように上下方向に応じて変わる値を抽出してもよい。特徴量抽出手段１０２は、複数の種類の特徴量を抽出してもよい。なお、登録対象物の蓄積形態として、特徴量記憶部１２２に登録画像を記憶しておく場合には、特徴量抽出手段１０２が、登録画像から検出された登録対象物の特徴量を抽出して、特徴量記憶部１２２に記憶してもよい。

なお、特徴量抽出手段１０２が抽出する特徴量は、入力画像中における対象物候補と特徴量記憶部１２２に記憶される登録対象物との比較において、視覚的な特徴の相違（例えば、対象物の相違、対象物の角度のずれ）が導出される特徴量であることが望ましい。

類似度算出手段１０３は、特徴量抽出手段１０２から入力される各対象物候補の特徴量と、特徴量記憶部１２２に記憶されている登録対象物の特徴量との類似度を算出する。また、類似度算出手段１０３は、類似度を算出した各対象物候補と登録対象物との組み合わせ、およびその組み合わせにおける類似度を入力画像角度算出手段１０４に出力する。

類似度算出手段１０３は、例えば、各対象物候補の特徴量と、登録対象物の特徴量との差分を求めることによって類似度を算出する。なお、類似度は、対象物候補と登録対象物との全組み合わせについて算出してもよいし、選択的な組み合わせについて算出してもよい。なお、特徴量抽出手段１０２によって複数の特徴量が抽出される場合には、それらの特徴量を統合して差分を求めてもよいし、ある特徴量を組み合わせ選択に用い、ある特徴を差分算出に用いるといった用途をわけた用い方をしてもよい。

特徴量の性質と類似度との関係について、図２に示す入力画像と図３に示す登録画像とを用いた場合を例にして説明する。例えば、上下方向に応じて値が変わる特徴量を用いた場合には、対象物候補の画像領域と角度とが共に正しく検出できたときに、高い類似度が算出される。ここで、図２に示す入力画像中の対象物候補αは、図３に示す登録画像中の対象物Ａと同一の対象物である。また、対象物候補αの入力画像中における角度は正しく検出されているものとする。この場合、正しい上下方向をもとに特徴量が抽出されるので、対象物候補αと登録対象物Ａとの類似度は高い値が算出される。また、入力画像中の対象物候補βは、登録画像中には同一の対象物が存在しない。この場合、対象物候補βはどの登録対象物との類似度も低い値が算出される。また、入力画像中の対象物候補γは、登録画像中の対象物Ｃと同一の対象物である。しかし、対象物候補γの入力画像中における角度が誤って判定されているものとする。この場合、誤った上下方向をもとに特徴量が抽出されるので、対象物候補γと登録対象物Ｃとの類似度は低い値が算出される。なお、他の組み合わせについては、互いに異なる対象物であるため、類似度は低い値が算出される。

また、例えば、上下方向に応じて値が変わらない特徴量を用いた場合には、対象物候補の画像領域が正しく検出できたときに、高い類似度が算出される。上記例と比較すると、対象物候補γと登録対象物Ｃとの類似度として高い値が算出されるという点で異なる。従って、上下方向に応じて値が変わらない特徴量を用いる場合には、対象物候補の画像中における角度が正しく検出できる場合には、精度の高い上下方向の判定を行うことができる。一方、上下方向に応じて値が変わる特徴量を用いる場合には、角度が正しく検出された対象物候補だけに絞り込むことができるので、対象物によっては角度が正しく検出されない可能性がある場合に、上下方向に応じて値が変わらない特徴量を用いた場合に比較して、精度の高い判定を行うことができる。

なお、利用する特徴量を１つに限定せず、上下に応じて値が変わらない特徴量を用いて比較対象を絞り込み、絞り込んだ対象物についてさらに上下方向に応じて値が変わる特徴量を用いて類似度を算出してもよい。このような場合には、信頼性の低い対象物候補の角度を入力画像の上下判定に用いることを防ぎ、高精度な上下判定を実現することができる。

入力画像角度算出手段１０４は、入力画像の上下方向に対する傾き角度を算出する。また、入力画像角度算出手段１０４は、算出した傾き角度を出力手段１３０に出力する。入力画像角度算出手段１０４は、類似度算出手段１０３が算出した各対象物候補と登録対象物との組み合わせにおける各類似度と、対象物候補検出手段１０１が検出した各対象物候補の角度とに基づいて、入力画像の上下方向に対する傾き角度を算出する。なお、入力画像角度算出手段１０４は、対象物候補検出手段１０１から「対象物なし」の旨が入力された場合には、傾き角度を０度とする。

入力画像角度算出手段１０４は、例えば、各対象物候補の入力画像中における角度に対し、類似度に基づく重み付けを行った重み付き角度に基づいて入力画像の上下方向に対する傾き角度を算出してもよい。入力画像角度算出手段１０４は、例えば、最も類似度が高い対象物候補の角度を重み１、その他の対象物候補の角度を重み０としてもよい。図２に示す入力画像と図３に示す登録画像とを用いた場合を例にすると、対象物候補αと登録対象物Ａとの類似度が最も高くなるので、対象物候補αの入力画像中における角度（−１０度）に重み１を付与することで、入力画像中における写像物全体の傾き角度を−１０度と算出する。そして、写像物全体の傾き角度の符号を反転させた値（１０度）を、入力画像の上下方向に対する傾き角度とする。

本実施の形態において、類似度は、登録対象物と対象物候補との間で視覚的特徴が一致したときに最大であり、視覚的な相違が大きくなるにつれて低くなる。類似度が低くなる要因として、対象物の相違、登録対象物と対象物候補の角度のずれ、対象物の状態の違い（向き・照明条件・表情）が考えられるが、どの要因によるものかを判定することは難しく、角度のずれによるものである可能性はなくならない。このため、類似度が低い場合には、対象物候補の角度の信頼性が低いものとして、重み付けを低くする。また、類似度が高い場合には、対象物が正しく検出され、かつ角度のずれもなく、状態も一致しているという、いずれの要因に対しても条件を満たしたことを意味するため、対象物候補の角度も信頼性が高いものとして、重み付けを高くする。このように、特定の対象物をいくつか登録しておき、類似度をもとに重み付けした角度を利用することで、結果的に、登録画像と同じ表情，向き，照明条件の顔の角度を上下判定に利用したり、高い検出精度の得られる種類の対象物候補の角度を上下判定に利用することができる。

出力手段１３０は、入力画像角度算出手段１０４の算出した入力画像の上下方向に対する傾き角度を出力する。上記の例では、入力画像の上下方向に対する傾き角度として１０度を出力する。出力結果から、利用者は、入力画像を１０度回転させれば、上下方向について画像補正できることを認知できる。

次に、図４のフローチャートを参照して本実施の形態の動作について説明する。図４は、第１の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。図４に示すように、まず、画像入力手段１１０は、対象物候補検出手段１０１に画像信号を入力する（ステップＡ０１）。対象物候補検出手段１０１は、入力画像から対象物候補を検出する（ステップＡ０２）。対象物候補検出手段１０１は、例えば、対象物候補として検出したい対象物の特徴（形状や構成要素の位置関係や濃淡分布等）を示す情報やテンプレートを予め記憶しておき、入力画像の画像情報（エッジ情報、輝度情報）との一致度に基づいて、対象物候補を検出する。

ここで、対象物候補が検出されなかった場合には（ステップＡ０３のＮｏ）、対象物候補検出手段１０１は、例えば、「対象物なし」を示すフラグ信号を入力画像角度算出手段１０４に出力する（ステップＡ０４）。対象物候補が検出された場合には（ステップＡ０３のＹｅｓ）、対象物候補検出手段１０１は、例えば、「対象物あり」を示すフラグ信号を入力画像角度算出手段１０４に出力する（ステップＡ０５）。なお、対象物候補検出手段１０１は、「対象物あり／なし」を示すフラグ信号を出力する代わりに、「対象物あり／なし」を示すフラグをセットしてもよい。

また、対象物候補検出手段１０１は、対象物候補が検出された場合には、対象物候補の画像情報を抽出する（ステップＡ０６）。対象物候補検出手段１０１は、例えば、対象物候補の輪郭に沿って切り出した画像領域を示す情報を画像情報として抽出してもよい。なお、画像情報は、対象物候補の特徴量を抽出できる情報であれば、背景を含む画像領域を示す情報であっても、また、画像領域として抽出せずにその画像領域に含まれる画素情報のうち、特徴量抽出に用いる情報のみを格納した配列情報等であってもよい。

また、対象物候補検出手段１０１は、対象物候補の入力画像中における角度を抽出する（ステップＡ０７）。入力画像角度算出手段１０４は、例えば、形状や構成要素の位置関係等をもとに対象物候補を検出する場合には、検出した形状や構成要素から定めた基準点（例えば左右の目）を結んだ線と入力画像の枠線との角度に基づいて求めてもよい。また、例えば、テンプレートを用いて対象物候補を検出する場合には、検出したときのテンプレートの回転角度を対象物候補の角度としてもよい。そして、検出した各対象物候補について、その画像情報と入力画像中における角度とを特徴量抽出手段１０２に出力するとともに、検出した対象物候補に対象物候補識別子を割り当て、対象物候補識別子と抽出した角度とを対応づけて角度記憶部１２１に記憶する。なお、角度記憶部１２１には、合わせて対象物候補の画像領域を示す情報を記憶してもよい。また、特徴量抽出手段１０２が、対象物候補検出手段１０１から入力される情報に基づいて角度記憶部１２１に記憶してもよい。

特徴量抽出手段１０２は、対象物候補の画像情報と上下方向（入力画像中における角度）をもとに、対象物候補の特徴量を抽出する（ステップＡ０８）。特徴量抽出手段１０２は、例えば、予め定められた方法に従って、上下方向に応じて値が変わる特徴量（例えば、形状特徴量、構成要素の位置関係）、上下方向に応じて値が変わらない特徴量（例えば、色特徴量）、またはどちらも含む複数の特徴量を抽出する。また、特徴量抽出手段１０２は、抽出した特徴量を類似度算出手段１０３に入力する。

次に、類似度算出手段１０３は、対象物候補検出手段１０１によって入力画像から検出された対象物候補と、特徴量記憶部１２２に記憶された登録対象物との類似度を算出する（ステップＡ０９）。類似度算出手段１０３は、例えば、検出された各対象物候補について、特徴量記憶部１２２に記憶されている各登録対象物との組み合わせにおいて、類似度算出手段１０３によって算出された対象物候補の特徴量と、特徴量記憶部１２２に記憶されている登録対象物の特徴量との差分を求めることによって、類似度を算出する。

また、入力画像角度算出手段１０４は、対象物候補検出手段１０１から「対象物あり」を示すフラグ信号を受け取った場合には、角度記憶部１２１に記憶された各対象物候補の入力画像中における角度と、類似度算出手段１０３によって算出された各対象物候補についての各登録対象物との類似度とに基づいて、入力画像の上下方向に対する傾き角度を算出する（ステップＡ１０）。入力画像角度算出手段は、例えば、最も高い類似度が算出された対象物候補の角度を利用する手法や、最も高い類似度でかつ閾値以上の類似度が算出された対象物候補の角度を利用する手法や、閾値以上の類似度が算出された対象物候補の角度の平均を利用する手法や、閾値以上の類似度が算出された対象物候補の角度のうち最頻値を利用する手法や、各対象物候補の角度に対して位置や大きさや類似度による重みを付与した重み付き角度を利用する手法等を用いて、入力画像の上下方向に対する傾き角度を算出する。

なお、入力画像角度算出手段１０４は、対象物候補検出手段１０１から「対象物なし」を示すフラグ信号を受け取った場合には、入力画像の上下方向に対する傾き角度として０度を算出する。

そして、出力手段１３０は、入力画像角度算出手段１０４が算出した入力画像の上下方向に対する傾き角度を出力する（ステップＡ１１）。

以上のように、本実施の形態によれば、画像取得時の装置の傾き情報を必要とせずに、上下方向の判定を行うことができる。また、従来手法では、画像から検出された対象物の方向を基に画像の上下方向を判定するため、対象物が誤検出された場合には正確な上下判定を行えなかった。これに対し、本実施の形態では、画像から検出された対象物候補の中から、あらかじめ記憶された登録対象物との類似度をもとに選択した信頼性の高い対象物候補の上下方向を利用して画像の上下方向を判定するため、高精度な判定を行うことができる。

実施の形態２．
次に、本発明による第２の実施の形態について図面を参照して説明する。図５は、第２の実施の形態よる画像方向判定装置の構成例を示すブロック図である。本実施の形態による画像方向判定装置は、図１に示す第１の実施の形態と比べて、データ処理装置２００が、さらに画像加工手段２０５を備える点で異なる。なお、対象物候補検出手段２０１等の他の手段は、第１の実施の形態における対象物候補検出手段１０１等の他の手段と同様である。

画像加工手段２０５は、入力画像角度算出手段２０４によって算出された入力画像の上下方向に対する傾き角度に基づいて、画像入力手段２１０から入力される画像信号を加工した加工画像を生成する。画像加工手段２０５が生成する加工画像は、例えば、入力画像上に画像の上下方向を示す矢印を重畳した画像、入力画像を上下方向に対する傾き角度をもとに回転した画像、入力画像に含まれる全対象物の上下方向が画像の上下方向と一致するように対象物領域を回転させた画像など、入力画像の上下方向に対する傾き角度をもとに加工を施した画像であればどのような画像であってもよい。

次に、図６のフローチャートを参照して本実施の形態の動作について説明する。図６は、第２の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。なお、本実施の形態における対象物候補検出手段２０１，特徴量抽出手段２０２，類似度算出手段２０３および入力画像角度算出手段２０４の動作は（ステップＢ０１〜Ｂ１０）、図４に示す第１の実施の形態における対象物候補検出手段１０１，特徴量抽出手段１０２，類似度算出手段１０３および入力画像角度算出手段１０４の動作（ステップＡ０１〜Ａ１０）と同様であるため、説明省略する。

図６に示すように、本実施の形態では、入力画像角度算出手段２０４によって算出された入力画像の上下方向に対する傾き角度を用いて、入力画像を加工して出力する。画像加工手段２０５は、入力画像角度算出手段２０４が算出した入力画像の上下方向に対する傾き角度に基づいて、入力画像を加工する（ステップＢ１１）。そして、出力手段２３０は、入力画像角度算出手段２０４によって生成された加工画像を出力する（ステップＢ１２）。

以上のように、本実施の形態によれば、算出された入力画像の上下方向に対する傾き角度を利用して入力画像を加工した画像が出力される。これにより、利用者は、入力画像の上下方向を手動で補正する必要がない。また、上下方向に対する傾き角度が数値ではなく加工画像で提示されることにより、利用者は入力画像の上下方向を即座に理解することができる。

実施の形態３．
次に、本発明による第３の実施の形態について図面を参照して説明する。図７は、第３の実施の形態による画像方向判定装置の構成例を示すブロック図である。本実施の形態による画像方向判定装置は、図１に示す第１の実施の形態と比べて、対象物候補検出手段３０１が、画像回転手段３０１１と、一方向対象物候補検出手段３０１２とによって構成される点で異なる。なお、特徴量抽出手段３０２等の他の手段は、第１の実施の形態における対象物候補検出手段１０１等の他の手段と同様である。

画像回転手段３０１１は、画像入力手段３１０から受け取った入力画像を、反時計周りを正として様々な角度で回転させた回転画像群を生成する。また、画像回転手段３０１１は、生成した回転画像群の画像情報を一方向対象物候補検出手段３０１２に出力する。

一方向対象物候補検出手段３０１２は、画像回転手段３０１１から入力される各回転画像の画像情報を用いて、各回転画像について、回転画像中における角度が０度の対象物候補を検出する。回転画像から対象物候補が検出された場合には、回転画像の回転角度に基づいて、対象物候補の入力画像中における角度を算出し、特徴量抽出手段３０２に、検出した対象物候補に関する情報（画像情報、角度）を出力する。また、一方向対象物候補検出手段３０１２は、各回転画像を識別するための画像識別子と回転角度とともに、検出した対象物候補の角度を角度記憶部３２１に記憶する。なお、全回転画像からひとつも対象物候補が検出されなかった場合には、入力画像角度算出手段３０４に「対象物なし」の旨を出力する。

角度記憶部３２１は、一方向対象物候補検出手段３０１２によって検出された各対象物候補の入力画像中における角度を記憶する。図８は、入力画像および回転画像群の例と角度記憶部３２１に記憶されるデータ構造の例を示す説明図である。図８に示すように、角度記憶部３２１は、例えば、画像回転手段３０１１によって生成された回転画像を識別するための識別子（以下、回転画像識別子という。）と、その回転画像の回転角度と、その回転画像から検出された対象物候補を識別するため対象物候補識別子と、その対象物候補の入力画像中における角度とを対応づけて記憶してもよい。図８の例では、回転画像中における角度が０度の対象物候補として、入力画像を１０度回転させた回転画像Ｑ１からは対象物候補α，σが検出され、また、入力画像を−３０度回転させた回転画像Ｑ２からは対象物候補βが検出され、また、入力画像を−７度回転させた回転画像Ｑ３からは対象物候補γが検出されたことを示している。また、図８の例では、検出された４つの対象物候補（α，β，γ，σ）の入力画像中における角度として、それぞれ回転画像の回転角度に応じて、−１０度，−１０度，３０度，７度が検出されたことを示している。

次に、図９のフローチャートを参照して本実施の形態の動作について説明する。図９は、第３の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。図９に示すように、まず、画像入力手段３１０は、画像回転手段３０１１に画像信号を入力する（ステップＣ０１）。画像回転手段３０１１は、入力画像を、反時計回りを正として様々な角度に回転させた回転画像群を生成する（ステップＣ０２）。また、画像回転手段３０１１は、各回転画像について、回転画像識別子と回転角度とを角度記憶部３２１に記憶する（ステップＣ０２）。

次に、一方向対象物候補検出手段３０１２は、各回転画像から、回転画像中における角度が０度の対象物候補を検出する（ステップＣ０４）。ここで、回転画像群から対象物候補が検出されなかった場合には（ステップＣ０５のＮｏ）、一方向対象物候補検出手段３０１２は、例えば、「対象物なし」を示すフラグ信号を入力画像角度算出手段３０４に出力する（ステップＣ０６）。回転画像群から対象物候補が検出された場合には（ステップＣ０５のＹｅｓ）、画像回転手段３０１１は、例えば、「対象物あり」を示すフラグ信号を入力画像角度算出手段３０４に出力する（ステップＣ０７）。そして、一方向対象物候補検出手段３０１２は、検出した対象物候補の画像情報を抽出し（ステップＣ０８）、特徴量抽出手段３０２に、対象物候補の識別子と画像情報と回転画像の回転角度から算出される入力画像中における角度とを出力する。また、一方向対象物候補検出手段３０１２は、角度記憶部３２１に、回転画像識別子と対応づけて、その回転画像から検出した各対象物候補の識別子と、その対象物候補の入力画像中における角度とを記憶する（ステップＣ０９）。

特徴量抽出手段３０２は、対象物候補の画像情報と入力画像中における角度とをもとに、対象物候補の上下方向を判定し、対象物候補の特徴量を抽出する（ステップＣ１０）。また、特徴量抽出手段３０２は、抽出した特徴量を類似度算出手段３０３に入力する。類似度算出手段３０３は、類似度算出手段３０３によって入力画像から算出された各対象物候補の特徴量と、特徴量記憶部３２２に記憶された各登録対象物の特徴量との類似度を算出する（ステップＣ１１）。

入力画像角度算出手段３０４は、一方向対象物候補検出手段３０１２から「対象物あり」を示すフラグ信号を受け取った場合には、各対象物候補の入力画像中における角度と、各対象物候補と各登録対象物との組み合わせにおける類似度とに基づいて、入力画像の上下方向に対する傾き角度を算出する（ステップＣ１２）。また、入力画像角度算出手段３０４は、「対象物なし」を示すフラグ信号を受け取った場合には、入力画像の上下方向に対する傾き角度として０度を算出する。そして、出力手段３３０は、入力画像角度算出手段３０４が算出した入力画像の上下方向に対する傾き角度を出力する（ステップＣ１３）。

以上のように、本実施の形態によれば、画像回転手段によって生成された回転画像を用いて対象物候補を検出するので、例えば、対象物候補検出手段が、予め登録されるテンプレートの角度に制限される等によって、一定の角度の対象物候補しか検出できない場合であっても、様々な角度の対象物候補を検出できる。換言すれば、対象物候補を検出するための情報として、角度に応じた情報を登録しなくても、回転画像の回転角度に応じて、様々な角度の対象物候補を検出することができる。

実施の形態４．
次に、本発明による第４の実施の形態について図面を参照して説明する。図１０は、第４の実施の形態による画像方向判定装置の構成例を示すブロック図である。本実施の形態による画像方向判定装置は、図１に示す第１の実施の形態と比べて、さらにコマンド入出力装置４４０を備える点で異なる。なお、対象物候補検出手段４０１等の他の手段は、第１の実施の形態における対象物候補検出手段１０１等の他の手段と同様である。

コマンド入出力装置４４０は、利用者からの操作に応じて、画像入力手段４１０から入力される画像が登録画像であることを示す信号を入力する。コマンド入出力装置４４０から「登録画像」を示す信号が入力された場合には、特徴量抽出手段４０２は、入力画像から検出された対象物を登録対象物として、登録対象物の特徴量を抽出する。また、特徴量抽出手段４０２は、抽出した特徴量を登録対象物の特徴量として、登録対象物を識別する登録対象物識別情報と登録対象物の画像情報とともに、特徴量記憶部４２２に記憶する。また、特徴量抽出手段４０２は、コマンド入出力装置４４０を介して、特徴量を抽出する対象物領域およびその角度を利用者に提示し、また、利用者によって加えられる修正信号を受け付けてもよい。修正信号を受け付けた場合には、修正された対象物領域および角度に基づいて抽出した特徴量を、特徴量記憶部４２２に記憶する。なお、コマンド入出力装置４４０から「登録画像」を示す信号が入力されない場合には、第１の実施の形態と同様に、対象物候補の特徴量として処理する。

次に、図１１のフローチャートを参照して本実施の形態の動作について説明する。図１１は、第４の実施の形態による画像方向判定装置の動作の一例を示すフローチャートである。なお、「登録画像」を示す信号が入力されない場合の動作（ステップＤ０９〜Ｄ１７）は、図４に示す第１の実施の形態の動作（ステップＡ０３〜Ａ１１）と同様であるため、説明省略する。

まず、画像入力手段４１０は、対象物候補検出手段４０１に画像信号を入力する（ステップＤ０１）。また、その際、コマンド入出力装置４４０を介して、「登録画像」を示す信号が入力される（ステップＤ０２）。

対象物候補検出手段４０１は、画像入力手段４１０から入力された入力画像から対象物候補を検出し（ステップＤ０３）、検出した対象物候補の画像領域および角度を抽出して、特徴量抽出手段４０２に出力する。次に、特徴量抽出手段４０２は、コマンド入出力装置４４０から「登録画像」を示す信号が入力された場合には（ステップＤ０４のＹｅｓ）、対象物候補検出手段４０１から入力される対象物候補について、その画像領域およびその上下方向（入力画像中における角度）を、コマンド入出力装置４４０に出力する（ステップＤ０５）。

コマンド入出力装置４４０は、特徴量抽出手段４０２より出力された対象物候補の画像領域および画像中における角度を受け取って利用者に提示する。利用者が、提示された対象物候補の画像領域および角度に誤りがあると判断し、修正信号を加えた場合には、コマンド入出力装置４４０は、修正信号を特徴量抽出手段４０２に出力する（ステップＤ０６）。

特徴量抽出手段４０２は、コマンド入出力装置４４０から入力される修正信号に基づいて、対象物候補の画像領域およびその角度を修正し、修正した画像領域および角度をもとに、対象物候補の特徴量を抽出する（ステップＤ０７）。そして、抽出した特徴量を、登録対象物の特徴量として、画像領域およびその角度とともに特徴量記憶部４２２に記憶する（ステップＤ０８）。以降、入力画像の画像信号が入力される度に同様の動作を行う。なお、ステップＤ０４において、「登録画像」を示す信号が入力されなかった場合の動作は、第１の実施の形態と同様である。

以上のように、本実施の形態によれば、登録対象物の特徴量を登録するためのコマンド入出力装置４４０が備えられているため、利用者が、入力画像の上下判定に用いる登録対象物の登録を行うことができる。

実施の形態５．
次に、本発明による第５の実施の形態について図面を参照して説明する。図１２は、第５の実施の形態による画像方向判定装置の構成例を示すブロック図である。本実施の形態による画像方向判定装置は、データ処理装置５００と、画像入力装置５１０と、記憶装置５２０と、出力手段５３０と、入力画像角度算出用プログラム５５０とを備える。

入力画像角度算出用プログラム５５０は、データ処理装置５００に読み込まれ、データ処理装置５００を制御し、本発明による第１，第２または第３の実施の形態の動作を行うためのプログラムである。なお、入力画像角度算出用プログラム５５０は、例えば、画像方向判定装置が備える記憶装置（メモリ，外部記憶装置等）に記憶される。データ処理装置５００は、入力画像角度算出用プログラム５５０に従って動作することによって、第１，第２または第３の実施の形態におけるデータ処理装置１００，２００，３００の処理と同一の処理を実行する。また、記憶装置５２０には、データ処理装置５００がプログラムに従って動作することによって、角度記憶部または特徴量記憶部としての記憶領域が割り当てられ、データ処理装置５００の各手段によって生成される中間データおよび登録データが記憶される。

実施の形態６．
次に、本発明による第６の実施の形態について図面を参照して説明する。図１３は、第６の実施の形態による画像方向判定装置の構成例を示すブロック図である。本実施の形態による画像方向判定装置は、データ処理装置６００と、画像入力装置６１０と、記憶装置６２０と、出力手段６３０と、コマンド入出力装置６４０と、入力画像角度算出用プログラム６５０とを備える。

入力画像角度算出用プログラム６５０は、データ処理装置６００に読み込まれ、データ処理装置６００を制御し、本発明による第４の実施の形態の動作を行うためのプログラムである。なお、入力画像角度算出用プログラム６５０は、例えば、画像方向判定装置が備える記憶装置（メモリ，外部記憶装置等）に記憶される。データ処理装置６００は、入力画像角度算出用プログラム６５０に従って動作することによって、第４の実施の形態におけるデータ処理装置４００の処理と同一の処理を実行する。また、記憶装置６２０には、データ処理装置６００がプログラムに従って動作することによって、角度記憶部または特徴量記憶部としての記憶領域が割り当てられ、データ処理装置６００の各手段によって生成される中間データおよび登録データが記憶される。

［実施例１］
次に、具体的な実施例を用いて本発明を実施するための形態を説明する。本実施例は、本発明の第１の実施の形態に対応するものである。図１４は、第１の実施例としてパーソナルコンピュータに適用した画像方向判定装置の構成例を示す説明図である。図１４に示すように、本実施例におけるパーソナルコンピュータは、データ処理装置１００として中央演算装置を、画像入力装置１１０として画像入力端子を、記憶装置１２０としてハードディスクを、出力手段１３０としてディスプレイを備える。なお、本実施例による画像方向判定装置は、あらかじめ人物Ａ，人物Ｂ，・・・といった特定人物の画像を登録画像として記憶しておき、入力画像として人物を含む画像が入力された場合に、入力画像の上下方向を判定する。

中央演算装置１００は、プログラムに従って動作することによって、対象物候補検出手段１０１，特徴量抽出手段１０２，類似度算出手段１０３，および入力画像角度算出手段１０４として機能する。なお、本実施例では、対象物候補検出手段１０１は、対象物候補として人物を検出する人物候補検出手段１０１として動作する。また、特徴量抽出手段１
０２は、人物候補の特徴量を抽出する人物特徴量抽出手段１０２として動作する。また、類似度算出手段１０３は、各人物候補と各登録画像に含まれる登録人物との類似度を算出し、入力画像角度算出手段１０４は、各人物候補と登録人物との組み合わせにおける各類似度と各人物候補の角度とに基づいて、入力画像の上下方向に対する傾き角度を算出する。

また、ハードディスク１２０には、角度記憶部１２１および特徴量記憶部１２２として機能する記憶領域が割り当てられる。なお、本実施例では、角度記憶部１２１は、人物候補検出手段によって検出された人物候補について入力画像中における角度とその人物候補を識別するための人物候補識別子とを対応づけて記憶する。また、特徴量記憶部１２２は、人物特徴量記憶部１２２として、予め登録画像から抽出された上下方向が既知の人物（登録人物）の特徴量とその登録人物を識別するための登録人物識別子とを対応づけて記憶する。

ここで、画像入力端子１１０から画像が入力されたとする。中央演算装置１００は、人物候補検出手段１０１において、入力画像から人物候補の検出を行う。人物候補が検出された場合には、「人物あり」を示すフラグ信号を入力画像角度算出手段１０４に出力するとともに、各人物候補の入力画像中における角度を抽出し、ハードディスク１２０内の角度記憶部１２１に記憶する。また、各人物候補の画像領域とその角度とを人物特徴量抽出手段１０２に出力する。

人物候補の検出方法として、例えば、文献「岩井儀雄、勞世▲広▼、山口修、平山高嗣、“画像処理による顔検出と顔認識”、情報処理学会研究報告（ＣＶＩＭ−１４９）、２００５年、ｐｐ．３４３〜３６８」（参考文献１）に記載されている人物顔の検出手法を用いてもよい。参考文献１に記載の人物顔の検出手法は、顔(頭部)の輪郭を楕円、目や口を細長の形状をしていることを利用して作成したテンプレートを用いて顔検出を行う手法である。なお、参考文献１に記載の人物顔の検出手法に限らず、例えば、頬や額の部分は輝度が高く、目や口の部分の輝度は低いという輝度分布の特性を利用する手法や、顔の対称性や肌色領域と位置を利用して顔検出を行う手法などの手法を用いてもよい。

また、人物の全身あるいは人物顔が映っている画像をテンプレートとして記憶しておき、入力画像とテンプレートの画像情報から求めた差分が所定の閾値以下のときに、人物が入力画像中に存在すると判定する手法が挙げられる。テンプレートとして記憶する人物画像は、ユーザが画像入力端子１１０を介して入力する画像であっても、ユーザが指定する人物の特徴をもとに人物候補検出手段１０１が選択した画像であってもよい。

また、大量の人物顔と非顔の学習サンプルから得られた特徴量分布を統計的に学習し、入力画像から得られる特徴量が顔と非顔のどちらの分布に属するかを判定する、ニューラルネットやサポートベクターマシン、Ａｄａｂｏｏｓｔ法などを利用した手法も挙げられる。

また、人物候補の入力画像中における角度は、顔の輪郭、目、口の形状をもとに作成したテンプレートをもとに人物の顔を検出する手法を用いた場合には、例えば、検出された左右の目を結ぶ直線の垂直二等分線が入力画像の垂直方向となす角度を算出することにより求められる。

また、人物顔が映っている画像をテンプレートとして記憶し、様々な角度で回転したテンプレートと入力画像の一部との差分値により人物顔を検出する手法を用いた場合には、人物候補として検出したときに用いたテンプレートの回転角度を、人物候補の入力画像中における角度としてもよい。

人物の検出手法として、上記の例を利用しても、他の手法を適用しても構わない。また、抽出する人物の領域は、人物特徴量抽出手段によって人物の特徴量を抽出できる領域であれば、人物の輪郭に沿って正確に切り出した画像領域であっても、背景を含む人物の画像領域であっても、どんな領域でも構わない。なお、人物候補検出手段１０１は、入力画像から人物候補が検出されなかった場合には、「人物なし」を示すフラグ信号を入力画像角度算出手段１０４に出力する。

人物特徴量抽出手段１０２は、入力画像から人物候補の画像領域として抽出された領域から、人物の特徴量を抽出する。人物特徴量抽出手段１０２は、例えば、人物の着衣の色情報や、人物の顔特徴量、人物の形状などを用いて人物の特徴量を抽出する。人物の顔特徴量として、例えば、文献「赤松茂、“コンピュータによる顔の認識―サーベイ―”、電子情報通信学会論文誌、１９９７年８月、Ｖｏｌ．Ｊ８０−Ａ、Ｎｏ．８、ｐｐ．１２１５〜１２３０」（参考文献２）に記載されている、顔の構造に関する知識を活用して目・鼻・口の形状や位置関係などを数値的に記述した特徴ベクトルを用いてもよい。また、参考文献２に記載の特徴量に限らず、顔の各画素の濃淡値を２次元配列として表現する特徴ベクトルや、顔の各特徴点においてウェーブレット変換を施すことで得られるパターンの局所的な周期性とその方向性を表現可能なＧａｂｏｒ ｊｅｔと呼ばれる特徴ベクトルなどが挙げられる。人物間の類似度判定に用いる人物顔の特徴量として、上述の例を利用しても他の手法を適用しても構わない。

類似度算出手段１０３は、あらかじめハードディスク１２０内の人物特徴量記憶部１２２に記憶された、登録画像から取得した各登録人物（人物Ａ，人物Ｂ，・・・）の特徴量と、入力画像中から検出された各人物候補の特徴量との類似度を算出する。類似度は、一例として入力画像から検出された各人物候補の顔の特徴量ベクトルと、あらかじめ記憶された各登録人物（人物Ａ，人物Ｂ，・・・）の顔の特徴量ベクトルとの差分によって求められる。

また、類似度の算出方法の別の例として、画素値の差を用いる手法が挙げられる。例えば、入力画像から検出された人物候補の顔の入力画像中における角度と、あらかじめ記憶された登録人物の顔の登録画像中における角度との差分ｚを求める。人物候補の顔の画像領域の大きさを、あらかじめ記憶された登録人物の顔の大きさに正規化し、入力画像から検出された人物候補の顔の画像領域をｚ度回転するアフィン変換によって、入力画像から検出された人物候補の顔と登録人物（人物Ａ，人物Ｂ，・・・）の顔とを重ね合わせ、対応する各画素値の差の総和を求めることにより類似度を算出する。

また、重ね合わせに際しては、あらかじめ記憶された登録人物の画像領域の回転角度をｚ±Δとし、各回転において類似度を求め、その最大値を類似度として用いてもよい。この場合、最大値を算出する角度Δにより、あらかじめ記憶された登録人物の登録画像中における角度を補正することができる。なお、あらかじめ記憶しておく登録人物は、１名であっても複数名であってもよい。類似度算出手段１０３は、各人物候補と各登録人物との様々な組み合わせについて類似度を算出し、入力画像角度算出手段１０４に出力する。

入力画像角度算出手段１０４は、人物候補検出手段１０１から「人物なし」を示すフラグ信号を受け取ると、入力画像の上下方向に対する傾き角度を０度とする。一方、人物候補検出手段１０１から「人物あり」を示すフラグ信号を受け取ると、類似度算出手段１０３から入力される各人物候補と各登録人物との組み合わせにおける各類似度と、各人物候補の入力画像中における角度とに基づいて、入力画像の上下方向に対する傾き角度を算出する。入力画像角度算出手段１０４は、例えば、次に示すような手法を用いて傾き角度を算出してもよい。

［１］登録人物と最も類似する人物候補の角度を利用する手法
人物候補Ｉ（ｉ）の入力画像中における角度をａｒｇ（ｉ）とする。また、人物候補Ｉ（ｉ）と登録人物Ｊ（ｊ）との類似度をＳ（Ｉ（ｉ），Ｊ（ｊ））とする。なお、ｉ＝１〜Ｎ（Ｎ＝人物候補の数）であり、ｊ＝１〜Ｍ（Ｍ＝登録人物の数）である。このとき、人物候補Ｉ（ｉ）および登録人物Ｊ（ｊ）の組み合わせについて、最大の類似度が算出される人物候補Ｉ（ｉ１）の角度に重み１を、その他の人物候補の角度には重み０を与えた場合、入力画像の上下方向に対する傾き角度ｘ１は、式（１）によって求まる。

このように、手法［１］では、登録人物との類似度が最も高い人物候補の角度のみが、上下方向に対する傾き角度の算出に利用される。そのため、仮に、人物候補検出手段で人物候補の誤検出が生じても精度劣化がおきにくいという効果がある。

［２］登録人物との類似度が閾値以上で、登録人物と最も類似する人物の角度を利用する手法
人物候補Ｉ（ｉ）の入力画像中における角度をａｒｇ（ｉ）とする。また、人物候補Ｉ（ｉ）と登録人物Ｊ（ｊ）との類似度をＳ（Ｉ（ｉ），Ｊ（ｊ））とする。なお、ｉ＝１〜Ｎ（Ｎ＝人物候補の数）であり、ｊ＝１〜Ｍ（Ｍ＝登録人物の数）である。このとき、人物候補Ｉ（ｉ）および登録人物Ｊ（ｊ）の組み合わせについて、最大の類似度が算出される人物候補Ｉ（ｉ２）の類似度が所定の閾値以上であれば、その人物候補Ｉ（ｉ２）の角度に重み１を、そうでなければ重み０を与え、かつ、その他の人物候補の角度には重み０を与えた場合、入力画像の上下方向に対する傾き角度ｘ２は、式（２）によって求まる。

ｘ２＝０ （人物候補Ｉ（ｉ２）の類似度が所定の閾値に満たない場合）

このように、手法［２］では、登録人物との類似度が最も高く、かつ類似度が閾値以上となる人物候補の角度のみが、上下方向に対する傾き角度の算出に利用される。そのため、類似度が最大であっても、対象物として信頼性の低い人物候補の入力画像中における角度によって、誤った傾き角度を算出するのを防ぐ効果がある。

［３］類似度が閾値以上の人物の角度の平均を利用する手法
人物候補Ｉ（ｉ）の入力画像中における角度をａｒｇ（ｉ）とする。また、各人物候補Ｉ（ｉ）について、各登録人物との類似度の最大値をＳｍａｘ（Ｉ（ｉ））とする。なお、ｉ＝１〜Ｎ（Ｎ＝人物候補の数）である。このとき、Ｓｍａｘ（Ｉ（ｉ））が所定の閾値以上であれば、その人物候補Ｉ（ｉ）の各角度に重みｗ（ｉ）１を、そうでなければ重みｗ（ｉ）＝０を与えた場合、入力画像の上下方向に対する傾き角度ｘ３は、式（３）によって求まる。

このように、手法［３］では、登録人物との類似度が高い人物候補群の角度について平均をとることによって、上下方向に対する傾き角度を算出する。そのため、仮に、類似度が高い人物候補群の角度がそれぞれ多少の誤差を含んでいる場合であっても、誤差による精度劣化を抑える効果がある。

［４］類似度が閾値以上の人物の角度の最頻値を利用する手法
各人物候補Ｉ（ｉ）について、各登録人物との類似度の最大値をＳｍａｘ（Ｉ（ｉ））とする。また、Ｓｍａｘ（Ｉ（ｉ））が所定の閾値以上である各人物候補Ｉ（ｉ）の入力画像中における角度の最頻値をａｒｇ（ｉ４）とする。なお、ｉ＝１〜Ｎ（Ｎ＝人物候補の数）である。このとき、ａｒｇ（ｉ４）に重み１を、その他の角度には重み０を与えた場合、入力画像の上下方向に対する傾き角度ｘ４は、式（４）によって求まる。

このように、手法［４］では、登録人物との類似度が高い人物候補群の角度の最頻値が、上下方向に対する傾き角度の算出に利用される。そのため、類似度が高い人物候補群について、仮に、検出領域の誤差や角度のずれがあった場合であっても、精度劣化が生じにくいという効果がある。

［５］人物候補の位置による重みを利用する手法
各人物候補Ｉ（ｉ）について、各登録人物との類似度の最大値をＳｍａｘ（Ｉ（ｉ））とする。なお、ｉ＝１〜Ｎ（Ｎ＝人物候補の数）である。また、Ｓｍａｘ（Ｉ（ｉ））が所定の閾値以上である各人物候補Ｉ（ｉ）について、人物候補の重心と入力画像の画像中心との距離をｄ（ｉ）としたとき、ｄ（ｉ）が最小となる人物候補の角度をａｒｇ（ｉ５）とする。このとき、ａｒｇ（ｉ５）に重み１を、その他の角度には重み０を与えた場合、入力画像の上下方向に対する傾き角度ｘ５は、式（５）によって求まる。

このように、手法［５］では、登録人物との類似度が高い人物候補の中で、画像中心に近い候補の角度を用いて上下方向に対する傾き角度を算出する。一般に、写真撮影する際は、人物を写真の中央に配置するように撮影することから、画像中心に近い候補を選ぶことにより、信頼性の高い傾き角度が算出できる。

［６］人物候補の面積による重みを利用する手法
各人物候補Ｉ（ｉ）について、各登録人物との類似度の最大値をＳｍａｘ（Ｉ（ｉ））とする。なお、ｉ＝１〜Ｎ（Ｎ＝人物候補の数）である。また、Ｓｍａｘ（Ｉ（ｉ））が所定の閾値以上である各人物候補Ｉ（ｉ）について、人物候補の面積をａ（ｉ）としたとき、ａ（ｉ）が最大となる人物候補の角度をａｒｇ（ｉ６）とする。このとき、ａｒｇ（ｉ６）に重み１を、その他の角度には重み０を与えた場合、入力画像の上下方向に対する傾き角度ｘ６は、式（６）によって求まる。

このように、手法［６］では、登録人物との類似度の高い人物候補の中で、画像面積の大きい候補の角度を用いて上下方向に対する傾き角度を算出する。一般に、写真で人物を撮影する際は、人物が大きく写るように撮影することから、面積の大きな候補を選ぶことによって信頼性の高い傾き角度が算出できる。

［７］類似度による重みを利用する手法
各人物候補Ｉ（ｉ）について、各登録人物との類似度の最大値をＳｍａｘ（Ｉ（ｉ））とする。なお、ｉ＝１〜Ｎ（Ｎ＝人物候補の数）である。このとき、各人物候補Ｉ（ｉ）の入力画像中における角度ａｒｇ（ｉ）に、重みｗ（ｉ）＝Ｓｍａｘ（Ｉ（ｉ））を与えた場合、入力画像の上下方向に対する傾き角度ｘ７は、式（７）によって求まる。

また、手法［７］では、Ｓｍａｘ（Ｉ（ｉ））が所定の閾値以上の各人物候補Ｉ（ｉ）について、その人物候補Ｉ（ｉ）の角度に重みｗ（ｉ）＝Ｓｍａｘ（Ｉ（ｉ））を与え、その他の人物候補には重みｗ（ｉ）＝０を与えて、式（７）により入力画像の上下方向に対する傾き角度ｘ７を求めてもよい。このとき、Ｓｍａｘ（Ｉ（ｉ））が所定の閾値以上となる人物候補が存在しない場合には、入力画像の上下方向に対する傾き角度ｘ７は０とする。

このように、手法［７］では、登録人物との類似度が高い人物候補群の角度について、それぞれ類似度により重み付けて上下方向に対する傾き角度を算出する。そのため、類似度が高い人物候補群の角度がそれぞれ誤差を含んでいる場合に、誤差による精度劣化を抑える効果がある。

［８］９０度の倍数値に補正する手法
手法［１］〜［７］によって求めた上下方向に対する傾き角度について、−９０，０，９０，１８０の中で最も近い数値を入力画像の上下方向に対する傾き角度とする。

一般的に、ディジタルカメラ等で撮影される写真は９０度の倍数値の傾きをもって撮影されるのが標準である。そのため、本手法では様々な方式で算出された上下方向に対する傾き角度を標準的な数値に修正できるという効果がある。

本実施例において、入力画像角度算出手段１０４は、上記のいずれかの手法を用いて入力画像の上下方向に対する傾き角度を算出する。なお、上記以外の方法を用いてもよい。入力画像角度算出手段１０４は、算出した入力画像の上下方向に対する傾き角度をディスプレイ１３０に出力する。

利用者は、ディスプレイに出力された画像の上下方向に対する傾き角度をもとに、入力画像の上下方向を知ることができる。

［実施例２］
次に、第２の実施例を用いて本発明を実施するための形態を説明する。本実施例は、本発明による第２の実施の形態に対応するものである。図１５は、第２の実施例としてディジタルカメラに適用した画像方向判定装置の構成例を示す説明図である。図１５に示すように、本実施例におけるディジタルカメラは、データ処理装置２００としてＣＰＵを、画像入力手段２１０として画像入力端子を、記憶装置２２０としてメモリを、出力手段２３０としてディスプレイを備える。なお、本実施例においても、あらかじめ特定人物の画像を登録画像として記憶しておき、入力画像として人物を含む画像が入力された場合に、入力画像の上下方向を判定する。

ＣＰＵ２００は、プログラムに従って動作することによって、対象物候補検出手段２０１，特徴量抽出手段２０２，類似度算出手段２０３，入力画像角度算出手段２０４，および画像加工手段２０５として機能する。なお、本実施例においても、第１の実施例と同様に、対象物候補検出手段２０１は、対象物候補として人物を検出する人物候補検出手段２０１として動作する。また、特徴量抽出手段２０２は、人物候補の特徴量を抽出する人物特徴量抽出手段２０２として動作する。また、類似度算出手段２０３は、各人物候補と各登録画像に含まれる登録人物との類似度を算出し、入力画像角度算出手段２０４は、各人物候補と登録人物との組み合わせにおける各類似度と、各人物候補の角度とに基づいて、入力画像の上下方向に対する傾き角度を算出する。

なお、本実施例では、さらに、画像加工手段２０５が、入力画像角度算出手段によって算出された入力画像の上下方向に対する傾き角度に基づいて、画像入力端子から入力される画像信号を加工して、加工画像を生成する。また、ディスプレイ２３０は、加工画像を表示する。

また、メモリ２２０には、角度記憶部２２１および特徴量記憶部２２２として機能する記憶領域が割り当てられる。なお、本実施例においても、第１の実施例と同様に、角度記憶部２２１は、人物候補検出手段２０１によって検出された人物候補について入力画像中における角度とその人物候補を識別するための人物候補識別子とを対応づけて記憶する。また、特徴量記憶部２２２は、人物特徴量記憶部２２２として、予め登録画像から抽出された上下方向が既知の人物（登録人物）の特徴量とその登録人物を識別するための登録人物識別子とを対応づけて記憶する。

利用者は、ディジタルカメラ内に蓄積された写真を登録画像として用いることができる。例えば、登録画像として家族の写真を用い、家族写真から抽出された各家族の特徴量をメモリ２２０内の人物特徴量記憶部２２２に記憶しておくことで、利用者は、再び家族を被写体として含む写真を撮影したときに、上下方向が補正された写真をディジタルカメラのディスプレイ２３０で確認できる。これにより、利用者は、写真の上下方向が正しい上下方向になるように手動で整形する必要がなく、容易に正しい上下方向の画像を得ることができる。

［実施例３］
次に、第３の実施例を用いて本発明を実施するための形態を説明する。本実施例は、本発明による第３の実施の形態に対応するものである。図１６は、第２の実施例としてパーソナルコンピュータに適用した画像方向判定装置の構成例を示す説明図である。図１６に示すように、本実施例におけるパーソナルコンピュータは、データ処理装置３００として中央演算装置を、画像入力装置３１０として画像入力端子を、記憶装置３２０としてハードディスクを、出力手段３３０としてディスプレイを備える。なお、本実施例では、各回転画像を１つの対象物候補として捉え、予め登録しておいた登録画像との、画像全体の特徴量の類似度（例えば、画像内の色やエッジ等の配置関係）に基づいて、入力画像の上下方向を判定する。

中央演算装置３００は、プログラムに従って動作することによって、画像回転手段３０１１，一方向対象物候補検出手段３０１２，特徴量抽出手段３０２，類似度算出手段３０３，入力画像角度算出手段３０４として機能する。なお、本実施例では、一方向対象物候補検出手段３０１２は、各回転画像から、その回転画像の画像領域全体を対象物候補として検出する。また、ハードディスク３２０には、角度記憶部３２１および特徴量記憶部３２２として機能する記憶領域が割り当てられる。本実施例では、角度記憶部３２１は、回転画像を識別するための回転画像識別子と、その回転画像の回転角度と、その回転画像から検出された対象物候補を識別するための対象物候補識別子と、その対象物候補の入力画像中における角度とを記憶する。また、特徴量記憶部３２２は、予め登録された上下方向が既知の画像（登録画像）の特徴量とその登録画像を識別するための登録画像識別子とを対応づけて記憶する。

ここで、画像入力端子３１０から画像が入力されたとする。中央演算装置３００は、画像回転手段３０１１において、入力画像を様々な角度で回転させて、回転画像群を生成する。そして、生成した回転画像群を一方向対象物候補検出手段３０１２に出力するとともに、各回転画像について、その回転角度をハードディスク３２０内の角度記憶部３２２に記憶する。回転角度は様々な角度が想定されるが、ディジタルカメラ等で撮影される写真は、−９０，０，９０，１８０度の傾きをもって撮影されるのが標準である。従って、標準的な実装では、上記４種類の回転画像を生成する。

一方向対象物候補検出手段３０１２は、各回転画像について、その画像領域全体を対象物候補として検出し、その画像領域と回転角度から算出される対象物候補（回転画像）の入力画像中における角度とを、特徴量抽出手段３０２に出力する。なお、入力画像は、入力画像を角度０度で回転させた回転画像であるため、回転画像群として必ず１つ以上の回転画像が生成される。従って、本実施例では、対象物候補として必ず１つ以上の回転画像が検出されるので、入力画像角度算出手段には、必ず「対象物あり」を示すフラグ信号が出力される。

特徴量抽出手段３０２は、対象物候補として、各回転画像の画像領域とその角度とを受け取ると、各回転画像の特徴量を抽出する。また、特徴量抽出手段３０２は、抽出した各回転画像の特徴量を類似度算出手段３０３に出力する。特徴量として、画像領域内の画素値を用いる方法や、画像領域を矩形ブロックに分割し、各ブロックから抽出した色あるいはエッジ情報を用いる方法や、画像領域を色やエッジ等の画像特性により領域分割し、各領域の画像上における配置情報を用いる方法などが挙げられる。なお、各領域の配置情報の一例として、画像重心を始点、領域の重心を終点とする２次元ベクトルと領域の主要色情報により構成される３次元の配置ベクトルによって表現できる。このとき、Ｎ個の領域で構成される画像の配置情報は、配置ベクトルＮ本によって表現できる。

類似度算出手段３０３は、特徴量抽出手段３０２から入力される各回転画像の特徴量と、ハードディスク３２０内の特徴量記憶部３２２に登録された各登録画像の特徴量との類似度を算出する。一例として、登録画像として空と地面を含む風景写真を、入力画像として登録画像と同様に空と地面を含む風景写真を入力した場合の類似度算出方法について説明する。本例では、特徴量として、画像上の各色領域の配置情報を表す３次元の配置ベクトルを用いる。ハードディスク３２０内の特徴量記憶部３２２には、あらかじめ登録画像から抽出した特徴量として、青色の空領域は画像の上方に、茶色の地面領域は画像の下方に配置することを表す配置ベクトルが記憶されているものとする。一方、入力画像をもとに生成された各回転画像からも同様の手法によって、各色領域の配置情報を表す３次元の配置ベクトルが特徴量として算出される。各回転画像と登録画像との組み合わせについて、登録画像の配置ベクトルと回転画像の配置ベクトルとの類似度を算出すると、空領域が上、地面領域が下となる配置ベクトルが抽出された回転画像について、登録画像と最も高い類似度が得られる。

類似度算出手段３０３は、例えば、登録画像中の各領域と回転画像中の各領域について配置ベクトルの色成分を比較し、差分値が一定値以下の領域対は互いに同一の色領域であると判定する。そして、同一の色領域と判定された領域の組み合わせについて、配置ベクトルの位置成分について差分をとり、差分が小さいほど高い類似度が算出される関数を定義することにより、類似度を算出することができる。

入力画像角度算出手段３０４は、各回転画像の入力画像中における角度に対し、登録画像との類似度に基づく重み付けを行い、重み付き角度を利用して入力画像の上下方向に対する傾き角度を算出する。なお、入力画像角度算出手段３０４は、例えば、最も高い類似度を得られた回転画像の角度を用いる方法や、類似度が一定以上の回転画像の角度の平均値を用いる方法など、様々な手法を用いることが可能である。

ディスプレイ３３０は、入力画像角度算出手段が算出した入力画像の上下方向に対する傾き角度を出力する。利用者は、ディスプレイに表示された入力画像の上下方向に対する傾き角度をもとに、入力画像の上下方向を知ることができる。

［実施例４］
次に、第４の実施例を用いて本発明を実施するための形態を説明する。本実施例は、第３の実施例と同じ、本発明による第３の実施の形態に対応するものである。本実施例では、画像方向判定装置を、対象物として人物を含む入力画像の上下判定に利用した例を示す。図１７は、第４の実施例としてパーソナルコンピュータに適用した画像方向判定装置の構成例を示す説明図である。図１７に示すように、本実施例におけるパーソナルコンピュータは、データ処理装置３００として中央演算装置を、画像入力装置３１０として画像入力端子を、記憶装置３２０としてハードディスクを、出力手段３３０としてディスプレイを備える。

中央演算装置３００は、プログラムに従って動作することによって、画像回転手段３０１１，一方向対象物候補検出手段３０１２，特徴量抽出手段３０２，類似度算出手段３０３，入力画像角度算出手段３０４，および画像加工手段３０５として機能する。なお、本実施例では、一方向対象物候補検出手段３０１２は、各回転画像から、回転画像中における角度が０度の人物候補を検出する一方向人物候補検出手段３０１２として動作する。また、特徴量抽出手段３０２は、人物候補の特徴量を抽出する人物特徴量抽出手段３０１２として動作する。また、類似度算出手段３０３は、各人物候補と各登録画像に含まれる登録人物との類似度を算出する。また、入力画像角度算出手段３０４は、各人物候補と登録人物との組み合わせにおける各類似度と、各人物候補の角度とに基づいて、入力画像の上下方向に対する傾き角度を算出する。

また、ハードディスク３２０には、角度記憶部３２１および特徴量記憶部３２２として機能する記憶領域が割り当てられる。なお、本実施例では、角度記憶部３２１は、画像回転手段３０１１で生成された回転画像を識別するための回転画像識別子と、その回転角度とを対応づけて、一方向人物候補検出手段３０１２によって検出された人物候補の、入力画像中における角度と、その人物候補を識別するための人物候補識別子とを記憶する。また、特徴量記憶部３２２は、人物特徴量記憶部３２２として、予め登録画像から抽出された上下方向が既知の人物（登録人物）の特徴量とその登録人物を識別するための登録人物識別子とを対応づけて記憶する。

ここで、画像入力端子３１０から画像が入力されたとする。中央演算装置３００は、画像回転手段３０１１において、入力画像を様々な回転角度で回転させて、回転画像群を生成する。そして、生成した回転画像群を一方向人物候補検出手段３０１２に出力するとともに、各回転画像について、その回転角度をハードディスク内の角度記憶部に記憶する。

一方向人物候補検出手段３０１２は、各回転画像から回転画像中の角度が０度の人物候補を検出する。人物候補が検出された場合には、入力画像角度算出手段３０４に「人物あり」を示すフラグ信号を出力するとともに、各人物候補の入力画像中における角度をハードディスク３２０内の角度記憶部３２１に記憶する。また、各人物候補の画像領域とその角度とを人物特徴量抽出手段に出力する。なお、人物候補が検出されない場合には、「人物なし」を示すフラグ信号を入力画像角度算出手段３０４に出力する。なお、以降の動作は、第１の実施例と同様であるため、説明省略する。

利用者は、ディスプレイ３３０に表示された画像の上下方向に対する傾き角度をもとに、入力画像の上下方向を知ることができる。

［実施例５］
次に、第５の実施例を用いて本発明を実施するための形態を説明する。本実施例は、本発明による第４の実施の形態に対応するものである。図１８は、第５の実施例としてパーソナルコンピュータに適用した画像方向判定装置の構成例を示す説明図である。図１８に示すように、本実施例におけるパーソナルコンピュータは、データ処理装置４００として中央演算装置を、画像入力装置４１０として画像入力端子を、記憶装置４２０としてハードディスクを、出力手段４３０としてディスプレイを、コマンド入出力装置４４０として、マウス、キーボード、およびディスプレイを備える。なお、本実施例も、画像方向判定装置を、対象物として人物を含む入力画像の上下判定に利用した例である。

中央演算装置４００は、プログラムに従って動作することによって、対象物候補検出手段４０１，特徴量抽出手段４０２，類似度算出手段４０３，入力画像角度算出手段４０４として機能する。また、ハードディスク４２０には、角度記憶部４２１および特徴量記憶部４２２として機能する記憶領域が割り当てられる。なお、本実施例では、コマンド入出力装置４４０に係る処理以外は第１の実施例と同様であるため、説明省略する。

ここで、画像入力端子４１０から画像が入力されたとする。また、その際、利用者からの操作に応じて、ディスプレイ４４０，キーボード４４０を介して、「登録画像」を示す信号が入力されたとする。例えば、ディスプレイに「入力した画像は登録画像です．（Ｙ／Ｎ）」などのメッセージを表示し、利用者がその表示に従って、キーボードから「Ｙ」を入力操作することによって実現できる。

人物特徴量抽出手段４０２は、「登録画像」を示すフラグ信号を受け取ると、人物候補検出手段４０１によって検出された人物候補について、人物候補の画像領域と入力画像中における角度とをディスプレイ４４０に出力する。利用者は、ディスプレイ４４０に表示された画像領域とその角度とを確認し、登録人物として、画像領域および角度に誤りがある場合には修正を行う。登録人物の画像領域の修正方法の一例として、利用者はディスプレイ４４０に表示された画像領域について、登録したい人物領域が含まれていない場合にはマウスで選択しｄｅｌｅｔｅキーで除去したり、背景などの人物領域以外の部分を一部含む場合には人物領域の一部をマウスで指定して切り取ったり、人物領域の一部が欠けている場合には不足した領域をマウスで指定して付け加えることにより実現できる。また、角度の修正の一例として、利用者はディスプレイに表示された人物の上下方向を意味する矢印を確認し、矢印が人物の正しい上下方向を示すように、角度をキーボードから入力することで実現する。

人物特徴量抽出手段４０２は、ディスプレイ４４０やマウス４４０、キーボード４４０を介して、人物領域および角度を修正されると、修正された画像領域および入力画像中における角度をもとに人物の特徴量を抽出し、人物特徴量記憶部４２２に記憶する。

なお、人物特徴量抽出手段４０２は、「登録画像」を示すフラグ信号を受け取らない場合には、第１の実施例と同様の処理を行う。「登録画像」を示すフラグ信号を受け取らない場合の一例として、ディスプレイ４４０に「入力した画像は登録画像です．（Ｙ／Ｎ）」などのメッセージを表示し、利用者がその表示に従って、キーボードから「Ｎ」を入力することによって実現できる。または、人物特徴量抽出手段４０２が人物候補検出手段４０１から、人物候補に関する情報を受け取ってから、一定時間以上マウス４４０やキーボード４４０から入力が行われない場合に「登録画像」を示すフラグ信号を受け取らなかったと判定してもよい。

本発明によれば、ディジタルカメラを様々な角度で傾けて撮影した写真や、様々な角度でコンピュータに取り込まれたスキャナ画像について、利用者の手を煩わせることなく上下方向を正して閲覧するための画像閲覧装置や、画像閲覧装置をコンピュータあるいはディジタルカメラに適用するためのプログラムといった用途に適用できる。また、ディジタルビデオ等で撮影された手振れを含む映像について、各フレームの上下方向のそろった映像を生成するための手振れ補正装置や手振れ補正装置をコンピュータあるいはディジタルビデオに適用するためのプログラムといった用途にも適用できる。

本出願は、２００６年６月７日に出願された日本出願特願２００６−１５８２５３号を基礎とする優先権を主張し、その開示の全てをここに含む。

Claims (23)

1. 入力画像の上下方向を判定する画像方向判定装置であって、
   入力画像から、固定的な形状または配置をもち、その形状または配置から一定の角度が検出可能な対象物を対象物候補として検出する対象物候補検出手段と、
   前記対象物候補抽出手段によって抽出された対象物候補について、予め記憶している登録対象物との類似度を算出する類似度算出手段と、
   前記対象物候補抽出手段によって抽出された対象物候補の入力画像中における角度と、前記類似度算出手段によって算出された類似度とに基づいて、入力画像の上下方向を判定する上下方向判定手段と
   を有することを特徴とする画像方向判定装置。
2. 対象物候補検出手段によって検出された対象物候補について、入力画像内の対象物候補領域の画像情報に基づいて、対象物候補の特徴量を抽出する特徴量抽出手段を備え、
   対象物候補検出手段は、入力画像から、複数の対象物候補を検出するとともに、検出した対象物候補の入力画像中における角度を抽出し、
   類似度算出手段は、前記特徴量抽出手段によって抽出される各対象物候補の特徴量と、予め記憶している登録対象物の特徴量とを比較することによって、類似度を算出し、
   上下方向判定手段は、各対象物候補の入力画像中における角度に対し、登録対象物との類似度に基づいて重みを付与することによって、入力画像の上下方向に対する傾き角度を算出する入力画像角度算出手段を含む
   ことを特徴とする請求項１に記載の画像方向判定装置。
3. 対象物検出手段は、入力画像を所定の角度で回転させた回転画像から、前記回転画像中における角度が０度の対象物候補を検出するとともに、検出した際の回転画像の回転角度に基づいて、前記対象物候補の入力画像中における角度を算出することを特徴とする請求項１または請求項２に記載の画像方向判定装置。
4. 類似度算出手段は、対象物候補抽出手段によって抽出された各対象物候補と、予め記憶している各登録対象物との組み合わせによる類似度を算出することを特徴とする請求項１から請求項３のいずれかに記載の画像方向判定装置。
5. 特徴量抽出手段は、対象物の方向に応じて値が変わる特徴量を抽出し、
   類似度算出手段は、前記特徴量抽出手段によって抽出される、対象物の方向に応じて値の変わる特徴量を用いて類似度を算出することを特徴とする請求項２から請求項４のいずれかに記載の画像方向判定装置。
6. 入力画像角度算出手段は、入力画像から対象物候補が検出されない場合には、入力画像の上下方向に対する傾き角度を０度とすることを特徴とする請求項２に記載の画像方向判定装置。
7. 入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、予め記憶している登録対象物との類似度が最大となる対象物候補の入力画像中における角度に基づいて、入力画像の上下方向に対する傾き角度を算出することを特徴とする請求項２に記載の画像方向判定装置。
8. 入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、予め記憶している登録対象物との類似度が所定の閾値以上である対象物候補の入力画像中における角度の平均をもとに、入力画像の上下方向に対する傾き角度を算出することを特徴とする請求項２に記載の画像方向判定装置。
9. 入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、予め記憶している登録対象物との類似度が所定の閾値以上である対象物候補の入力画像中における角度に基づいて、入力画像の上下方向に対する傾き角度を算出することを特徴とする請求項１から請求項６のいずれかに記載の画像方向判定装置。
10. 入力画像角度算出手段は、入力画像から対象物候補が検出された場合に、対象物候補の入力画像中における角度に対して、予め記憶している登録対象物との類似度を重みづけることによって算出された角度をもとに、入力画像の上下方向に対する傾き角度を算出することを特徴とする請求項２に記載の画像方向判定装置。
11. 入力画像角度算出手段は、０度、９０度、１８０度、２７０度のうち、算出した入力画像の上下方向に対する傾き角度に最も近い角度を入力画像の上下方向に対する傾き角度と
    することを特徴とする請求項６から請求項１０のいずれかに記載の画像方向判定装置。
12. 対象物候補検出手段は、所定の対象物の特定部位の相対位置情報を保持し、保持している前記相対位置情報と入力画像から検出される特定部位の相対位置情報との類似性に基づいて、対象物候補を検出することを特徴とする請求項１から請求項１１のいずれかに記載の画像方向判定装置。
13. 対象物候補検出手段は、所定の対象物の特徴量を保持し、保持している前記特徴量と入力画像から抽出される特徴量との類似性に基づいて、対象物候補を検出することを特徴とする請求項１から請求項１１のいずれかに記載の画像方向判定装置。
14. 対象物候補検出手段は、所定の対象物を含む画像をテンプレートとして保持し、保持している前記テンプレートを用いて、入力画像に対しテンプレートマッチングを行うことによって対象物候補を検出することを特徴とする請求項１から請求項１１のいずれかに記載の画像方向判定装置。
15. 対象物候補検出用のテンプレートとして、予め記憶している対象物の画像を用いることを特徴とする請求項１４に記載の画像方向判定装置。
16. 登録対象物として、特定人物を示す情報を記憶する人物特徴量記憶手段を備えたことを特徴とする請求項１から請求項１５のいずれかに記載の画像方向判定装置。
17. 対象物候補検出手段は、対象物候補として人物の顔候補を検出することを特徴とする請求項１６に記載の画像方向判定装置。
18. 対象物候補検出手段は、検出した人物の顔候補の入力画像中における角度として、左右の目を結ぶ直線の垂直二等分線の垂直方向となす角度を抽出することを特徴とする請求項１７に記載の画像方向判定装置。
19. 対象物候補検出手段は、入力画像中に含まれる複数の人物候補を検出するとともに、検出した人物候補の入力画像中における角度を抽出する人物候補検出手段を含み、
    特徴量抽出手段は、前記人物候補検出手段によって検出された人物候補の特徴量を抽出し、
    類似度算出手段は、前記人物候補検出手段によって検出された各人物候補について、前記特徴量抽出手段によって抽出された特徴量と、予め記憶している特定人物の特徴量との類似度を算出し、
    入力画像角度算出手段は、前記人物候補抽出手段によって抽出された各人物候補の入力画像中における角度と、前記類似度算出手段によって算出された特定人物との類似度とに基づいて、入力画像の上下方向に対する傾き角度を算出することを特徴とする請求項２から請求項１８のいずれかに記載の画像方向判定装置。
20. 入力画像の上下方向を判定する画像方向判定方法であって、
    入力画像から、固定的な形状または配置をもち、その形状または配置から一定の角度が検出可能な対象物を対象物候補として検出するステップと、
    抽出された対象物候補について、予め記憶されている登録対象物との類似度を算出するステップと、
    前記対象物候補の入力画像中における角度と、算出された類似度とに基づいて、入力画像の上下方向を判定するステップとを含む
    ことを特徴とする画像方向判定方法。
21. 入力画像から、複数の対象物候補を検出するとともに、検出した対象物候補の入力画像中における角度を抽出するステップと、
    検出された各対象物候補について、入力画像内の対象物候補領域の画像情報に基づいて、対象物候補の特徴量を抽出するステップと、
    抽出された各対象物候補の特徴量と、予め記憶されている登録対象物の特徴量とを比較することによって、類似度を算出するステップと、
    各対象物候補の入力画像中における角度に対し、登録対象物との類似度に基づいて重みを付与することによって、入力画像の上下方向に対する傾き角度を算出するステップとを含む
    ことを特徴とする請求項２０に記載の画像方向判定方法。
22. 入力画像の上下方向を判定するための画像方向判定用プログラムであって、
    コンピュータに、
    入力画像から、固定的な形状または配置をもち、その形状または配置から一定の角度が検出可能な対象物を対象物候補として検出する処理、
    抽出された対象物候補について、予め記憶されている登録対象物との類似度を算出する処理、および
    前記対象物候補の入力画像中における角度と、算出された類似度とに基づいて、入力画像の上下方向を判定する処理
    を実行させるための画像方向判定用プログラム。
23. コンピュータに、
    入力画像から、複数の対象物候補を検出するとともに、検出した対象物候補の入力画像中における角度を抽出する処理、
    検出された各対象物候補について、入力画像内の対象物候補領域の画像情報に基づいて、対象物候補の特徴量を抽出する処理、
    抽出された各対象物候補の特徴量と、予め記憶されている登録対象物の特徴量とを比較することによって、類似度を算出する処理、および
    各対象物候補の入力画像中における角度に対し、登録対象物との類似度に基づいて重みを付与することによって、入力画像の上下方向に対する傾き角度を算出する処理
    を実行させるための請求項２２に記載の画像方向判定用プログラム。

Images