JP5527213B2 - 画像向き判定装置、画像向き判定方法及び画像向き判定プログラム - Google Patents

Description

本発明は、画像の向きを判定する画像向き判定装置、画像向き判定方法及び画像向き判定プログラムに関する。

デジタルカメラなどを用いて撮影される画像は、カメラの構え方により、必ずしも画像の向きが正しい方向を向いているとは限らない。そこで、画像を効率的に管理するためには、画像の向きを正しい向きに補正して表示することが望ましい。

特許文献１には画像の天地を自動的に判定できる画像の天地方向判定方法が記載されている。特許文献１に記載された判定方法では、カラー画像の画素値を解析することによって、カラー画像の特徴を表す所定の画像特徴情報を取得する。そして、画像特徴情報を利用した判定ルールを用いてカラー画像の天地方向を判定する。

特許文献２には、画像の上下を認識する方法が記載されている。特許文献２に記載された方法では、指定された画像の上下を判定する判定領域として、画像の外周を構成する四辺のうちの三辺に沿って略コの字型の領域を設定する。判定領域内の画素について画素値の最大値と最小値を求め、その最大値と最小値の差に基づいて画像の上下を判断する。

特許文献３には、被写体として人物の顔を含む画像の天地方向を正確に判定する顔画像の天地方向判定方法が記載されている。特許文献３に記載された判定方法では、人物の顔を含む顔画像を取得し、取得した顔画像から目および口を検出する。検出した顔画像における目の位置に対する口の位置に基づいて顔画像の天地方向を判定する。

特許文献４には、撮影時のカメラ本体の構え方を判定する画像上辺判定方法が記載されている。特許文献４に記載された判定方法では、画像の４隅のエリアの輝度情報積算値を比較検討し、明るい辺を天方向の辺、すなわち画像を閲覧する際の上辺であると判定して、カメラ本体の構え方を判定する。

また、非特許文献１には、画像の構図を利用して向きを判定する判定方式が記載されている。非特許文献１に記載された方式では、画像のＬｏｗ−Ｌｅｖｅｌ特徴量を抽出し、サンプル画像のＬｏｗ−Ｌｅｖｅｌ特徴量を機械学習させることで画像の向きを判定する。

特開２００５−２５０７７８号公報（段落００７８〜００７９、００８６、図２） 特開２００１−１１１８０６号公報（段落００３１〜００３６、図７） 特開２００５−２０２４７７号公報（段落００４１〜００４４、図３） 特開２０００−２４１８４６号公報（段落００６０、図３）

Yongmei Wang, Hongjiang Zhang, Content-Based Image Orientation Detection with Support Vector Machines, Proc. IEEE Workshop Content-Based Access of Image and Video Libraries, 2001.

特許文献１〜４に記載した方法では、各方法とも特別な対象（例えば、顔や空領域など）を抽出し、対象毎にセマンティック（意味論的）なルールを設定する必要がある。そのため、セマンティックなルールを設定することが困難なジャンルの画像に拡張することが出来ないという課題がある。

また、非特許文献１に記載された方式では、入力画像の方向を判断するために比較する画像（以下、学習画像と記す。）を、その入力画像の向きを変化させた状態の画像と比較し、その比較結果をスコア化する。最も高いスコアが閾値以上であればその方向が画像の方向と判断する。このため、画像の方向が変化する場合に特徴量の変化が少ない画像（すなわち、画像の方向の変化に対する特徴量の変化が無相関の画像）と学習画像とを比較する場合には誤判定を起こしにくい。一方、画像の方向が変化する場合に特徴量の変化が大きい画像（すなわち、画像の方向の変化に対する特徴量の変化の相関が大きい画像）と学習画像とを比較する場合には誤判定を起こしやすい。このような誤判定が行われた結果、その判定結果をもとに画像の向きを補正した場合には、不適切な方向で画像が表示されてしまうため、画像の閲覧が見にくくなってしまう。

図９、図１０に示す画像の例を用いて、非特許文献１に記載された方式の課題について詳述する。以下の説明では、図９（ａ）に示す画像が学習画像である場合を例に説明する。

図９（ｂ）に示す画像が入力画像である場合、図９（ｂ）に示す画像には、図９（ａ）の画像と比べて画像左部分に小領域が加わっているが、特徴を示す程度（特徴量）に大きな差異はないため、図９（ａ）は、図９（ｂ）と類似の程度は高い。また、図９（ｃ）〜（ｅ）は、図９（ｂ）に示す画像を、それぞれ時計回りに９０度、１８０度、２７０度回転させた画像であるが、図９（ａ）と他の向きの画像（図９（ｃ）〜（ｅ））との特徴量の差は大きいため、図９（ａ）は他の向きの画像と類似の程度は低い。よって、図９（ｂ）の向きは０度と判定される。すなわち、図９（ｂ）に示す入力画像は、誤判定を起こしにくい画像であると言える。

一方、図１０（ａ）の太い黒枠で示す部分を撮影した入力画像を、図１０（ｂ）に示す。また、図１０（ｂ）に示す画像を、それぞれ時計回りに９０度、１８０度、２７０度回転させた画像を、図１０（ｃ）〜（ｅ）に示す。図１０（ｂ）〜（ｅ）に示す各構図の中では、実際の向きと異なる２７０度の向きの画像（図１０（ｅ））が、図９（ａ）に示す学習画像と最も類似の程度が高く、図１０（ｅ）以外の画像は図９（ａ）に示す学習画像と類似の程度が低い。そのため、画像の向きが２７０度と誤判定されてしまう。

図１０（ｂ）に示す入力画像は、学習画像の一部であるため、特徴を示す部分の類似の程度は高い画像であると言える。しかし、回転させることによって、画像の構図を示す特徴量の変化が大きい画像の場合には、誤判定を起こしやすい。

そこで、本発明は、画像の向きの判定誤りを抑えることができる画像向き判定装置、画像向き判定方法及び画像向き判定プログラムを提供することを目的とする。

本発明による画像向き判定装置は、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出手段と、画像の向きの判定に適した画像である正教師画像の画像特徴量と判定に不適な画像である負教師画像の画像特徴量とを記憶する画像特徴量記憶手段と、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段と、画像特徴量抽出手段が抽出した入力画像の画像特徴量と画像特徴量記憶手段に記憶された正教師画像及び負教師画像の画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出手段と、入力画像の画像特徴量と正教師画像の画像特徴量との教師画像類似度である正教師類似度が所定の第一の閾値よりも高い場合に入力画像の向きを判定すると決定し、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度である負教師類似度が所定の第二の閾値以上の場合に入力画像の向きを判定しないと決定する画像向き判定決定手段と、画像向き判定決定手段が入力画像の向きを判定すると決定した場合に、入力画像の画像特徴量と向き毎特徴量記憶手段に記憶された画像特徴量との類似の程度を示す向き類似度を算出し、算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定手段とを備えたことを特徴とする。

本発明による他の態様の画像向き判定装置は、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出手段と、画像の向きの判定に不適な画像である負教師画像の画像特徴量を記憶する画像特徴量記憶手段と、画像の向きの判定に適した画像である正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段と、画像特徴量抽出手段が抽出した入力画像の画像特徴量と画像特徴量記憶手段に記憶された負教師画像の画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出手段と、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度が、所定の閾値以上の場合に入力画像の向きを判定しないと決定し、所定の閾値未満の場合に入力画像の向きを判定すると決定する画像向き判定決定手段と、画像向き判定決定手段が入力画像の向きを判定すると決定した場合に、入力画像の画像特徴量と向き毎特徴量記憶手段に記憶された画像特徴量との類似の程度を示す向き類似度を算出し、算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定手段とを備えたことを特徴とする。

本発明によるさらに他の態様の画像向き判定装置は、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出手段と、画像の向きの判定に適した画像である正教師画像の画像特徴量を記憶する画像特徴量記憶手段と、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段と、画像特徴量抽出手段が抽出した入力画像の画像特徴量と画像特徴量記憶手段に記憶された正教師画像の画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出手段と、入力画像の画像特徴量と正教師画像の画像特徴量との教師画像類似度が所定の閾値よりも高い場合に入力画像の向きを判定すると決定する画像向き判定決定手段と、画像向き判定決定手段が入力画像の向きを判定すると決定した場合に、入力画像の画像特徴量と向き毎特徴量記憶手段に記憶された画像特徴量との類似の程度を示す向き類似度を算出し、算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定手段とを備えたことを特徴とする。

本発明による画像向き判定方法は、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出し、抽出された入力画像の画像特徴量と、画像の向きの判定に適した画像である正教師画像の画像特徴量と当該判定に不適な画像である負教師画像の画像特徴量とを記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出し、入力画像の画像特徴量と正教師画像の画像特徴量との教師画像類似度である正教師類似度が所定の第一の閾値よりも高い場合に入力画像の向きを判定すると決定し、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度である負教師類似度が所定の第二の閾値以上の場合に入力画像の向きを判定しないと決定し、入力画像の向きを判定すると決定された場合に、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された当該画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定することを特徴とする。

本発明による他の態様の画像向き判定方法は、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出し、抽出された入力画像の画像特徴量と、画像の向きの判定に不適な画像である負教師画像の画像特徴量を記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出し、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度が所定の閾値以上の場合に入力画像の向きを判定しないと決定し、所定の閾値未満の場合に入力画像の向きを判定すると決定し、入力画像の向きを判定すると決定された場合に、画像の向きの判定に適した画像である正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された当該画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定することを特徴とする。

本発明によるさらに他の態様の画像向き判定方法は、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出し、抽出された入力画像の画像特徴量と、画像の向きの判定に適した画像である正教師画像の画像特徴量を記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出し、入力画像の画像特徴量と正教師画像の画像特徴量との教師画像類似度が所定の閾値よりも高い場合に、入力画像の向きを判定すると決定し、入力画像の向きを判定すると決定された場合に、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された当該画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定することを特徴とする。

本発明による画像向き判定プログラムは、コンピュータに、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出処理、画像特徴量抽出処理で抽出した入力画像の画像特徴量と、画像の向きの判定に適した画像である正教師画像の画像特徴量と判定に不適な画像である負教師画像の画像特徴量のうち、少なくとも負教師画像の画像特徴量を記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出処理、入力画像の画像特徴量と正教師画像の画像特徴量との教師画像類似度である正教師類似度が所定の第一の閾値よりも高い場合に入力画像の向きを判定すると決定し、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度である負教師類似度が所定の第二の閾値以上の場合に入力画像の向きを判定しないと決定する画像向き判定決定処理、および、画像向き判定決定処理で入力画像の向きを判定すると決定した場合に、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定処理を実行させることを特徴とする。

本発明による他の態様の画像向き判定プログラムは、コンピュータに、画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出処理、画像特徴量抽出処理で抽出した入力画像の画像特徴量と、画像の向きの判定に不適な画像である負教師画像の画像特徴量を記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出処理、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度が所定の閾値以上の場合に入力画像の向きを判定しないと決定し、所定の閾値未満の場合に入力画像の向きを判定すると決定する画像向き判定決定処理、および、画像向き判定決定処理で入力画像の向きを判定すると決定した場合に、画像の向きの判定に適した画像である正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、算出した向き類似度が所定の要件を満たす場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定処理を実行させることを特徴とする。

本発明によれば、画像の向きの判定誤りを抑えることができる。

第１の実施形態における画像向き判定装置の例を示すブロック図である。 画像特徴量を２行３列のブロックに分割した場合の例を示す説明図である。 第１の実施形態における画像向き判定処理の例を示すフローチャートである。 第２の実施形態における画像向き判定装置の例を示すブロック図である。 第２の実施形態における画像向き判定処理の例を示すフローチャートである。 補正する角度と補正される入力画像の関係の例を示す説明図である。 第３の実施形態における画像向き判定装置の例を示すブロック図である。 本発明における画像向き判定装置の概要を示すブロック図である。 誤判定を起こしにくい画像の例を示す説明図である。 誤判定を起こしやすい画像の例を示す説明図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明による第１の実施形態における画像向き判定装置の例を示すブロック図である。本発明における画像向き判定装置は、画像特徴量抽出部１０１と、学習特徴量記憶部１０２と、画像向き判定実行決定部１０３と、向き毎特徴量記憶部１０４と、画像向き判定部１０５とを備える。

画像特徴量抽出部１０１は、画像の向きの判定（以下、画像向き判定と記す。）の対象とする入力画像から、画像の構図（レイアウト）に関する特徴量（以下、画像特徴量と記す。）を抽出する。画像特徴量とは、画像画素の色や濃淡値の配置から得られる特徴であり、例えば、画像のレイアウトに関する情報として、画像中のエッジ・色の分布等を用いることができるが、画像特徴量の対象とする特徴は上記内容に限定されない。また、画像特徴量は、視覚的に判断される特徴の程度であることから、視覚的特徴量と呼ぶこともできる。

入力画像は、例えば、画像向き判定装置が画像を読み取る画像読取部（図示せず）を備えている場合であれば、画像特徴量抽出部１０１は、その画像読取部から画像を読み取って入力画像としてもよい。また、画像読取部が、例えば、ＣＣＤ（Charge Coupled Device ）デジタルカメラやビデオカメラ等の映像入力機器から画像を取得できる場合であれば、画像特徴量抽出部１０１は、その取得した画像を入力画像としてもよい。

学習特徴量記憶部１０２は、画像向き判定を行う際、入力画像と比較する画像の画像特徴量を記憶する。以下、この比較する画像を教師画像と記す。教師画像は、画像向き判定に適した構図の画像（以下、正教師画像と記す。）と、画像向き判定に適さない構図の画像（以下、負教師画像）とを含む。また、以下の説明では、正教師画像の画像特徴量を正の教師データと記し、負教師画像の画像特徴量を負の教師データと記す。

すなわち、学習特徴量記憶部１０２は、画像向き判定に適している画像の特徴量を正の教師データとして記憶してもよい。または、学習特徴量記憶部１０２は、画像向き判定に不適な画像の特徴量を負の教師データとして記憶してもよい。または、学習特徴量記憶部１０２は、適及び不適の両画像をそれぞれ正負の教師データとして記憶してもよい。

画像向き判定に適した構図の例として、例えば、空と草木、空と水面（例えば、海・川・湖など）、空と花、空と雪面、夕焼け空の画像の構図などがあげられる。これらの風景が撮影される場合、遠景で撮影されることが多く、構図として空が上部に位置し、地上に存在する草木や水面、花、雪面が下部に位置することが多い。そのため、このような構図は、その位置関係を利用した画像向きの判定に適した構図といえる。なお、画像向き判定に適した構図は、上記の例に示す構図に限定されない。

一方、画像向き判定に適さない構図の例として、例えば、マクロ（近景）モードで物体をクローズアップ撮影した画像の構図などがあげられる。このような画像では、被写体が画面全体に写っていることや、被写体の画面上の位置が安定しないため、画像向き判定を行う情報を得ることが困難である。そのため、このような構図に対して画像向き判定を行う場合、誤った結果が得られる可能性が高いため、その位置関係を利用した画像向きの判定には適さない構図といえる。

学習特徴量記憶部１０２に記憶される画像特徴量は、例えば、画像特徴量抽出部１０１が予め準備した教師画像をもとに抽出した画像特徴量であってもよい。例えば、画像特徴量抽出部１０１が、予め準備した教師画像をもとに画像特徴量を抽出し、この抽出した画像特徴量を学習特徴量記憶部１０２に登録してもよい。以下、学習特徴量記憶部１０２に画像特徴量を記憶させることを、学習特徴量記憶部１０２に学習させると記すこともある。

また、学習特徴量記憶部１０２は、学習画像の各方向に対して抽出した画像特徴量を記憶する。このとき、（１）学習画像を複数のブロックに分割し、ブロック単位で画像特徴量を抽出できること、及び（２）学習画像のブロック単位の画像特徴量が、画像の方向が変化する場合に特徴量の変化がない画像（向きの変化に依存しない画像）であること、の条件を満たす場合には、学習画像の一方向の画像の向きに対する画像特徴量のみを記憶してもよい。

上記（１）及び（２）の条件を言いかえると、「局所的な画像特徴量自体には構図に関する情報は存在せず、その局所的な画像特徴量の配置情報が構図を表している、という条件」であるといえる。

学習特徴量記憶部１０２は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ、ハードディスク、メモリなどの記録媒体であってもよい。これらの記憶媒体に記憶された画像特徴量は、ＣＤ−ＲＯＭドライブなどの読取装置（図示せず）によって読み取られる。

また、画像向き判定装置がインターネット（図示せず）に接続されている場合であれば、画像特徴量読取処理部（図示せず）がインターネットを介して他の記憶媒体から画像特徴量を取得してもよい。画像特徴量読取処理部は、例えば、プログラム（画像向き判定プログラム）に従って動作する画像向き判定装置のＣＰＵによって実現される。例えば、プログラムは、画像向き判定装置の記憶手段（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み取り、プログラムに従って画像特徴量読取処理部として動作してもよい。

画像特徴量は、上記記憶媒体やインターネットを介した他の記憶媒体に一か所にまとめて記憶されていてもよいし、複数の記憶媒体に分割して記憶されていてもよい。

画像向き判定実行決定部１０３は、画像特徴量抽出部１０１で抽出した入力画像の画像特徴量と、学習特徴量記憶部１０２に記憶された画像特徴量との類似の程度（以下、類似度と記す。）を算出し、その類似度に基づいて、入力画像の画像向き判定を行うか否かを決定する。

類似度の算出には、例えば、多数の画像に対する向き毎の特徴量をあらかじめ算出し、この特徴量をＳＶＭ（Support Vector Machine）などの識別エンジンを用いて導出したデータを利用して算出してもよい。例えば、画像向き判定実行決定部１０３が、ＳＶＭを用いて識別境界を導出し、類似と判断する空間側にその特徴量が存在する場合に、導出した識別境界からの距離が離れているほど、類似度を高く算出してもよい。

または、画像向き判定実行決定部１０３は、学習特徴量記憶部１０２に記憶されている画像特徴量及び入力画像に対する画像特徴量を構成する各要素の情報をベクトル化し、そのベクトル間の距離が近いほど類似度を高く算出してもよい。ベクトル化に用いられる構成要素として、例えば、ＭＰＥＧ（Moving Picture Experts Group）−７／Ｖｉｓｕａｌで定義されるビジュアル記述子の色の特徴（ドミナント・カラー、カラー・レイアウト）、模様の特徴（エッジ・ヒストグラム）、形状の特徴（リージョン・ベースド形状記述子）を用いてもよい。すなわち、これらの特徴を示す特徴量を組み合わせたものを特徴量ベクトルと定義してもよい。類似度は、上記方法などによって算出されるが、類似度の算出方法は、上記方法に限定されない。

学習特徴量記憶部１０２に記憶されている画像特徴量が正の教師データの場合、類似度が高いほど画像向き判定を行う方がよく、学習特徴量記憶部１０２に記憶されている画像特徴量が負の教師データの場合、類似度が高いほど向き判定を行わない方がよいといえる。そのため、学習特徴量記憶部１０２に記憶されている画像特徴量が正の教師データの場合、画像向き判定実行決定部１０３は、類似度が所定の値（以下、正教師閾値と記す。）よりも大きい場合に画像向き判定を行うと決定し、類似度が正教師閾値以下の場合には画像向き判定を行わないと決定する。一方、学習特徴量記憶部１０２に記憶されている画像特徴量が負の教師データの場合、画像向き判定実行決定部１０３は、類似度が所定の値（以下、負教師閾値と記す。）よりも小さい場合に画像向き判定を行うと決定し、類似度が負教師閾値以上の場合に画像向き判定を行わないと決定する。

なお、学習特徴量記憶部１０２は、正の教師データ及び負の教師データのいずれも記憶している場合がある。この場合、正教師データとの類似度が正教師閾値よりも高い場合に画像向き判定をすると決定し、負教師データとの類似度が所定の負教師閾値以上の場合に画像向き判定をしないと決定できる。一方、正の教師データとの類似度と負の教師データとの類似度とは背反の関係であると考えられるが、負の教師データとの類似度が低い場合に、正の教師データとの類似度が必ずしも高くなるとは限らない。このため、負の教師データとの類似度と負教師閾値とを比較することによる判定や、正の教師データとの類似度と正教師閾値とを比較することによる判定に加え、正負の教師データ同士の類似度（比率）を比較することにより、画像向き判定を行うか否かを判定することが好ましい。この場合、所定の値（例えば、正教師閾値及び負教師閾値）のみと比較する場合に比べ、正負の教師データを比較した相対的な判定を行うことができるため、より判定の精度を上げることができる。

よって、画像向き判定実行決定部１０３は、負の教師データの類似度が負教師閾値より高い場合であっても、正の教師データとの類似度の差または比率が所定の値（以下、正負差判定値と記す。）以上の類似度を示す場合に、向き判定を行うと決定する。例えば、正の教師データの類似度をＡとし、負の教師データの類似度をＢとしたときに、Ａ／Ｂで算出される比率が所定の値以上の類似度を示す場合に、画像向き判定実行決定部１０３は、向き判定を行うと決定してもよい。

学習特徴量記憶部１０２がある画像の全ての方向に対して抽出した画像特徴量を記憶している場合であれば、画像向き判定実行決定部１０３は、画像特徴量抽出部１０１で抽出した入力画像の画像特徴量と学習特徴量記憶部１０２に記憶された各方向の画像特徴量とから類似度を算出すればよい。

一方、学習特徴量記憶部１０２がある画像の所定方向の画像の向きに対する画像特徴量のみを記憶している場合がある。この場合、画像向き判定実行決定部１０３は、入力画像の画像特徴量又は所定方向の学習画像の向きに対する画像特徴量から他の向きに対する画像特徴量を作成して類似度を算出すればよい。

他の向きに対する画像特徴量の作成方法の例について以下に詳述する。図２は、ある画像の画像特徴量を２行３列のブロックに分割した場合の例を示す説明図である。分割した画像特徴量の正しい向き（以下、０度向きと記す。）の画像特徴量の並び順を、左上から右下に向けて「ＡＢＣＤＥＦ」とする（図２（ａ）参照）。このとき、時計周り方向に９０度回転させた画像（以下、時計周りにＮ度回転させた画像をＮ度向き画像と記す。）に対する画像特徴量の並び順は、「ＤＡＥＢＦＣ」となるため、これを９０度向き画像の画像特徴量とすることができる（図２（ｂ）参照）。このように、０度向きの画像に対する画像特徴量をブロックに分割し、各ブロックの画像特徴量を並び替えることにより、他の向きに対する画像特徴量を疑似的に作成することができる。このように他の向きの画像特徴量を作成することで、入力画像の向きがどの方向であっても学習画像との類似度判定を行うことができる。

向き毎特徴量記憶部１０４は、学習特徴量記憶部１０２の正の教師画像の画像特徴量を、向き判定を行う向きごとに記憶する。以下の説明では、判定を行う向きとして、０度、９０度、１８０度、２７０度の向きを記憶する場合について説明するが、記憶する向きはこれらの向きに限定されない。向き毎特徴量記憶部１０４は、画像の向きが既知の画像に対し、その画像の向きと画像特徴量とを対応付けて記憶する。

向き毎特徴量記憶部１０４は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−Ｒ、ハードディスク、メモリなどの記録媒体であってもよい。これらの記憶媒体に記憶された画像の向き及び画像特徴量は、ＣＤ−ＲＯＭドライブなどの読取装置（図示せず）によって読み取られる。画像の向き及び画像特徴量は、上記記憶媒体に一か所にまとめて記憶されていてもよいし、複数の記憶媒体に分割して記憶されていてもよい。

画像向き判定部１０５は、画像特徴量抽出部１０１で抽出した画像特徴量と向き毎特徴量記憶部１０４に記憶された画像の向きごとの画像特徴量との類似の程度（類似度）を算出する。画像向き判定部１０５は、画像の向きごとの類似度に基づき、入力画像の画像向き判定して、画像の向きを決定する。判定方法として、例えば、最も類似度の高い画像の向きを正しい向きとして判定してもよい。

なお、画像向き判定実行決定部１０３が向き判定を行わないと判定した場合、画像向き判定部１０５は、画像の向きを「向き不定」と決定する。以下の説明では、画像向き判定実行決定部１０３が向き判定を行わないと判定した場合、画像向き判定部１０５が、画像の向きを「向き不定」と決定して処理を行う場合について説明する。

画像特徴量抽出部１０１、画像向き判定実行決定部１０３及び画像向き判定部１０５は、例えば、プログラム（画像向き判定プログラム）に従って動作する画像向き判定装置のＣＰＵによって実現される。例えば、プログラムは、画像向き判定装置の記憶手段（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み取り、プログラムに従って画像特徴量抽出部１０１、画像向き判定実行決定部１０３及び画像向き判定部１０５として動作してもよい。

次に、動作について説明する。図３は、第１の実施形態における画像向き判定処理の例を示すフローチャートである。画像特徴量抽出部１０１は、例えば、デジタルカメラやＣＣＤカメラ等の撮影装置により撮影された入力画像をもとに、画像の構図（色・模様の空間的な配置）を表す画像特徴量を抽出する（ステップＳ１１）。

画像特徴量の抽出は、例えば、画像を複数のブロックに分割し、ブロックごとに画像特徴量を抽出してもよい。画像特徴量を構成する特徴として、例えば、ＭＰＥＧ（Moving Picture Experts Group）−７／Ｖｉｓｕａｌで定義されるビジュアル記述子の色の特徴（ドミナント・カラー、カラー・レイアウト）、模様の特徴（エッジ・ヒストグラム）、形状の特徴（リージョン・ベースド形状記述子）を用いてもよい。すなわち、これらの特徴を示す特徴量を組み合わせたものを画像特徴量として用いてもよい。また、これらの特徴量を組み合わせたものを、特徴量ベクトルと定義することができる。

画像向き判定実行決定部１０３は、学習特徴量記憶部１０２に記憶された教師画像の画像特徴量を読み取る（ステップＳ１２）。画像向き判定実行決定部１０３は、例えば、学習特徴量記憶部１０２の形態に応じて、ＣＤ−ＲＯＭドライブ（図示せず）などの読取装置により単数または複数の媒体から読み取る。また、画像向き判定装置がインターネットに接続され、学習特徴量記憶部１０２がそのインターネットに接続されている場合であれば、画像向き判定実行決定部１０３は、インターネットを介して画像特徴量を取得してもよい。

画像向き判定実行決定部１０３は、ステップＳ１１で画像特徴量抽出部１０１が抽出した入力画像の画像特徴量と、ステップＳ１２で画像向き判定実行決定部１０３が読み取った教師画像の画像特徴量とから、画像特徴量の類似度を算出する（ステップＳ１３）。学習特徴量記憶部１０２が学習画像の複数の向きに対する画像特徴量を記憶している場合、画像向き判定実行決定部１０３は、その全ての向きの画像特徴量と、入力画像の画像特徴量との類似度を算出する。一方、学習特徴量記憶部１０２がある画像の一方向の向きに対する画像特徴量のみ記憶している場合がある。この場合、画像向き判定実行決定部１０３は、学習特徴量記憶部１０２に記録されている画像特徴量、又は入力画像の画像特徴量を用いて、他の向きに対する画像特徴量を擬似的に作成して、類似度を算出すればよい。

画像向き判定実行決定部１０３は、学習特徴量記憶部１０２に記憶された画像特徴量が正の教師データである場合、最も高い類似度を「類似度」として決定する。また、学習特徴量記憶部１０２に記憶された画像特徴量が負の教師データである場合、最も高い類似度を「不向き類似度」として決定する。なお、正負両方の教師データを記憶している場合であれば、「類似度」及び「不向き類似度」をそれぞれ両方出力する。

画像向き判定実行決定部１０３は、ステップＳ１３にて決定した「類似度」及び「不向き類似度」をもとに、入力画像に対する画像向き判定を行うか否か判断する。「類似度」が正教師閾値よりも大きい場合、又は「不向き類似度」が負教師閾値よりも小さい場合、又は「類似度」が「不向き類似度」よりも十分大きい（すなわち、正負差判定値以上である）場合、画像向き判定実行決定部１０３は、画像向き判定を行うと決定する。一方、類似度が閾値以下の場合、且つ、不向き類似度が閾値以上の場合、且つ、「類似度」が「不向き類似度」より十分大きいとは言えない場合、画像向き判定実行決定部１０３は、画像向き判定を行わないと決定する。

画像向き判定実行決定部１０３が画像向き判定を行うと決定した場合（ステップＳ１４におけるＹＥＳ）、画像向き判定部１０５は、向き毎特徴量記憶部１０４に記憶された画像の向きごとの画像特徴量を読み取る（ステップＳ１５）。画像向き判定実行決定部１０３は、例えば、向き毎特徴量記憶部１０４の形態に応じて、ＣＤ−ＲＯＭドライブ（図示せず）などの読取装置により単数または複数の媒体から読み取る。また、画像向き判定装置がインターネットに接続され、向き毎特徴量記憶部１０４がそのインターネットに接続されている場合であれば、画像向き判定実行決定部１０３は、インターネットを介して画像特徴量を取得してもよい。

画像向き判定部１０５は、向き毎特徴量記憶部１０４から読み取った画像の向き毎の画像特徴量と、入力画像に対する画像特徴量とから類似度を算出する（ステップＳ１６）。

類似度の算出には、例えば、多数の画像に対する各向きのＣｏｌｏｒ ＭｏｍｅｎｔやＥｄｇｅ Ｄｉｒｅｃｔｉｏｎ Ｈｉｓｔｏｇｒａｍなどの特徴量ごとに、ＳＶＭなどの識別エンジンを用いて導出したデータを利用して算出してもよい。この場合、画像向き判定部１０５は、このデータと入力画像の画像特徴量を構成する特徴量とで一致する特徴量の度合を算出し、この度合いが高いほど類似度を高く算出してもよい（非特許文献１参照）。例えば、画像向き判定部１０５が、ＳＶＭを用いて識別境界を導出し、類似と判断する空間側にこれらの特徴量が存在する場合に、導出した識別境界からの距離が離れているほど、類似度を高く算出してもよい。

または、画像向き判定部１０５は、画像の向きごとに登録された画像の画像特徴量（エッジ、色の分布情報など）と入力画像の画像特徴量の類似度を、各向きの確からしさを示す値として出力してもよい。

または、画像向き判定部１０５は、向き毎特徴量記憶部１０４に記憶されている画像特徴量及び入力画像に対する画像特徴量を構成する各要素の情報をベクトル化し、そのベクトル間の距離が近いほど類似度を高く算出してもよい。ベクトル化に用いられる構成要素として、例えば、ＭＰＥＧ（Moving Picture Experts Group）−７／Ｖｉｓｕａｌで定義されるビジュアル記述子の色の特徴（ドミナント・カラー、カラー・レイアウト）、模様の特徴（エッジ・ヒストグラム）、形状の特徴（リージョン・ベースド形状記述子）を用いてもよい。すなわち、これらの特徴を示す特徴量を組み合わせたものを特徴量ベクトルと定義してもよい。

このようにして、画像向き判定部１０５は、入力画像から抽出された画像特徴量と、予め登録された画像データの画像特徴量との類似度を算出し、登録画像の向きごとに最大の類似度を算出できるが、類似度の算出方法はこれらの方法に限定されない。

画像向き判定部１０５は、算出した類似度のうち、最も高い類似度の画像の向きを抽出する（ステップＳ１７）。画像向き判定部１０５は、ステップＳ１７にて判断した抽出した画像の向きを、所定の画像の向きとして決定する（ステップＳ１８）。 一方、ステップＳ１４において、画像向き判定実行決定部１０３が、入力画像に対する画像向き判定を行わないと判断した場合（ステップＳ１４におけるＮＯ）、画像向き判定部１０５は、所定の画像の向きを「向き不定」と決定する。例えば、画像向き判定装置が出力部（図示せず）を備えている場合であれば、画像向き判定部１０５は、その決定内容を出力部に出力してもよい。

本発明によれば、画像向き判定装置が、入力画像から画像特徴量を抽出し、その画像特徴量と学習特徴量記憶部１０２に記憶された画像特徴量の類似度を算出する。そして、画像向き判定装置は、算出した類似度が正教師閾値よりも高い場合に入力画像の向きを判定すると決定し、算出した類似度が負教師閾値よりも高い場合に入力画像の向きを判定しないと決定する。入力画像の向きを判定すると決定した場合に、画像向き判定装置は、向き毎特徴量記憶部１０４に記憶された画像特徴量と入力画像の画像特徴量との類似度を算出し、算出した類似度が最も高い場合に対応する正教師画像の向きに応じて入力画像の向きを決定する。よって、特別な対象のみに適用可能なセマンティックなルールを用いることなく、画像の向きの判定誤りを抑えることができる。さらに、画像向き判定に不得意な画像（いわゆる、負教師画像）が入力された場合に、画像向き判定自体を行わない事で、画像の向きの判定誤りを抑えることができる。

実施形態２．
図４は、本発明による第２の実施形態における画像向き判定装置の例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。本実施形態による画像向き判定装置は、図１に示す画像特徴量抽出部１０１と、学習特徴量記憶部１０２と、画像向き判定実行決定部１０３と、向き毎特徴量記憶部１０４と、画像向き判定部１０５とを備え、さらに、画像向き補正部１０６を備える。

画像向き補正部１０６は、画像向き判定部１０５が決定した所定の画像の向きを用いて、入力画像の向きを正しい向きに補正する。例えば、画像向き判定装置が出力部（図示せず）を備えている場合であれば、画像向き補正部１０６は、補正後の入力画像をその出力部に出力してもよい。

例えば、画像向き判定部１０５が入力画像の向きを「０度向き画像」、又は「向き不定」と判断した場合、画像向き補正部１０６は、入力画像の向きの補正を行わない。一方、画像向き判定部１０５が入力画像の向きを「９０度向き画像」と判断した場合、画像向き補正部１０６は、入力画像の向きを時計回りに２７０度回転する補正を行う。同様に、画像向き判定部１０５が入力画像の向きを「１８０度向き画像」と判断した場合、画像向き補正部１０６は、入力画像の向きを時計回りに１８０度回転する補正を行う。また、画像向き判定部１０５が入力画像の向きを「２７０度向き画像」と判断した場合、画像向き補正部１０６は、入力画像の向きを時計回りに９０度回転する補正を行う。例えば、画像向き判定装置が出力部（図示せず）を備えている場合であれば、画像向き補正部１０６は、補正後の入力画像をその出力部に出力してもよい。

画像特徴量抽出部１０１、画像向き判定実行決定部１０３、画像向き判定部１０５及び画像向き補正部１０６は、例えば、プログラム（画像向き判定プログラム）に従って動作する画像向き判定装置のＣＰＵによって実現される。例えば、プログラムは、画像向き判定装置の記憶手段（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み取り、プログラムに従って画像特徴量抽出部１０１、画像向き判定実行決定部１０３、画像向き判定部１０５及び画像向き補正部１０６として動作してもよい。

次に、動作について説明する。図５は、第２の実施形態における画像向き判定処理の例を示すフローチャートである。図３の例に示す、入力画像の画像特徴量を抽出してから画像の向きを決定するまでの処理（ステップＳ１１〜Ｓ１８）は、第１の実施形態と同様である。以下の説明では、画像向き判定部１０５が決定する所定の画像の向きが、「０度向き画像」、「９０度向き画像」、「１８０度向き画像」、「２７０度向き画像」及び「向き不定」である場合について説明するが、画像向き判定部１０５が決定する所定の画像の向きは、これらの場合に限定されない。

画像向き補正部１０６は、画像向き判定部１０５が所定の画像の向きを決定すると（ステップＳ１９）、その画像の向きが「９０度向き画像」か否か判定する（ステップＳ２０）。

その画像の向きが「９０度向き画像」の場合（ステップＳ２０におけるＹＥＳ）、画像向き補正部１０６は、補正する角度を「２７０度」と決定する（ステップＳ２０１）。一方、その画像の向きが「９０度向き画像」でない場合（ステップＳ２０におけるＮＯ）、画像向き補正部１０６は、その画像の向きが「１８０度向き画像」か否か判定する（ステップＳ２１）。

その画像の向きが「１８０度向き画像」の場合（ステップＳ２１におけるＹＥＳ）、画像向き補正部１０６は、補正する角度を「１８０度」と決定する（ステップＳ２１１）。一方、その画像の向きが「１８０度向き画像」でない場合（ステップＳ２１におけるＮＯ）、画像向き補正部１０６は、その画像の向きが「２７０度向き画像」か否か判定する（ステップＳ２２）。

その画像の向きが「２７０度向き画像」の場合（ステップＳ２２におけるＹＥＳ）、画像向き補正部１０６は、補正する角度を「９０度」と決定する（ステップＳ２２１）。一方、その画像の向きが「２７０度向き画像」でない場合（ステップＳ２２におけるＮＯ）、画像向き補正部１０６は、補正する角度を「０度」と決定する（ステップＳ２２２）。

本実施形態では、画像向き判定部１０５が決定する画像の向きが、「０度」、「９０度」、「１８０度」、「２７０度」である場合について説明したが、画像向き判定部１０５が決定する画像の向きは、これらの向きに限定されない。例えば、画像向き判定部１０５が決定した画像の向きがＸ度であるとすると、画像向き補正部１０６は、補正する角度を「（３６０−Ｘ）度」と決定すればよい。

図６は、補正する角度と補正される入力画像の関係の例を示す説明図である。画像向き補正部１０６は、補正する角度が決定すると、その角度に応じて入力画像の補正を行う（ステップＳ２３）。

本発明によれば、実施形態１の効果に加え、決定した画像の向きに基づいて入力画像の向きを補正するので、画像閲覧時の画像の見にくさを抑制できる。

実施形態３．
図７は、本発明による第３の実施形態における画像向き判定装置の例を示すブロック図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。本実施形態による画像向き判定装置は、図３に示す画像特徴量抽出部１０１と、学習特徴量記憶部１０２と、画像向き判定実行決定部１０３と、向き毎特徴量記憶部１０４と、画像向き判定部１０５とを備え、さらに、特徴量登録部１０７を備える。

特徴量登録部１０７は、画像向き判定部１０５が判定した画像の向きが誤判定であることを検知すると、誤判定した画像の画像特徴量を、負の教師データとして学習特徴量記憶部１０２に登録する。「誤判定」とは、例えば、画像向き判定部１０５が、画像の向きが既知の画像を使用して入力画像の向きの判定を行い、その判定結果についての向きが入力画像の向きと異なることが判明した判定のことをいう。また、「誤判定した画像」とは、画像向き判定部１０５による向き判定と、実際の画像向きが異なる入力画像を意味する。

例えば、入力画像の向きが事前に与えられている場合であれば、特徴量登録部１０７は、その画像の向きと判定結果の向きとを比較して、誤判定であることを検知してもよい。また、画像向き判定装置が入力装置（図示せず）を備えている場合であれば、例えば、画像向き判定装置の利用者が、その入力装置を介して誤判定であること（例えば、判定結果が入力画像の向きと異なること）を入力したときに、特徴量登録部１０７は誤判定を検知してもよい。または、例えば、特徴量登録部１０７は、画像向き判定装置の利用者が、その入力装置を介して判定後の画像を補正したことを検知したときに、誤判定を検知してもよい。なお、検知方法は上記方法に限定されない。

画像特徴量抽出部１０１、画像向き判定実行決定部１０３、画像向き判定部１０５及び特徴量登録部１０７は、例えば、プログラム（画像向き判定プログラム）に従って動作する画像向き判定装置のＣＰＵによって実現される。例えば、プログラムは、画像向き判定装置の記憶手段（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み取り、プログラムに従って画像特徴量抽出部１０１、画像向き判定実行決定部１０３、画像向き判定部１０５及び特徴量登録部１０７として動作してもよい。

本発明によれば、実施形態１の効果に加え、画像向き判定装置が、決定した画像の向きが不適であることを検知する。このときに、入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量を、負教師画像の画像特徴量として学習特徴量記憶部１０２に登録する。よって、入力画像の画像向き判定を行うか否か判断する精度を高めることができる。

次に、第３の実施形態の変形例について説明する。第３の実施形態では、画像向き判定部１０５が誤判定した画像の画像特徴量を、特徴量登録部１０７が負の教師データとして学習特徴量記憶部１０２に登録する。さらに、特徴量登録部１０７は、その誤判定した画像の向きの類似度と、その画像の向きとは別の向きの類似度の差を算出し、その類似度の差が所定の値（以下、特徴量追加判定値と記す。）以下の場合に、その画像を負の教師画像として、その画像特徴量を新たに追加してもよい。例えば、画像向き判定部１０５が誤判定した場合、判定結果の画像の向き（すなわち、誤判定の画像の向き）における類似度と、別の画像の向きのうち２番目に高い類似度との差が特徴量追加判定値以下の場合に、その画像を負の教師画像する新たな画像特徴量を追加しても良い。

具体例を用いて、以下に詳述する。例えば、ある入力画像において、１番目に高い類似度（例えば９０度向き画像）と２番目に高い類似度（１８０度向き画像）との差が特徴量追加判定値以下である場合を考える。このような入力画像を対象とした場合、判定時にノイズなどの影響などで９０度から１８０度へ変動する可能性が高く、不安定な結果を引き起こす可能性が高い。そのため、このような入力画像及び類似した画像（ここでは、２番目に高い類似度を有する画像）に対しては、向き判定を行わない方がよい。

よって、このような入力画像及び類似した画像を負の教師画像として登録することで、不安定な判定結果、すなわち、誤判定がされることを抑制できる。

図８は、本発明における画像向き判定装置の概要を示すブロック図である。本発明による画像向き判定装置は、画像に含まれる各構成要素の配置の特徴を表す画像特徴量（例えば、画像の構図（レイアウト）に関する特徴量）を入力画像から抽出する画像特徴量抽出手段８１（例えば、画像特徴量抽出部１０１）と、画像の向きの判定に適した画像である正教師画像の画像特徴量（例えば、正の教師データ）と判定に不適な画像である負教師画像の画像特徴量（例えば、負の教師データ）とを記憶する画像特徴量記憶手段８２（例えば、学習特徴量記憶部１０２）と、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段８３（例えば、向き毎特徴量記憶部１０４）と、画像特徴量抽出手段８１が抽出した入力画像の画像特徴量と画像特徴量記憶手段８２に記憶された正教師画像及び負教師画像の画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出手段８４（画像向き判定実行決定部１０３）と、入力画像の画像特徴量と正教師画像の画像特徴量との教師画像類似度である正教師類似度（例えば、「類似度」）が所定の第一の閾値（例えば、正教師閾値）よりも高い場合に入力画像の向きを判定すると決定し、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度である負教師類似度（例えば、「不向き類似度」）が所定の第二の閾値（例えば、負教師閾値）以上の場合に入力画像の向きを判定しないと決定する画像向き判定決定手段８５（例えば、画像向き判定実行決定部１０３）と、画像向き判定決定手段８５が入力画像の向きを判定すると決定した場合に、入力画像の画像特徴量と向き毎特徴量記憶手段８３に記憶された画像特徴量との類似の程度を示す向き類似度を算出し、算出した向き類似度が所定の要件（例えば、最も高い類似度）を満たす場合に、向き毎特徴量記憶手段８３に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定手段８６（例えば、画像向き判定部１０５）とを備えている。

そのような構成により、画像の向きの判定誤りを抑えることができる。

また、上記実施形態には、画像向き決定手段８６が決定した画像の向きに基づいて入力画像の向きを補正する画像向き補正手段（例えば、画像向き補正部１０６）を備えた構成が開示されている。

そのような構成により、画像閲覧時の画像の見にくさを抑制できる。

また、画像向き決定手段８６が、所定の要件を満たす場合として、画像特徴量の向き類似度が最も高い場合に、向き毎特徴量記憶手段８３に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定してもよい。

また、画像特徴量記憶手段８２が、正教師画像及び負教師画像の所定の一方向の向きに対する画像特徴量を記憶し、画像類似度算出手段８４が、画像特徴量をもとに他方向の向きに対する画像特徴量を算出して教師画像類似度を算出してもよい。

また、上記実施形態には、画像向き決定手段８６が決定した画像の向きが実際の入力画像の向きと異なっていることを検知する検知手段（例えば、特徴量登録部１０７）と、検知手段が、入力画像の向きが異なっていることを検知したときに、画像向き決定手段８６が入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量を、負教師画像の画像特徴量として画像特徴量記憶手段８２に登録する負教師情報登録手段（例えば、特徴量登録部１０７）を備えた構成が開示されている。

そのような構成により、入力画像の画像向き判定を行うか否か判断する精度を高めることができる。

また、負教師情報登録手段は、画像向き決定手段８６が入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量の向き類似度と、画像の向きとは別の向きの画像特徴量との向き類似度の差を算出し、その向き類似度の差が所定の値（例えば、特徴量追加判定値）以下の場合に、別の向きの画像特徴量を負教師画像の画像特徴量として画像特徴量記憶手段に登録してもよい。

このようにすることで、不安定な判定結果、すなわち、誤判定がされることを抑制できる。

また、画像特徴量記憶手段８２が、正教師画像及び負教師画像の両方の画像特徴量を記憶し、画像類似度算出手段８４が、正教師類似度及び負教師類似度を算出し、画像向き判定決定手段８５が、負教師類似度が所定の第二の閾値よりも高い場合であって、正教師類似度と負教師類似度の差分または比率が所定の値（例えば、正負差判定値）以上の場合に、入力画像の向きを判定すると決定してもよい。

このようにすることで、所定の値（例えば、正教師閾値及び負教師閾値）のみと比較する場合に比べ、正負の教師データを比較した相対的な判定を行うことができるため、より判定の精度を上げることができる。

また、画像特徴量記憶手段８２が、空と草木、空と水面、空と花、空と雪、夕焼け空の少なくともいずれかの構図の画像の画像特徴量を正教師画像の画像特徴量として記憶してもよい。

また、画像特徴量記憶手段８２が、マクロ撮影の構図の画像から抽出される画像特徴量を負教師画像の画像特徴量として記憶してもよい。

また、向き毎特徴量記憶手段８３が、画像特徴量記憶手段８２に記憶されている画像特徴量のうち正教師画像の画像特徴量を画像特徴量として記憶してもよい。

また、画像特徴量記憶手段８２が、画像の向きの判定に不適な画像である負教師画像の画像特徴量（例えば、負の教師データ）を記憶していてもよい。この場合、画像類似度算出手段８４は、画像特徴量抽出手段８１が抽出した入力画像の画像特徴量と画像特徴量記憶手段８２に記憶された負教師画像の画像特徴量との類似の程度を示す教師画像類似度（例えば、「不向き類似度」）を算出し、画像向き判定決定手段８５は、入力画像の画像特徴量と負教師画像の画像特徴量との教師画像類似度が、所定の閾値（例えば、負教師閾値）以上の場合に入力画像の向きを判定しないと決定し、所定の閾値未満の場合に入力画像の向きを判定すると決定すればよい。

また、画像特徴量記憶手段８２が、画像の向きの判定に適した画像である正教師画像の画像特徴量（例えば、正の教師データ）を記憶していてもよい。この場合、画像類似度算出手段８４は、画像特徴量抽出手段８１が抽出した入力画像の画像特徴量と画像特徴量記憶手段８２に記憶された正教師画像の画像特徴量との類似の程度を示す教師画像類似度（例えば、「類似度」）を算出し、画像向き判定決定手段８５は、入力画像の画像特徴量と正教師画像の画像特徴量との教師画像類似度が所定の閾値（例えば、正教師閾値）よりも高い場合に入力画像の向きを判定すると決定すればよい。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００８年１１月６日に出願された日本特許出願２００８−２８４９７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、画像の向きを判定する画像向き判定装置に好適に適用される。

１０１ 画像特徴量抽出部
１０２ 学習特徴量記憶部
１０３ 画像向き判定実行決定部
１０４ 向き毎特徴量記憶部
１０５ 画像向き判定部
１０６ 画像向き補正部
１０７ 特徴量登録部

Claims (33)

1. 画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出手段と、
   画像の向きの判定に適した画像である正教師画像の画像特徴量と当該判定に不適な画像である負教師画像の画像特徴量とを記憶する画像特徴量記憶手段と、
   正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段と、
   前記画像特徴量抽出手段が抽出した入力画像の画像特徴量と前記画像特徴量記憶手段に記憶された正教師画像及び負教師画像の画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出手段と、
   前記入力画像の画像特徴量と前記正教師画像の画像特徴量との教師画像類似度である正教師類似度が所定の第一の閾値よりも高い場合に前記入力画像の向きを判定すると決定し、前記入力画像の画像特徴量と前記負教師画像の画像特徴量との教師画像類似度である負教師類似度が所定の第二の閾値以上の場合に前記入力画像の向きを判定しないと決定する画像向き判定決定手段と、
   前記画像向き判定決定手段が前記入力画像の向きを判定すると決定した場合に、当該入力画像の画像特徴量と前記向き毎特徴量記憶手段に記憶された画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、前記向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定手段とを備えた
   ことを特徴とする画像向き判定装置。
2. 画像向き決定手段が決定した画像の向きに基づいて入力画像の向きを補正する画像向き補正手段を備えた
   請求項１記載の画像向き判定装置。
3. 画像向き決定手段は、所定の要件を満たす場合として、画像特徴量の向き類似度が最も高い場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する
   請求項１または請求項２に記載の画像向き判定装置。
4. 画像特徴量記憶手段は、正教師画像及び負教師画像の所定の一方向の向きに対する画像特徴量を記憶し、
   画像類似度算出手段は、前記画像特徴量をもとに他方向の向きに対する画像特徴量を算出して教師画像類似度を算出する
   請求項１から請求項３のいずれか１項に記載の画像向き判定装置。
5. 画像向き決定手段が決定した画像の向きが実際の入力画像の向きと異なっていることを検知する検知手段と、
   前記検知手段が、前記入力画像の向きが異なっていることを検知したときに、画像向き決定手段が入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量を、負教師画像の画像特徴量として画像特徴量記憶手段に登録する負教師情報登録手段を備えた
   請求項１から請求項４のいずれか１項に記載の画像向き判定装置。
6. 負教師情報登録手段は、画像向き決定手段が入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量の向き類似度と、当該画像の向きとは別の向きの画像特徴量との向き類似度の差を算出し、その向き類似度の差が所定の値以下の場合に、当該別の向きの画像特徴量を負教師画像の画像特徴量として画像特徴量記憶手段に登録する
   請求項５に記載の画像向き判定装置。
7. 画像特徴量記憶手段は、正教師画像及び負教師画像の両方の画像特徴量を記憶し、
   画像類似度算出手段は、正教師類似度及び負教師類似度を算出し、
   画像向き判定決定手段は、負教師類似度が所定の第二の閾値よりも高い場合であって、正教師類似度と負教師類似度の差分または比率が所定の値以上の場合に、入力画像の向きを判定すると決定する
   請求項１から請求項６のいずれか１項に記載の画像向き判定装置。
8. 画像特徴量記憶手段は、空と草木、空と水面、空と花、空と雪、夕焼け空の少なくともいずれかの構図の画像の画像特徴量を正教師画像の画像特徴量として記憶する
   請求項１から請求項７のいずれか１項に記載の画像向き判定装置。
9. 画像特徴量記憶手段は、マクロ撮影の構図の画像から抽出される画像特徴量を負教師画像の画像特徴量として記憶する
   請求項１から請求項８のいずれか１項に記載の画像向き判定装置。
10. 向き毎特徴量記憶手段は、画像特徴量記憶手段に記憶されている画像特徴量のうち正教師画像の画像特徴量を画像特徴量として記憶する
    請求項１から請求項９のいずれか１項に記載の画像向き判定装置。
11. 画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出手段と、
    画像の向きの判定に不適な画像である負教師画像の画像特徴量を記憶する画像特徴量記憶手段と、
    画像の向きの判定に適した画像である正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段と、
    前記画像特徴量抽出手段が抽出した入力画像の画像特徴量と前記画像特徴量記憶手段に記憶された負教師画像の画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出手段と、
    前記入力画像の画像特徴量と前記負教師画像の画像特徴量との教師画像類似度が、所定の閾値以上の場合に前記入力画像の向きを判定しないと決定し、所定の閾値未満の場合に前記入力画像の向きを判定すると決定する画像向き判定決定手段と、
    前記画像向き判定決定手段が前記入力画像の向きを判定すると決定した場合に、当該入力画像の画像特徴量と前記向き毎特徴量記憶手段に記憶された画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、前記向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定手段とを備えた
    ことを特徴とする画像向き判定装置。
12. 画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出し、
    抽出された入力画像の画像特徴量と、画像の向きの判定に適した画像である正教師画像の画像特徴量と当該判定に不適な画像である負教師画像の画像特徴量とを記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出し、
    前記入力画像の画像特徴量と前記正教師画像の画像特徴量との教師画像類似度である正教師類似度が所定の第一の閾値よりも高い場合に前記入力画像の向きを判定すると決定し、前記入力画像の画像特徴量と前記負教師画像の画像特徴量との教師画像類似度である負教師類似度が所定の第二の閾値以上の場合に前記入力画像の向きを判定しないと決定し、
    前記入力画像の向きを判定すると決定された場合に、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された当該画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、前記向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する
    ことを特徴とする画像向き判定方法。
13. 決定された入力画像の向きに基づいて入力画像の向きを補正する
    請求項１２に記載の画像向き判定方法。
14. 所定の要件を満たす場合として、画像特徴量の向き類似度が最も高い場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する
    請求項１２または請求項１３に記載の画像向き判定方法。
15. 画像特徴量記憶手段に記憶された正教師画像及び負教師画像の所定の一方向の向きに対する画像特徴量をもとに、他の方向の向きに対する画像特徴量を算出して教師画像類似度を算出する
    請求項１２から請求項１４のいずれか１項に記載の画像向き判定方法。
16. 決定された画像の向きが実際の入力画像の向きと異なっていることを検知し、
    前記入力画像の向きが異なっていることを検知したときに、入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量を、負教師画像の画像特徴量として画像特徴量記憶手段に登録する
    請求項１２から請求項１５のいずれか１項に記載の画像向き判定方法。
17. 入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量の向き類似度と、当該画像の向きとは別の向きの画像特徴量との向き類似度の差を算出し、その向き類似度の差が所定の値以下の場合に、当該別の向きの画像特徴量を負教師画像の画像特徴量として画像特徴量記憶手段に登録する
    請求項１６に記載の画像向き判定方法。
18. 画像特徴量記憶手段に記憶された正教師画像及び負教師画像の両方の画像特徴量をもとに正教師類似度及び負教師類似度を算出し、
    負教師類似度が所定の第二の閾値よりも高い場合であって、正教師類似度と負教師類似度の差分または比率が所定の値以上の場合に、入力画像の向きを判定すると決定する
    請求項１２から請求項１７のいずれか１項に記載の画像向き判定方法。
19. 抽出された入力画像の画像特徴量と、画像特徴量記憶手段に記憶された正教師画像である空と草木、空と水面、空と花、空と雪、夕焼け空の少なくともいずれかの構図の画像の画像特徴量との類似度を算出する
    請求項１２から請求項１８のいずれか１項に記載の画像向き判定方法。
20. 抽出された入力画像の画像特徴量と画像特徴量記憶手段に記憶された負教師画像であるマクロ撮影の構図の画像の画像特徴量との類似度を算出する
    請求項１２から請求項１９のいずれか１項に記載の画像向き判定方法。
21. 教師画像として正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段を用いて入力画像の向きを決定する
    請求項１２から請求項２０のいずれか１項に記載の画像向き判定方法。
22. 画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出し、
    抽出された入力画像の画像特徴量と、画像の向きの判定に不適な画像である負教師画像の画像特徴量を記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出し、
    前記入力画像の画像特徴量と前記負教師画像の画像特徴量との教師画像類似度が所定の閾値以上の場合に前記入力画像の向きを判定しないと決定し、所定の閾値未満の場合に前記入力画像の向きを判定すると決定し、
    前記入力画像の向きを判定すると決定された場合に、画像の向きの判定に適した画像である正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された当該画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、前記向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する
    ことを特徴とする画像向き判定方法。
23. コンピュータに、
    画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出処理、
    前記画像特徴量抽出処理で抽出した入力画像の画像特徴量と、画像の向きの判定に適した画像である正教師画像の画像特徴量と当該判定に不適な画像である負教師画像の画像特徴量とを記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出処理、
    前記入力画像の画像特徴量と前記正教師画像の画像特徴量との教師画像類似度である正教師類似度が所定の第一の閾値よりも高い場合に前記入力画像の向きを判定すると決定し、前記入力画像の画像特徴量と前記負教師画像の画像特徴量との教師画像類似度である負教師類似度が所定の第二の閾値以上の場合に前記入力画像の向きを判定しないと決定する画像向き判定決定処理、および、
    前記画像向き判定決定処理で前記入力画像の向きを判定すると決定した場合に、正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された当該画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、前記向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定処理
    を実行させるための画像向き判定プログラム。
24. コンピュータに、
    画像向き決定処理で決定した画像の向きに基づいて入力画像の向きを補正する画像向き補正処理を実行させる
    請求項２３に記載の画像向き判定プログラム。
25. コンピュータに、
    画像向き決定処理で、所定の要件を満たす場合として、画像特徴量の向き類似度が最も高い場合に、向き毎特徴量記憶手段に記憶された画像特徴量に対応する教師画像の向きに応じて入力画像の向きを決定させる
    請求項２３または請求項２４に記載の画像向き判定プログラム。
26. コンピュータに、
    画像類似度算出処理で、画像特徴量記憶手段に記憶された正教師画像及び負教師画像の所定の一方向の向きに対する画像特徴量をもとに、他の方向の向きに対する画像特徴量を算出して教師画像類似度を算出させる
    請求項２３から請求項２５のいずれか１項に記載の画像向き判定プログラム。
27. コンピュータに、
    画像向き決定処理で決定した画像の向きが実際の入力画像の向きと異なっていることを検知する検知処理、および、
    前記検知処理で、前記入力画像の向きが異なっていることを検知したときに、画像向き決定処理で入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量を、負教師画像の画像特徴量として画像特徴量記憶手段に登録する負教師情報登録処理を実行させる
    請求項２３から請求項２６のいずれか１項に記載の画像向き判定プログラム。
28. コンピュータに、
    負教師情報登録処理で、画像向き決定処理で入力画像の向きを決定する際に使用した正教師画像の向きに対応する画像特徴量の向き類似度と、当該画像の向きとは別の向きの画像特徴量との向き類似度の差を算出し、その向き類似度の差が所定の値以下の場合に、当該別の向きの画像特徴量を負教師画像の画像特徴量として画像特徴量記憶手段に登録させる
    請求項２７に記載の画像向き判定プログラム。
29. コンピュータに、
    画像類似度算出処理で、画像特徴量記憶手段に記憶された正教師画像及び負教師画像の両方の画像特徴量をもとに正教師類似度及び負教師類似度を算出させ、
    画像向き判定決定処理で、負教師類似度が所定の第二の閾値よりも高い場合であって、正教師類似度と負教師類似度の差分または比率が所定の値以上の場合に、入力画像の向きを判定すると決定させる
    請求項２３から請求項２８のいずれか１項に記載の画像向き判定プログラム。
30. コンピュータに、
    画像類似度算出処理で、画像特徴量処理で抽出した入力画像の画像特徴量と、画像特徴量記憶手段に記憶された正教師画像である空と草木、空と水面、空と花、空と雪、夕焼け空の少なくともいずれかの構図の画像の画像特徴量との類似度を算出させる
    請求項２３から請求項２９のいずれか１項に記載の画像向き判定プログラム。
31. コンピュータに、
    画像類似度算出処理で、画像特徴量処理で抽出した入力画像の画像特徴量と画像特徴量記憶手段に記憶された負教師画像であるマクロ撮影の構図の画像の画像特徴量との類似度を算出させる
    請求項２３から請求項３０のいずれか１項に記載の画像向き判定プログラム。
32. コンピュータに、
    画像向き決定処理で、教師画像として正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段を用いて入力画像の向きを決定させる
    請求項２３から請求項３１のいずれか１項に記載の画像向き判定プログラム。
33. コンピュータに、
    画像に含まれる各構成要素の配置の特徴を表す画像特徴量を入力画像から抽出する画像特徴量抽出処理、
    前記画像特徴量抽出処理で抽出した入力画像の画像特徴量と、画像の向きの判定に不適な画像である負教師画像の画像特徴量を記憶する画像特徴量記憶手段に記憶された画像特徴量との類似の程度を示す教師画像類似度を算出する画像類似度算出処理、
    前記入力画像の画像特徴量と前記負教師画像の画像特徴量との教師画像類似度が所定の閾値以上の場合に前記入力画像の向きを判定しないと決定し、所定の閾値未満の場合に前記入力画像の向きを判定すると決定する画像向き判定決定処理、および、
    前記画像向き判定決定処理で前記入力画像の向きを判定すると決定した場合に、画像の向きの判定に適した画像である正教師画像の向きと画像特徴量とを対応付けて記憶する向き毎特徴量記憶手段に記憶された当該画像特徴量と、入力画像の画像特徴量との類似の程度を示す向き類似度を算出し、当該算出した向き類似度が所定の要件を満たす場合に、前記向き毎特徴量記憶手段に記憶された当該画像特徴量に対応する正教師画像の向きに応じて入力画像の向きを決定する画像向き決定処理
    を実行させるための画像向き判定プログラム。

Images