JPWO2008044524A1 - 画像分類プログラム、画像分類装置および電子カメラ - Google Patents

Abstract

画像分類プログラムは、画像の画素濃度に基づく特徴量を算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。

Description

本発明は、画像分類プログラム、画像分類装置および電子カメラに関する。

画像を分類する技術が知られている（特許文献１参照）。

特開平１１−１３４３４４号公報

従来技術では、類似の画像検索をあらかじめ人為的に行い、検索した画像にマークしておく必要があった。

本発明の第１の態様によると、画像分類プログラムは、画像の画素濃度に基づく特徴量を算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。
本発明の第２の態様によると、第１の態様の画像分類プログラムにおいて、第１処理は、画像全体の画素濃度に基づいて特徴量を算出することもできる。
本発明の第３の態様によると、第１の態様または第２の態様の画像分類プログラムにおいて、第１処理は、画像を分割した異なる領域の画素濃度に基づいて複数の特徴量をそれぞれ算出することもできる。
本発明の第４の態様によると、第３の態様の画像分類プログラムにおいて、第１処理は、異なる領域の画素濃度に基づいて算出した複数の特徴量の比を新たな特徴量として算出することもできる。
本発明の第５の態様によると、画像分類プログラムは、画像撮影時の測距情報に基づく特徴量を算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。
本発明の第６の態様によると、第５の態様の画像分類プログラムにおいて、第１処理は、画像を分割した異なる領域の測距情報に基づいて複数の特徴量をそれぞれ算出することもできる。
本発明の第７の態様によると、画像分類プログラムは、画像の画素濃度に基づく第１特徴量を算出する第１処理と、画像撮影時の測距情報に基づく第２特徴量を算出する第２処理と、第１特徴量および第２特徴量が表す空間でクラスタリングを行う第３処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第４処理とをコンピュータ装置に実行させる。
本発明の第８の態様によると、画像分類プログラムは、画像撮影時の主要被写体についての測距情報に基づく特徴量を算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。
本発明の第９の態様によると、画像分類プログラムは、画像撮影時の背景についての測距情報に基づく特徴量を算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。
本発明の第１０の態様によると、画像分類プログラムは、画像撮影時の主要被写体についての測距情報の変化量に基づく特徴量を算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。
本発明の第１１の態様によると、画像分類プログラムは、画像撮影時の主要被写体についての画素濃度の変化量に基づく特徴量を算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。
本発明の第１２の態様によると、画像分類プログラムは、画像の画素濃度、画像撮影時の測距情報、画像撮影時の主要被写体についての測距情報、画像撮影時の背景についての測距情報、画像撮影時の主要被写体についての測距情報の変化量、および画像撮影時の主要被写体についての画素濃度の変化量のうち、少なくとも２つに基づく特徴量をそれぞれ算出する第１処理と、特徴量が表す空間でクラスタリングを行う第２処理と、クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させる。
本発明の第１３の態様によると、画像分類装置は、第１の態様〜第１２の態様のいずれかの態様の画像分類プログラムを搭載する。
本発明の第１４の態様によると、電子カメラは、第１の態様〜第１２の態様のいずれかの態様の画像分類プログラムを搭載する。

本発明によれば、人手によらずに画像を分類できる。

本発明の一実施の形態による電子カメラの要部構成を説明するブロック図である。 画像分類処理の流れを説明するフローチャートである。 第一の実施形態による特徴量算出処理の流れを説明するフローチャートである。 第一の実施形態による電子カメラの焦点検出領域を説明する図である。 クラスタリング処理の流れを説明するフローチャートである。 第一の実施形態による分類処理後の画像ファイルを説明する図である。 第二の実施形態による特徴量算出処理の流れを説明するフローチャートである。 第二の実施形態による電子カメラの焦点検出領域を説明する図である。 第二の実施形態による分類処理後の画像ファイルを説明する図である。 コンピュータ装置を例示する図である。

（第一の実施形態）
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の第一の実施形態による電子カメラ１の要部構成を説明するブロック図である。電子カメラ１は、メインＣＰＵ１１によって制御される。

撮影レンズ２１は、撮像素子２２の撮像面上に被写体像を結像させる。撮像素子２２はＣＣＤイメージセンサなどで構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路２３へ出力する。撮像素子２２の撮像面には、それぞれＲ（赤）、Ｇ（緑）およびＢ（青）のカラーフィルタが画素位置に対応するように設けられている。撮像素子２２がカラーフィルタを通して被写体像を撮像するため、撮像素子２２から出力される光電変換信号は、ＲＧＢ表色系の色情報を有する。

撮像回路２３は、撮像素子２２から出力される光電変換信号に対するアナログ処理（ゲインコントロールなど）を行う他、内蔵するＡ／Ｄ変換回路でアナログ撮像信号をディジタルデータに変換する。

メインＣＰＵ１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路１２は、たとえばＡＳＩＣとして構成され、撮像回路２３から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理が含まれる。

画像圧縮回路１３は、画像処理回路１２による処理後の画像信号に対して、JPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路１５は、撮像画像を液晶モニタ１６に表示させるための表示データを作成する。

記録媒体３０は、電子カメラ１に対して着脱可能なメモリカードなどで構成される。記録媒体３０には、メインＣＰＵ１１からの指示によって撮影画像のデータおよびその情報を含む画像ファイルが記録される。記録媒体３０に記録された画像ファイルは、メインＣＰＵ１１からの指示によって読み出しが可能である。

バッファメモリ１４は、画像処理前後および画像処理途中のデータを一時的に格納する他、記録媒体３０へ記録する前の画像ファイルを格納したり、記録媒体３０から読み出した画像ファイルを格納したりするために使用される。

操作部材１７は、電子カメラ１の各種ボタンやスイッチ類を含み、レリーズボタンの押下操作、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインＣＰＵ１１へ出力する。

焦点検出装置１８は、焦点検出領域に対応する光束を用いて、周知の位相差検出方式によって撮影レンズ２１による焦点調節状態の検出を行う。具体的には、焦点検出光学系（不図示）を介して一対の被写体像をオートフォーカスセンサ（不図示）上に結像させる。メインＣＰＵ１１は、センサ上の一対の被写体像の相対間隔に基づいて撮影レンズ２１による焦点位置の調節状態（デフォーカス量）を算出する。

レンズ駆動機構１９は、メインＣＰＵ１１からの指示によって撮影レンズ２１を構成するフォーカスレンズ（不図示）を光軸方向に進退移動させる。これにより、ピント調節が行われる。

電子カメラ１は、撮影モードと再生モードとを切替え可能に構成される。撮影モードは、被写体像を撮影し、撮影画像のデータを記録媒体３０に画像ファイルとして保存する動作モードである。再生モードは、撮影済みの画像データを記録媒体３０から読み出すなどして、画像データによる再生画像を液晶モニタ１６に表示するモードである。

＜撮影画像分類処理＞
本実施形態の電子カメラ１は、撮影画像を自動的に分類する機能を備える。具体的には、記録媒体３０に記録済みの画像ファイルに対して分類処理を行い、分類後の画像ファイルをグループごとに設けたフォルダ内に格納する。電子カメラ１のメインＣＰＵ１１は、操作部材１７から分類処理実行を指示する操作信号が入力されると、画像分類処理を開始する。

図２は、メインＣＰＵ１１が行う画像分類処理の流れを説明するフローチャートである。図２のステップＳ１１において、メインＣＰＵ１１は、記録媒体３０から画像ファイルを読み出し、当該ファイル内の画像データをバッファメモリ１４に展開させてステップＳ１２へ進む。画像ファイルの読み出しは、あらかじめ指示されているフォルダから順に読み出す方式と、記録媒体３０内の全フォルダから順に読み出す方式とが操作部材１７からの操作信号によって選択可能に構成されている。

ステップＳ１２において、メインＣＰＵ１１は、バッファメモリ１４上の画像データについての特徴量を算出してステップＳ１３へ進む。特徴量算出処理の詳細については後述する。ステップＳ１３において、メインＣＰＵ１１は、全画像について特徴量を算出したか否かを判定する。メインＣＰＵ１１は、読み出しが指示された全ての画像ファイルについて、その読み出しおよび特徴量の算出を行った場合にステップＳ１３を肯定判定してステップＳ１４へ進む。メインＣＰＵ１１は、画像ファイルの読み出しおよび特徴量の算出を行っていない画像ファイルが存在する場合にはステップＳ１３を否定判定し、ステップＳ１１へ戻る。ステップＳ１１へ戻る場合は、画像ファイルの読み出しと特徴量の算出処理とを繰り返す。

ステップＳ１４において、メインＣＰＵ１１はクラスタリング処理を行ってステップＳ１５へ進む。クラスタリング処理の詳細については後述する。ステップＳ１５において、メインＣＰＵ１１は、記録媒体３０内の所定領域にクラスタリング処理後のクラスター数に応じた複数のフォルダを生成してステップＳ１６へ進む。ステップＳ１６において、メインＣＰＵ１１は、各クラスターに対応するフォルダ内へ画像ファイルを移動させる。具体的には、各クラスター内に含まれている特徴データに対応する画像ファイルを、それぞれ対応するフォルダ内へ移動させて図２による処理を終了する。この処理により、記録媒体３０内の複数の画像ファイルが分類され、生成したフォルダ内にそれぞれ移動される。

特徴量算出処理の詳細について、図３に例示するフローチャートを参照して説明する。図３のステップＳ３１において、メインＣＰＵ１１は、画像上部のＢ成分Ｂｈと画像下部のＢ成分Ｂｔとの比（＝Ｂｈ／Ｂｔ）を算出してステップＳ３２へ進む。Ｂｈは、画像を構成する画素データのうち、たとえば画像の上から略１／３の領域に対応する画素データのＢ成分の濃度値（たとえば８ビット階調の場合に０〜２５５）の平均である。また、Ｂｔは、画像を構成する画素データのうち、たとえば画像の下から略１／３の領域に対応する画素データのＢ成分の濃度値の平均である。

ステップＳ３２において、メインＣＰＵ１１はエッジ情報Ｅを算出してステップＳ３３へ進む。エッジ情報Ｅは、画像を構成する画素データのうち、Ｇ成分にエッジ抽出用のフィルタ処理を施した上で隣接画素間のデータの差分を算出したものである。具体的には、Ｇ成分画像に対して画素単位でsobelオペレータと呼ばれる係数行列（次式（１）および次式（２））を用いたエッジ抽出を行う。

上式（１）は画素並びのＸ方向についてのオペレータであり、上式（２）は画素並びのＹ方向についてのオペレータである。上記オペレータによるエッジ抽出後の画像に対してさらに、隣接画素間でそれぞれ濃度差（濃度値の差）の絶対値を算出し、これら絶対値の総和をエッジ情報Ｅとする。

ステップＳ３３において、メインＣＰＵ１１は、Ｂ成分の平均濃度Ｂｍを算出してステップＳ３４へ進む。メインＣＰＵ１１は、画像を構成する全画素データの中でＢ成分の濃度値（たとえば８ビット階調の場合に０〜２５５）の平均を算出する。

ステップＳ３４において、メインＣＰＵ１１は、Ｙ成分の平均濃度Ｙｍを算出してステップＳ３５へ進む。Ｙ成分は、次式（３）で算出される輝度情報である。メインＣＰＵ１１は、画像を構成する全画素データの中でＹ成分の濃度値の平均を算出する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …（３）

ステップＳ３５において、メインＣＰＵ１１は、画像上部の距離情報を算出する。図４は、電子カメラ１の焦点検出領域を説明する図である。図４において符号４１〜５１で示される１１箇所のマーク（中抜き四角）が焦点検出領域（フォーカスエリア）に対応する。電子カメラ１は、フォーカスエリアのそれぞれに対応する光束を用いて、撮影画面内の複数箇所でデフォーカス量を検出可能に構成されている。

電子カメラ１で撮影され、記録媒体３０に記録された画像ファイルには、上記撮影画面内の複数箇所でそれぞれ検出されたデフォーカス量を示すデータと、ピント合わせに採用したフォーカスエリアを示すデータとを含む測距情報が、たとえば、Exif情報として記録されている。

メインＣＰＵ１１は、画像ファイル内に記録されている測距情報のうち、たとえば撮影画面の上から略１／３の領域（図４において直線Ｌ１より上側）に含まれるフォーカスエリアに関して取得された測距情報を用いて以下のように距離情報を算出し、ステップＳ３６へ進む。

メインＣＰＵ１１は、たとえば、デフォーカス量によって被写体距離０．５ｍ以下が示されている場合は距離情報を「０」とする。デフォーカス量によって被写体距離０．５ｍ〜２ｍ以下が示されている場合は距離情報を「０．３」とする。デフォーカス量によって被写体距離２ｍ〜５ｍ以下が示されている場合は距離情報を「０．７」とする。デフォーカス量によって被写体距離５ｍ以上が示されている場合は距離情報を「１」とする。

メインＣＰＵ１１は、(1)撮影画面の上から略１／３の領域にピント合わせに採用したフォーカスエリアが存在する場合、当該フォーカスエリアについてのデフォーカス量で示される距離情報を画像上部の距離情報Ｄｈとする。メインＣＰＵ１１は、(2)撮影画面の上から略１／３の領域にピント合わせに採用したフォーカスエリアが存在しない場合、当該領域に含まれる複数のフォーカスエリアについての各デフォーカス量で示される距離情報の平均を画像上部の距離情報Ｄｈとする。

ステップＳ３６において、メインＣＰＵ１１は、画像ファイル内に記録されている測距情報のうち、たとえば撮影画面の上下方向に中央の略１／３の領域（図４において直線Ｌ１およびＬ２間）に含まれるフォーカスエリアに関して取得された測距情報を用いて以下のように距離情報を算出し、ステップＳ３７へ進む。

メインＣＰＵ１１は、(1)撮影画面の中央部略１／３の領域にピント合わせに採用したフォーカスエリアが存在する場合、当該フォーカスエリアについてのデフォーカス量で示される距離情報を画像中部の距離情報Ｄｃとする。メインＣＰＵ１１は、(2)撮影画面の中央部略１／３の領域にピント合わせに採用したフォーカスエリアが存在しない場合、当該領域に含まれる複数のフォーカスエリアについての各デフォーカス量で示される距離情報の平均を画像中部の距離情報Ｄｃとする。

ステップＳ３７において、メインＣＰＵ１１は、画像ファイル内に記録されている測距情報のうち、たとえば撮影画面の下から略１／３の領域（図４において直線Ｌ２より下側）に含まれるフォーカスエリアに関して取得された測距情報を用いて以下のように距離情報を算出し、図３による処理を終了して図２のステップＳ１３へ進む。

メインＣＰＵ１１は、(1)撮影画面の下部略１／３の領域にピント合わせに採用したフォーカスエリアが存在する場合、当該フォーカスエリアについてのデフォーカス量で示される距離情報を画像下部の距離情報Ｄｔとする。メインＣＰＵ１１は、(2)撮影画面の下部略１／３の領域にピント合わせに採用したフォーカスエリアが存在しない場合、当該領域に含まれる複数のフォーカスエリアについての各デフォーカス量で示される距離情報の平均を画像下部の距離情報Ｄｔとする。以上説明した特徴量算出処理により、１画像につき７種の特徴量が算出される。

クラスタリング処理の詳細について、図５に例示するフローチャートを参照して説明する。図５のステップＳ５１において、メインＣＰＵ１１は、１画像（ｎ種の特徴量で示されるｎ次元の特徴空間における１データ）を１クラスターとしてステップＳ５２へ進む。本実施形態では、７種の特徴量Ｂｈ／Ｂｔ、Ｅ、Ｂｍ、Ｙｍ、Ｄｈ、Ｄｃ、Ｄｔで示される７次元空間においてクラスタリングを行う。７次元空間は、各特徴量を示す７つの特徴軸を互いに直交させた仮想空間である。

ステップＳ５２において、メインＣＰＵ１１は、各クラスター間の距離ｄ（Ｒ，Ｑ）を群間平均を算出する次式（４）を用いて算出し、ステップＳ５３へ進む。

ただし、Ｒ、Ｑはそれぞれクラスターを表す。

ステップＳ５３において、メインＣＰＵ１１は、クラスター相互の距離のうち距離最小の一対のクラスターを１つのクラスターに併合してステップＳ５４へ進む。この処理により、クラスター数が減少する。ステップＳ５４において、メインＣＰＵ１１はクラスター数が所定数か否かを判定する。メインＣＰＵ１１は、クラスター数が所定数まで減少した場合にステップＳ５４を肯定判定して図５の処理を終了し、図２のステップＳ１５へ進む。メインＣＰＵ１１は、クラスター数が所定数まで減少していない場合にはステップＳ５４を否定判定し、ステップＳ５２へ戻る。ステップＳ５２へ戻る場合はクラスタリング処理を続行する。

本実施形態では所定数をたとえば６とすることにより、クラスター数が６になるまでクラスタリング処理を行う。この結果、画像ファイルが６つのグループに分類される。クラスタリング処理後のクラスター内に複数のデータが存在する場合、各データに対応する画像ファイルの画像は類似性が高い。

図６は、分類処理後の画像ファイルを説明する図である。分類処理後の６つのクラスターに対応する６つのフォルダの中に、それぞれ対応する画像ファイルによるサムネイル画像を表示している。図６によれば、クラスター１に対応するフォルダに２画像、クラスター２に対応するフォルダに１６画像、クラスター３に対応するフォルダに３画像、クラスター４に対応するフォルダに７画像、クラスター５に対応するフォルダに１画像、クラスター６に対応するフォルダに９画像が含まれている。

図６に例示した６つのグループには、とくにポートレート画像が集まるグループ（クラスター２）と、スポーツシーンの画像が集まるグループ（クラスター４）と、山岳写真の画像が集まるグループ（クラスター６）が存在している。

以上説明した第一の実施形態によれば、以下の作用効果が得られる。
（１）画像を構成する画素データ、および撮影時の測距情報に基づく画像の特徴量によって表される特徴空間において、統計解析手法として周知のクラスタリング処理を行うようにした。クラスタリング処理は分類対象であるデータの集合を複数の部分集合に分割するものであるが、画像を表す特徴量データの集合を複数の部分集合に分割することで、類似度が高い画像の特徴量データの集合（クラスタリング処理後のクラスター）が得られる。クラスター内の各特徴量データに対応する画像をグルーピングすれば類似度が高い画像のグループが得られるため、人手を介さずに全自動で画像分類を行うことができる。

（２）画素データが示す濃度に基づく特徴量（たとえば、Ｂｈ／Ｂｔ、Ｅ、Ｂｍ、Ｙｍ）で表した特徴空間でクラスタリング処理を行うので、濃淡や色合いが類似する画像をグルーピングできる。

（３）撮影画面を分割した複数の領域からそれぞれ画素濃度に基づく特徴量を抽出した（たとえば、Ｂｈ、Ｂｔ）ので、撮影画面の一部に存在する特徴量を用いて画像をグルーピングできる。

（４）複数の異なる領域から抽出された特徴量の比を新たに特徴量とした（たとえば、Ｂｈ／Ｂｔ）ので、領域間のコントラストが類似する画像をグルーピングできる。

（５）撮影時の測距情報に基づく特徴量（たとえば、Ｄｈ、Ｄｃ、Ｄｔ）で表した空間でクラスタリング処理を行うので、被写体距離が類似する画像をグルーピングできる。

（６）撮影画面を分割した複数の領域からそれぞれ測距情報に基づく特徴量を抽出した（たとえば、Ｄｈ、Ｄｃ、Ｄｔ）ので、撮影画面の一部の測距情報を特徴量に用いて画像をグルーピングできる。

（７）撮影画面を分割した領域にピント合わせの対象が存在する場合はその測距情報を当該分割領域の特徴量とし、撮影画面を分割した領域にピント合わせの対象が存在しない場合には当該分割領域内の測距情報の平均を当該分割領域の特徴量とした。これにより、ピントを合わせた主要被写体までの距離が平均されることがなく、近影画像を適切にグルーピングできる。

（８）グルーピング後にグループごとのファイルへ画像ファイルを移動させたので、画像分類後の画像ファイルの扱いが簡単である。たとえば、電子カメラ１から外部機器（パーソナルコンピュータや電子フォトビューワなど）へ分類後の画像ファイルを転送する際にフォルダ単位で転送できる。これにより、外部機器へ全ての画像ファイルを転送する場合に比べて転送時間が短縮される上に、全ての画像ファイルを転送する場合に比べて外部機器側のメモリ使用量を抑えることができる。

（変形例１）
上述した説明では、画像分類後に所定数の画像ファイル格納用フォルダを生成し、分類した画像ファイルを対応するフォルダ内へ移動させる例を説明した。この代わりに、各画像ファイル内に分類後のクラスターを示すタグ（ＴＡＧ）情報を記録しておくようにしてもよい。この場合には、電子カメラ１から外部機器（パーソナルコンピュータや電子フォトビューワなど）へ分類処理後の画像ファイルを転送する際に各画像ファイルのＴＡＧ情報を参照し、クラスターが同一の画像ファイルのみを共通のフォルダへ転送すれば、類似性の高い画像を簡単にまとめることができる。

（変形例２）
画素濃度を用いて算出した特徴量データ、および測距情報を用いて算出した特徴量データの双方を用いてクラスタリングを行う例を説明したが、いずれか一方の特徴量データのみを用いてクラスタリングを行う構成にしてもよい。

（変形例３）
上述した数値（たとえば、特徴量の種類数、画像の上部、中部、下部における１／３領域、ステップＳ５４において判定する所定数、撮影画面内のフォーカスエリア数など）は一例であり、異なる数値を用いても構わない。

（変形例４）
以上の説明では、ＲＧＢ表色系（いわゆる原色系）で表されたカラーの元画像に画像分類処理を行う場合を例に説明したが、ＣＭＹ表色系（いわゆる補色系）で表されたカラーの元画像に対して画像分類処理を行う場合にも本発明を適用して構わない。

（第二の実施形態）
第一の実施形態と異なる特徴量を算出してもよい。図７は、本発明の第二の実施形態による特徴量算出処理の詳細を例示するフローチャートである。図７の処理は、図３の処理に代えて行われる。図７のステップＳ７１において、メインＣＰＵ１１は、主要被写体を対象に測距値（距離情報）を算出する。図８は、本実施形態における電子カメラ１の焦点検出領域を説明する図である。撮影画面内に記した縦６×横９＝５４箇所のマーク（中抜き四角）が焦点検出領域（フォーカスエリア）に対応する。電子カメラ１は、フォーカスエリアのそれぞれに対応する光束を用いて、撮影画面内の複数箇所でデフォーカス量を検出可能に構成されている。

電子カメラ１で撮影され、記録媒体３０に記録された画像ファイルには、オートフォーカス（ＡＦ）調節時に上記撮影画面内の複数箇所でそれぞれ検出されたデフォーカス量を示すデータと、ピント合わせに採用されたフォーカスエリアを示すデータとを含む測距情報が、たとえば、Exif情報として記録されている。

メインＣＰＵ１１は、画像ファイル内に記録されている測距情報のうち、たとえばピント合わせに用いたフォーカスエリアについてのデフォーカス量が示す被写体距離（電子カメラ１から主要被写体までの距離）を算出し、ステップＳ７２へ進む。本実施形態のメインＣＰＵ１１は、ピント合わせに用いたフォーカスエリアに位置する被写体を主要被写体として扱う。

複数箇所のフォーカスエリアの中からどのフォーカスエリアをピント合わせに用いるかは、ユーザ操作によってあらかじめ電子カメラ１に設定されている。たとえば、電子カメラ１に最も近い至近の測距情報が取得されるフォーカスエリアを用いたり、ユーザ操作で指定されているフォーカスエリアを用いたりすることが可能である。至近の測距情報が取得されるフォーカスエリアを採用する場合のメインＣＰＵ１１は、電子カメラ１に至近の被写体を主要被写体として扱う。

ステップＳ７２において、メインＣＰＵ１１は、被写体背景を対象に測距値（距離情報）を算出する。メインＣＰＵ１１は、画像ファイル内に記録されている測距情報のうち、ピント合わせに採用されなかったフォーカスエリアに関して取得されたデフォーカス量が示す被写体距離を算出する。メインＣＰＵ１１はさらに、算出した被写体距離のうち、上記主要被写体までの距離との差が所定値以上のものを、被写体背景の距離（電子カメラ１から背景までの距離）情報としてステップＳ７３へ進む。

ステップＳ７３において、メインＣＰＵ１１は、主要被写体までの測距値の変化量を算出する。電子カメラ１で撮影され、記録媒体３０に記録された画像ファイルには、ＡＦ調節時にピント合わせに採用されたフォーカスエリアに関して取得されたデフォーカス量の直近の変化量情報が、上記Exif情報に含められている。

至近の被写体を主要被写体として扱う場合のメインＣＰＵ１１は、撮影前に繰り返し取得（たとえば、約３０msec間隔）した測距情報のうち、撮影直前の所定回（たとえば３回）分の測距情報（それぞれの回で取得された至近の測距情報）を変化量情報とする。

メインＣＰＵ１１は、画像ファイル内に記録されている上記３回の測距情報ｍ１、ｍ２、ｍ３から速度情報としてｍ１とｍ２の差分の絶対値、ｍ２とｍ３の差分の絶対値、またはｍ１とｍ３の差分の絶対値のいずれかを測距値の変化量情報とする。または、加速度情報としてｍ１−(２×ｍ２)＋ｍ３の絶対値を測距値の変化量情報としてもよい。ステップＳ７４へ進む。

ステップＳ７４において、メインＣＰＵ１１は、主要被写体に対応する画素データが示す濃度の変化量を算出する。電子カメラ１で撮影され、記録媒体３０に記録された画像ファイルには、ＡＦ調節時にピント合わせに採用されたフォーカスエリアに対応して取得された画素データが示す濃度の直近の変化量情報が、上記Exif情報に含められている。

至近の被写体を主要被写体として扱う場合のメインＣＰＵ１１は、撮影前に繰り返し取得（たとえば、約３０msec間隔）した画素データのうち、撮影直前の所定回（たとえば３回）分の濃度情報（それぞれの回で取得された濃度情報）を変化量情報とする。

メインＣＰＵ１１は、画像ファイル内に記録されている上記３回の濃度情報ｂ１、ｂ２、ｂ３から速度情報としてｂ１とｂ２の差分の絶対値、ｂ２とｂ３の差分の絶対値、またはｂ１とｂ３の差分の絶対値のいずれかを濃度値の変化量情報とする。または、加速度情報としてｂ１−(２×ｂ２)＋ｂ３の絶対値を濃度値の変化量情報としてもよい。図７による処理を終了する。メインＣＰＵ１１は、画像を構成する画素データの中で、フォーカスエリアに含まれるＹ成分データ群の濃度値の平均を各回の濃度情報とする。Ｙ成分は、上式（３）で算出される輝度情報であり、画像の明るさに対応する。以上説明した特徴量算出処理により、１画像につき４種の特徴量が算出される。

第二の実施形態のメインＣＰＵ１１は、図５に例示するクラスタリング処理を以下のように行う。図５のステップＳ５１において、メインＣＰＵ１１は、１画像（ｎ種の特徴量で示されるｎ次元の特徴空間における１データ）を１クラスターとしてステップＳ５２へ進む。本実施形態では、４種の特徴量（すなわち、主要被写体までの距離情報、被写体背景の距離情報、主要被写体までの距離情報の変化量、Ｙ成分の濃度変化量）で示される４次元空間においてクラスタリングを行う。４次元空間は、各特徴量を示す４つの特徴軸を互いに直交させた仮想空間である。

ステップＳ５２において、メインＣＰＵ１１は、各クラスター間の距離ｄ（Ｒ，Ｑ）を群間平均を算出する上式（４）を用いて算出し、ステップＳ５３へ進む。
ただし、Ｒ、Ｑはそれぞれクラスターを表す。

ステップＳ５３において、メインＣＰＵ１１は、クラスター相互の距離のうち距離最小の一対のクラスターを１つのクラスターに併合してステップＳ５４へ進む。この処理により、クラスター数が減少する。ステップＳ５４において、メインＣＰＵ１１はクラスター数が所定数か否かを判定する。メインＣＰＵ１１は、クラスター数が所定数まで減少した場合にステップＳ５４を肯定判定して図５の処理を終了し、図２のステップＳ１５へ進む。メインＣＰＵ１１は、クラスター数が所定数まで減少していない場合にはステップＳ５４を否定判定し、ステップＳ５２へ戻る。ステップＳ５２へ戻る場合はクラスタリング処理を続行する。

第二の実施形態では所定数をたとえば７とすることにより、クラスター数が７になるまでクラスタリング処理を行う。この結果、画像ファイルが７つのグループに分類される。クラスタリング処理後のクラスター内に複数のデータが存在する場合、各データに対応する画像ファイルの画像は類似性が高い。

図９は、分類処理後の画像ファイルを説明する図である。分類処理後の７つのクラスターに対応する７つのフォルダの中に、それぞれ対応する画像ファイルによるサムネイル画像を表示している。図９によれば、クラスター１に対応するフォルダに２画像、クラスター２に対応するフォルダに４画像、クラスター３に対応するフォルダに３画像、クラスター４に対応するフォルダに３画像、クラスター５に対応するフォルダに３画像、クラスター６に対応するフォルダに２画像、クラスター７に対応するフォルダに１画像が含まれている。

図９に例示した７つのグループには、山岳写真の画像が集まるグループ（クラスター１）と、花の遠景の画像が集まるグループ（クラスター２）と、花の接写画像が集まるグループ（クラスター３）と、ポートレートの画像が集まるグループ（クラスター４）と、山岳より距離が近く、かつ緑成分の多い画像が集まるグループ（クラスター５）と、室内で暗い画像が集まるグループ（クラスター６）と、室内で明るい画像が集まるグループ（クラスター７）とが存在している。

以上説明した第二の実施形態によれば、以下の作用効果が得られる。
（１）主要被写体までの距離情報に基づく特徴量で表した特徴空間でクラスタリング処理を行うので、たとえば、接写画像やポートレート画像など、撮影距離が類似する画像をグルーピングできる。

（２）背景被写体までの距離情報に基づく特徴量で表した特徴空間でクラスタリング処理を行うので、たとえば、山岳写真など背景までの距離が類似する画像をグルーピングできる。

（３）主要被写体までの距離情報の変化量に基づく特徴量で表した特徴空間でクラスタリング処理を行うので、たとえば、スポーツシーンなどの画像をグルーピングできる。

（４）至近の測距情報が得られるフォーカスエリアを用いて距離情報の変化量を求めるようにしたので、主要被写体までの距離の変化とともに、主要被写体が撮影画面内を移動する場合の変化量をも加味した特徴空間でクラスタリング処理を行うことができる。

（５）主要被写体の濃度（たとえば輝度）情報の変化量に基づく特徴量で表した特徴空間でクラスタリング処理を行うので、たとえば、明るさが変化するシーンなどの画像をグルーピングできる。

（変形例５）
主要被写体までの距離情報を用いて算出した特徴量データ、背景被写体までの距離情報を用いて算出した特徴量データ、主要被写体までの距離情報の変化量を用いて算出した特徴量データ、および主要被写体の濃度情報の変化量を用いて算出した特徴量データをそれぞれ用いてクラスタリングを行う例を説明したが、１つの特徴量データを用いてクラスタリングを行ってもよい。なお、少なくとも２つ以上の複数の特徴量データを用いてクラスタリングを行うようにすれば、たとえば、主要被写体までの距離と背景までの距離との双方が類似する画像をグルーピングできるため、グルーピングの精度を高めることができる。

（変形例６）
第二の実施形態で説明した４つの特徴量データに加えて、第一の実施形態で説明した７つの特徴量データを用いてクラスタリングを行ってもよい。この場合にも、少なくとも２つ以上の特徴量データを用いてクラスタリングを行う構成にするとよい。

（変形例７）
ステップＳ７４において、画素データが示す濃度の変化量を算出する際にフォーカスエリアに含まれるＹ成分データ群の濃度値の平均を用いて算出した。この代わりに、特定の色成分（たとえばＢ成分）のデータ群の濃度値の平均を用いて算出するようにしてもよい。この場合には、主要被写体の濃度（たとえばＢ成分）情報の変化量に基づく特徴量で表した特徴空間でクラスタリング処理を行うので、特定の色味が変化するシーンなどの画像をグルーピングできる。

（変形例８）
電子カメラ１内で画像分類処理を実行する例を説明したが、図２、図３および図５による処理を行う画像分類プログラムを図７に示すコンピュータ装置１０に実行させることにより、画像分類装置を構成してもよい。画像分類プログラムをパーソナルコンピュータ１０に取込んで使用する場合には、パーソナルコンピュータ１０のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像分類装置として使用する。

パーソナルコンピュータ１０に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１０にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１０へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像分類プログラムは、記録媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

以上の説明では種々の実施形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第２７６１９０号（２００６年１０月１０日出願）

Claims (14)

1. 画像の画素濃度に基づく特徴量を算出する第１処理と、
   特徴量が表す空間でクラスタリングを行う第２処理と、
   クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
2. 請求項１に記載の画像分類プログラムにおいて、
   第１処理は、画像全体の画素濃度に基づいて特徴量を算出することを特徴とする画像分類プログラム。
3. 請求項１または２に記載の画像分類プログラムにおいて、
   第１処理は、画像を分割した異なる領域の画素濃度に基づいて複数の特徴量をそれぞれ算出することを特徴とする画像分類プログラム。
4. 請求項３に記載の画像分類プログラムにおいて、
   第１処理は、異なる領域の画素濃度に基づいて算出した複数の特徴量の比を新たな特徴量として算出することを特徴とする画像分類プログラム。
5. 画像撮影時の測距情報に基づく特徴量を算出する第１処理と、
   特徴量が表す空間でクラスタリングを行う第２処理と、
   クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
6. 請求項５に記載の画像分類プログラムにおいて、
   第１処理は、画像を分割した異なる領域の測距情報に基づいて複数の特徴量をそれぞれ算出することを特徴とする画像分類プログラム。
7. 画像の画素濃度に基づく第１特徴量を算出する第１処理と、
   画像撮影時の測距情報に基づく第２特徴量を算出する第２処理と、
   第１特徴量および第２特徴量が表す空間でクラスタリングを行う第３処理と、
   クラスタリングにより分割された特徴量に対応する画像をグルーピングする第４処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
8. 画像撮影時の主要被写体についての測距情報に基づく特徴量を算出する第１処理と、
   特徴量が表す空間でクラスタリングを行う第２処理と、
   クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
9. 画像撮影時の背景についての測距情報に基づく特徴量を算出する第１処理と、
   特徴量が表す空間でクラスタリングを行う第２処理と、
   クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
10. 画像撮影時の主要被写体についての測距情報の変化量に基づく特徴量を算出する第１処理と、
    特徴量が表す空間でクラスタリングを行う第２処理と、
    クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
11. 画像撮影時の主要被写体についての画素濃度の変化量に基づく特徴量を算出する第１処理と、
    特徴量が表す空間でクラスタリングを行う第２処理と、
    クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
12. 画像の画素濃度、画像撮影時の測距情報、画像撮影時の主要被写体についての測距情報、画像撮影時の背景についての測距情報、画像撮影時の主要被写体についての測距情報の変化量、および画像撮影時の主要被写体についての画素濃度の変化量のうち、少なくとも２つに基づく特徴量をそれぞれ算出する第１処理と、
    特徴量が表す空間でクラスタリングを行う第２処理と、
    クラスタリングにより分割された特徴量に対応する画像をグルーピングする第３処理とをコンピュータ装置に実行させることを特徴とする画像分類プログラム。
13. 請求項１〜１２のいずれか一項に記載の画像分類プログラムを搭載したことを特徴とする画像分類装置。
14. 請求項１〜１２のいずれか一項に記載の画像分類プログラムを搭載したことを特徴とする電子カメラ。

Images