JP4862720B2

JP4862720B2 - 情報処理方法、情報処理装置、プログラム、及び記憶媒体

Info

Publication number: JP4862720B2
Application number: JP2007081698A
Authority: JP
Inventors: 庸雄河西; 佳織松本; 広和笠原; 賢二深沢; 直樹鍬田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2012-01-25
Anticipated expiration: 2027-03-27
Also published as: JP2008244769A

Description

本発明は、情報処理方法、情報処理装置、プログラム、及び記憶媒体に関する。

デジタルスチルカメラには撮影モードを設定するモード設定ダイヤルを持つものがある。ユーザがダイヤルで撮影モードを設定すると、デジタルスチルカメラは撮影モードに応じた撮影条件（露光時間等）を決定し、撮影を行う。撮影が行われると、デジタルスチルカメラは、画像ファイルを生成する。この画像ファイルには、撮影した画像の画像データに、撮影時の撮影条件等の付加データが付加されている。

一方、付加データに応じて画像データに画像処理することも行われている。例えば、プリンタが画像ファイルに基づいて印刷を行うとき、付加データの示す撮影条件に応じて画像データを補正し、補正した画像データに従って印刷することが行われている。
特開２００１−２３８１７７号公報

ユーザが撮影モードを設定（変更）し忘れたために、撮影条件に不適切な撮影モードが設定されたまま、撮影が行われることがある。例えば、ダイヤル設定ミスで夜景モードが設定されたまま、日中の風景が撮影されることがある。この場合、画像ファイルの画像データは日中の風景の画像であるにも関わらず、付加データには夜景モードを示すデータが記憶されることになるが、ユーザは、画像ファイルに夜景モードを示すデータが格納されていることが分からない。なお、このような事態は、ダイヤル設定ミスによって生じる場合に限られず、画像データの内容と付加データの内容との不一致によって生じる。
本発明は、画像データの内容と付加データの内容との不一致をユーザに報知することを目的とする。

上記目的を達成するための主たる発明は、画像を表示する表示部を備える情報処理装置において実行される情報処理方法であって、画像データに予め付加されている付加データから、当該画像データに対応する画像が属するシーンに関するシーン情報を取得するシーン情報取得ステップと、前記画像データに基づいて、当該画像データに対応する画像が属するシーンを推定シーンとして推定するシーン推定ステップと、前記シーン情報が示すシーンと前記推定シーンとが一致するか否かを判別するシーン判別ステップと、前記シーン判別ステップにおける判別の結果、前記シーン情報が示すシーンと前記推定シーンとが不一致である場合には、前記画像の一部に対して前記シーン情報に応じた画像補正を施した第１部分画像と、前記一部以外の前記画像に対して前記推定シーンに応じた画像を施した第２部分画像とを結合して一つの画像を構成した結合画像を前記表示部に表示するとともに、前記推定シーンが前記画像に顔画像が含まれていることを示す際には前記顔画像の中心が境界となるように前記第１部分画像と前記第２画像部分とを結合した前記結合画像を前記表示部に表示する表示ステップとを有することを特徴とする情報処理方法である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。

画像を表示する表示部を備える情報処理装置において実行される情報処理方法であって、画像データに予め付加されている付加データから、当該画像データに対応する画像が属するシーンに関するシーン情報を取得するシーン情報取得ステップと、前記画像データに基づいて、当該画像データに対応する画像が属するシーンを推定シーンとして推定するシーン推定ステップと、前記シーン情報が示すシーンと前記推定シーンとが一致するか否かを判別するシーン判別ステップと、前記シーン判別ステップにおける判別の結果、前記シーン情報が示すシーンと前記推定シーンとが不一致である場合には、当該不一致に関連する不一致関連情報を前記表示部に表示する不一致情報表示ステップとを有することを特徴とする情報処理方法が明らかになる。
このような情報処理方法によれば、画像データの内容と付加データの内容との不一致を不一致関連情報としてユーザに報知することができ、ユーザは表示部を閲覧することにより、不一致関連情報を確認することができる。

また、前記シーン情報が示すシーンに応じて前記画像データに施すべき第１の画像補正、及び前記推定シーンに応じて前記画像データに施すべき第２の画像補正の一方の画像補正を選択する選択ステップを有することが望ましい。これにより、シーンに応じた画像処理が画像データに施されることになるので、出力された画像の画質を向上させることができる。

さらに、前記不一致関連情報は、前記選択ステップにおいて前記第２の画像補正を選択すべきか否かに関する情報であることが望ましい。これにより、第２の画像処理を選択するだけで、第１の画像処理が選択されることをなくすことができる。

さらに、前記選択ステップにおいて前記第２の画像補正が選択されたときは、前記画像データの付加データとして前記推定シーンに関するシーン情報を付加することが望ましい。これにより、画像データに基づいたシーンの推定を再び行う必要をなくすことができる。

また、前記シーン推定ステップは、前記画像データに対応する画像を特徴付ける特徴量を取得する特徴量取得ステップと、前記特徴量に基づいて前記推定シーンの確からしさを示す確信度を設定する確信度設定ステップとを含むことが望ましい。これにより、ユーザは、推定シーンの確信度から、シーン情報が示すシーンの確からしさも容易に推定することができる。したがって、ユーザは、シーン情報が示すシーンの内容と推定シーンの内容とがどの程度不一致であるかを確認（比較）することができる。

また、前記特徴量取得ステップでは、前記画像データ全体に対応する画像の特徴量を示す全体特徴量を取得し、前記シーン推定ステップでは、前記全体特徴量に基づいて前記画像が所定のシーンに属するか否かを識別することが望ましい。このとき、取得した全体特徴量のうち、画像データ全体の特徴を顕著に示している特徴量を用いることにより、識別の精度を向上させることができる。

また、前記特徴量取得ステップでは、前記画像データの一部に対応する画像の特徴量を示す部分特徴量を取得し、前記シーン推定ステップでは、少なくとも前記部分特徴量に基づいて前記画像が所定のシーンに属するか否かを識別することが望ましい。このとき、取得した部分特徴量のうち、画像データの一部の特徴を顕著に示している特徴量を用いることにより、識別の精度を向上させることができる。

さらに、前記確信度を前記表示部に表示する確信度表示ステップを有することが望ましい。これにより、ユーザは、表示された確信度に基づいて、シーン情報が示すシーンの内容と推定シーンの内容とがどの程度不一致であるかの確認（比較）を容易に行うことができる。

また、前記不一致情報表示ステップにおいて前記表示部で前記不一致関連情報の表示を行うべき時間を設定する表示時間設定ステップを有することが望ましい。これにより、設定された時間が経過するまで放置することにより、ユーザは、表示部に表示された不一致関連情報を確認する手間を省略することができる。

また、画像を表示する表示部と、画像データに関する情報を処理するためのコントローラとを備える情報処理装置であって、前記コントローラは、画像データに予め付加されている付加データから、当該画像データに対応する画像が属するシーンに関するシーン情報を取得するシーン情報取得ステップと、前記画像データに基づいて、当該画像データに対応する画像が属するシーンを推定シーンとして推定するシーン推定ステップと、前記シーン情報が示すシーンと前記推定シーンとが一致するか否かを判別するシーン判別ステップと、前記シーン判別ステップにおける判別の結果、前記シーン情報が示すシーンと前記推定シーンとが不一致である場合には、当該不一致に関連する不一致関連情報を前記表示部に表示する不一致情報表示ステップとを実行することを特徴とする情報処理装置が明らかになる。

画像を表示する表示部を備える情報処理装置が実行するプログラムであって、画像データに予め付加されている付加データから、当該画像データに対応する画像が属するシーンに関するシーン情報を取得するシーン情報取得モジュールと、前記画像データに基づいて、当該画像データに対応する画像が属するシーンを推定シーンとして推定するシーン推定モジュールと、前記シーン情報が示すシーンと前記推定シーンとが一致するか否かを判別するシーン判別モジュールと、前記シーン判別モジュールによる判別の結果、前記シーン情報が示すシーンと前記推定シーンとが不一致である場合には、当該不一致に関連する不一致関連情報を前記表示部に表示する不一致情報表示モジュールとを備えることを特徴とするプログラムも明らかになる。

さらに、上記プログラムを記憶したことを特徴とする前記情報処理装置が読み取り可能な記憶媒体も明らかになる。

＝＝＝全体構成＝＝＝
図１は、第１実施形態による画像処理システムの説明図である。この画像処理システムは、デジタルスチルカメラ２と、プリンタ４とを備える。

デジタルスチルカメラ２は、被写体をデジタルデバイス（ＣＣＤなど）に結像させることによりデジタル画像を取得するカメラである。デジタルスチルカメラ２には、モード設定ダイヤル２Ａが設けられている。ユーザは、ダイヤル２Ａによって、撮影条件に応じた撮影モードを設定することができる。例えば、ダイヤル２Ａによって「夜景」モードが設定されると、デジタルスチルカメラ２は、シャッター速度を遅くしたり、ＩＳＯ感度を高くしたりして、夜景撮影に適した撮影条件にて撮影を行う。

デジタルスチルカメラ２は、ファイルフォーマット規格に準拠して、撮影により生成した画像ファイルをメモリカード６に保存する。画像ファイルには、撮影した画像のデジタルデータ（画像データ）だけでなく、撮影時の撮影条件（撮影データ）等の付加データも保存される。

プリンタ４は、画像データの示す画像を紙に印刷する印刷装置である。プリンタ４には、メモリカード６を挿入するスロット２１が設けられている。ユーザは、デジタルスチルカメラ２で撮影した後、デジタルスチルカメラ２からメモリカード６を取り出し、スロット２１にメモリカード６を挿入することができる。

図２は、プリンタ４の構成の説明図である。プリンタ４は、印刷部としての印刷機構１０と、この印刷機構１０を制御するプリンタ側コントローラ２０とを備える。印刷機構１０は、インクを吐出するヘッド１１と、ヘッド１１を制御するヘッド制御部１２と、紙を搬送するため等のモータ１３と、センサ１４とを有する。プリンタ側コントローラ２０は、メモリカード６からデータを送受信するためのメモリ用スロット２１と、ＣＰＵ２２と、メモリ２３と、モータ１３を制御する制御ユニット２４と、駆動信号（駆動波形）を生成する駆動信号生成部２５とを有する。

また、プリンタ４は、入力機構８０及び表示機構９０で構成されたユーザインターフェース（ＵＩ）を備える。入力機構８０は、ユーザにより操作されてユーザの指示をプリンタ側コントローラ２０に入力するための操作部を含む。表示機構９０は、色空間がｓＲＧＢで表現された画像データに対応する画像を表示部に表示する。

メモリカード６がスロット２１に挿入されると、プリンタ側コントローラ２０は、メモリカード６に保存されている画像ファイルを読み出してメモリ２３に記憶する。そして、プリンタ側コントローラ２０は、画像ファイルの画像データを、印刷機構１０で印刷するための印刷データに変換し、印刷データに基づいて印刷機構１０を制御し、紙に画像を印刷する。この一連の動作は、「ダイレクトプリント」と呼ばれている。

なお、「ダイレクトプリント」は、メモリカード６をスロット２１に挿入することによって行われるだけでなく、デジタルスチルカメラ２とプリンタ４とをケーブル（不図示）で接続することによっても可能である。

＝＝＝画像ファイルの構造＝＝＝
画像ファイルは、画像データと、付加データとから構成されている。画像データは、複数の画素データから構成されている。画素データは、画素の色情報（階調値）を示すデータである。画素がマトリクス状に配置されることによって、画像が構成される。このため、画像データは、画像を示すデータである。付加データには、画像データの特性を示すデータや、撮影データや、サムネイル画像データ等が含まれる。

以下、画像ファイルの具体的な構造について説明する。
図３は、画像ファイルの構造の説明図である。図中の左側には画像ファイルの全体構成が示されており、右側にはＡＰＰ１領域の構成が示されている。

画像ファイルは、ＳＯＩ（Start of image）を示すマーカで始まり、ＥＯＩ（End of Image）を示すマーカで終わる。ＳＯＩを示すマーカの後に、ＡＰＰ１のデータ領域の開始を示すＡＰＰ１マーカがある。ＡＰＰ１マーカの後のＡＰＰ１のデータ領域には、撮影データやサムネイル画像等の付加データが含まれている。また、ＳＯＳ（Start of Stream）を示すマーカの後には、画像データが含まれている。
ＡＰＰ１マーカの後、ＡＰＰ１のデータ領域のサイズを示す情報があり、ＥｘｉｆヘッダとＴｉｆｆヘッダが続き、ＩＦＤ領域となる。

各ＩＦＤ領域は、複数のディレクトリエントリと、次のＩＦＤ領域の位置を示すリンクと、データエリアとを有する。例えば、最初のＩＦＤ０（IFD of main image）では次のＩＦＤ１（IFD of thumbnail image）の位置がリンクされる。但し、ここではＩＦＤ１の次のＩＦＤが存在しないのでＩＦＤ１では他のＩＦＤへのリンクは行われない。各ディレクトリエントリには、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＩＦＤ０データエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＩＦＤ０には、ＥｘｉｆＳｕｂＩＦＤの格納場所を意味するタグ（Exif IFD Pointer）と、ＥｘｉｆＳｕｂＩＦＤの格納場所を示すポインタ（オフセット値）とが格納されているディレクトリエントリがある。

ＥｘｉｆＳｕｂＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＥｘｉｆＳｕｂＩＦＤデータエリアに格納されて、データ部にはデータの格納場所を示すポインタが格納される。なお、ＥｘｉｆＳｕｂＩＦＤの中には、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグと、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を示すポインタとが格納されている。

ＭａｋｅｒｎｏｔｅＩＦＤ領域は、複数のディレクトリエントリを有する。このディレクトリエントリにも、タグとデータ部が含まれる。格納すべきデータ量が小さい場合にはデータ部に実際のデータがそのまま格納され、データ量が多い場合には実際のデータはＭａｋｅｒｎｏｔｅＩＦＤデータエリアにデータが格納されて、データ部にはデータの格納場所を示すポインタが格納される。但し、ＭａｋｅｒｎｏｔｅＩＦＤ領域ではデータの格納形式を自由に定義できるので、必ずしもこの形式でデータを格納しなくても良い。以下の説明では、ＭａｋｅｒｎｏｔｅＩＦＤ領域に格納されるデータのことを「ＭａｋｅｒＮｏｔｅデータ」と呼ぶ。

図４Ａは、ＩＦＤ０で使われるタグの説明図である。図に示す通り、ＩＦＤ０には一般的なデータ（画像データの特性を示すデータ）が格納され、詳細な撮影データは格納されていない。
図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。図に示す通り、ＥｘｉｆＳｕｂＩＦＤには詳細な撮影データが格納されている。なお、シーン識別処理の際に抽出される撮影データの大部分は、ＥｘｉｆＳｕｂＩＦＤに格納されている撮影データである。なお、撮影シーンタイプタグ（Scene Capture Type）は、撮影シーンのタイプを示すタグである。また、Ｍａｋｅｒｎｏｔｅタグは、ＭａｋｅｒｎｏｔｅＩＦＤの格納場所を意味するタグである。
ＥｘｉｆＳｕｂＩＦＤ領域の撮影シーンタイプタグに対するデータ部（撮影シーンタイプデータ）が、「ゼロ」ならば「標準」を意味し、「１」ならば「風景」を意味し、「２」ならば「人物」を意味し、「３」ならば「夜景」を意味する。なお、ＥｘｉｆＳｕｂＩＦＤに格納されたデータは規格化されているため、この撮影シーンタイプデータの内容を誰でも知ることが可能である。

本実施形態では、ＭａｋｅｒＮｏｔｅデータの一つに、撮影モードデータが含まれている。この撮影モードデータでは、モード設定ダイヤル２Ａで設定されたモード毎に異なる値を示す。但し、ＭａｋｅｒＮｏｔｅデータは、メーカ毎に形式が異なるため、ＭａｋｅｒＮｏｔｅデータの形式が分からなければ、撮影モードデータの内容を知ることはできない。

図５は、モード設定ダイヤル２Ａの設定とデータとの対応表である。ＥｘｉｆＳｕｂＩＦＤで使われる撮影シーンタイプタグは、ファイルフォーマット規格に準拠しているため、特定できるシーンが限定されており、「夕景」等のシーンを特定するデータをデータ部に格納することはできない。一方、ＭａｋｅｒＮｏｔｅデータは自由に定義できるので、ＭａｋｅｒＮｏｔｅデータの一つである撮影モードタグにより、モード設定ダイヤル２Ａの撮影モードを特定するデータをデータ部に格納できる。

前述のデジタルスチルカメラ２は、モード設定ダイヤル２Ａの設定に応じた撮影条件にて撮影を行った後、上記の画像ファイルを作成し、メモリカード６に保存する。この画像ファイルには、モード設定ダイヤル２Ａに応じた撮影シーンタイプデータ及び撮影モードデータが、画像データに付加されるシーン情報として、それぞれＥｘｉｆＳｕｂＩＦＤ領域及びＭａｋｅｒｎｏｔｅＩＦＤ領域に格納される。

＝＝＝補正機能の概要＝＝＝
「人物」の写真を印刷するときには、肌色をきれいにしたいという要求がある。また、「風景」の写真を印刷するときには、空の青色を強調し、木や草の緑色を強調したいという要求がある。そこで、本実施形態のプリンタ４は、画像ファイルを分析した結果決定したシーン修正候補に基づいて補正処理を行う補正機能と、該補正機能を実施する前にシーン修正候補をユーザに確認するユーザ確認機能と、上記ユーザ確認機能によりシーン修正候補の確認（承認）が得られなかった場合に画像ファイルの撮影データに基づいて補正処理を行う補正機能とを備えている。ここで、シーン修正候補とは、プリンタ４が画像ファイルを分析した結果得られる、画像ファイルの画像データに対応する画像が属するべきシーンを示す。

図６は、プリンタ４の補正機能の説明図である。図中のプリンタ側コントローラ２０の各要素は、ソフトウェアとハードウェアによって実現される。

記憶部３１は、メモリ２３の一部の領域及びＣＰＵ２２によって実現される。メモリカード６から読み出された画像ファイルの全部又は一部は、記憶部３１の画像記憶部３１Ａに展開される。また、プリンタ側コントローラ２０の各要素の演算結果は、記憶部３１の結果記憶部３１Ｂに格納される。
顔識別部３２は、ＣＰＵ２２と、メモリ２３に記憶された顔識別プログラムとによって実現される。顔識別部３２は、画像記憶部３１Ａに記憶された画像データを分析し、顔の有無を識別する。顔識別部３２によって顔が有ると識別された場合、識別対象となる画像が「人物」のシーンに属すると確信度１００％で識別される。なお、確信度とは、識別対象となる画像が特定のシーンに属するという識別の確からしさを示す。この場合、シーン識別部３３によるシーン識別処理は行われない。この結果、「人物」がデフォルトのシーン修正候補として決定される。

顔識別部３２による顔識別処理は、既に広く行われている処理と同様なので、以下に簡略的に説明する。
まず、顔識別部３２は、画像記憶部３１Ａの画像データから顔画像データを抽出する。顔画像データとは、識別対象となる画像における被写体の一部である人物（主要被写体）の顔部分に対応する画像データである。本実施形態では、所定サイズ、例えば４００（２０×２０）画素以上の顔画像データであって顔部分の面積が最大のものが抽出される。続いて、顔識別部３２は、顔画像データに基づいて人物の顔部分の長手方向における長さを示す顔長さを検出し、検出した顔長さが、識別対象となる画像の短辺方向の長さ、例えば２４０画素分に対応する長さの３０％（７２画素分）以上であるときに、識別対象となる画像内に、顔画像が有ると識別する。

シーン識別部３３は、ＣＰＵ２２と、メモリ２３に記憶されたシーン識別プログラムとによって実現される。シーン識別部３３は、画像記憶部３１Ａに記憶された画像ファイルを分析し、画像データの示す画像のシーンを識別する。顔識別部３２によって顔が無いと識別された場合に、シーン識別部３３によるシーン識別処理が行われる。後述するように、シーン識別部３３は、識別対象となる画像が「風景」、「夕景」、「夜景」、「花」、「紅葉」のいずれの画像であるかを識別する。識別対象となる画像がいずれの画像でもない場合、「その他」の画像であると識別される。この結果、「風景」、「夕景」、「夜景」、「花」、「紅葉」「その他」のいずれか一つがデフォルトのシーン修正候補として決定される。

図７は、画像のシーンと補正内容との関係の説明図である。
画像補正部３４は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。画像補正部３４は、記憶部３１の結果記憶部３１Ｂ（後述）に記憶されている識別結果（顔識別部３２やシーン識別部３３の識別結果）に基づいて、画像記憶部３１Ａの画像データを補正する。例えば、シーン識別部３３の識別結果が「風景」である場合には、青色を強調し、緑色を強調するような補正が行われる。なお、画像補正部３４は、シーンの識別結果だけでなく、画像ファイルの撮影データの内容も反映して、画像データを補正しても良い。例えば、露出補正がマイナスの場合、暗い雰囲気の画像を明るくしないように画像データを補正しても良い。

また、画像補正部３４は、上記ユーザ確認機能によりシーン修正候補の確認（承認）が得られなかった場合には、画像ファイルの撮影データに含まれる撮影シーンタイプデータ及び撮影モードデータに基づいて画像補正を行う。この際にも撮影シーンタイプデータ及び撮影モードデータだけでなく、他の撮影データの内容も反映して、画像データを補正しても良い。

表示制御部３６は、ＣＰＵ２２と、メモリ２３に記憶された画像補正プログラムとによって実現される。表示制御部３６は、表示機構９０の表示部に表示するための表示用画像データ（以下、「表示用データ」という）を、記憶部３１の画像記憶部３１Ａの画像データから生成する。さらに、表示制御部３６は、表示機構９０による画像の表示や、後述する図２３乃至図２６及び図２９Ａ乃至図３０に示すような表示画面の表示を制御する。

プリンタ制御部３５は、ＣＰＵ２２、駆動信号生成部２５、制御ユニット２４及びメモリ２３に記憶されたプリンタ制御プログラムによって、実現される。プリンタ制御部３５は、補正後の画像データを印刷データに変換し、印刷機構１０に画像を印刷させる。

＝＝＝シーン識別処理＝＝＝
図８は、シーン識別部３３によるシーン識別処理のフロー図である。図９は、シーン識別部３３の機能の説明図である。図中のシーン識別部３３の各要素は、ソフトウェアとハードウェアによって実現される。

最初に、特徴量取得部４０が、記憶部３１の画像記憶部３１Ａに展開された画像データを分析し、部分特徴量を取得する（Ｓ１０１）。具体的には、特徴量取得部４０は、画像データを８×８の６４ブロックに分割し、各ブロックの色平均と分散を算出し、この色平均と分散を部分特徴量として取得する。なお、ここでは各画素はＹＣＣ色空間における階調値のデータをもっており、ブロックごとに、Ｙの平均値、Ｃｂの平均値及びＣｒの平均値がそれぞれ算出され、Ｙの分散、Ｃｂの分散及びＣｒの分散がそれぞれ算出される。つまり、ブロックごとに３つの色平均と３つの分散が部分特徴量として算出される。これらの色平均や分散は、各ブロックにおける部分画像の特徴を示すものである。なお、ＲＧＢ色空間における平均値や分散を算出しても良い。

ブロックごとに色平均と分散が算出されるので、特徴量取得部４０は、画像記憶部３１Ａには画像データの全てを展開せずに、ブロック分の画像データをブロック順に展開する。このため、画像記憶部３１Ａは、必ずしも画像ファイルの全てを展開できるだけの容量を備えていなくても良い。

次に、特徴量取得部４０が、全体特徴量を取得する（Ｓ１０２）。具体的には、特徴量取得部４０は、画像データの全体の色平均、分散、重心及び撮影情報を、全体特徴量として取得する。なお、これらの色平均や分散は、画像の全体の特徴を示すものである。画像データ全体の色平均、分散及び重心は、先に算出した部分特徴量を用いて算出される。このため、全体特徴量を算出する際に、画像データを再度展開する必要がないので、全体特徴量の算出速度が高くなる。全体識別処理（後述）は部分識別処理（後述）よりも先に行われるにも関わらず、全体特徴量が部分特徴量よりも後に求められるのは、このように算出速度を高めるためである。なお、撮影情報は、画像ファイルの撮影データから抽出される。具体的には、絞り値、シャッター速度、フラッシュ発光の有無などの情報が全体特徴量として用いられる。但し、画像ファイルの撮影データの全てが全体特徴量として用いられるわけではない。

次に、全体識別器５０が、全体識別処理を行う（Ｓ１０３）。全体識別処理とは、全体特徴量に基づいて、画像データの示す画像のシーンを識別（推定）する処理である。全体識別処理の詳細については、後述する。

全体識別処理によってシーンの識別ができる場合（Ｓ１０４でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによって一つのシーンをデフォルトのシーン修正候補として決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理（後述）が省略される。これにより、シーン識別処理の速度が高くなる。
全体識別処理によってシーンの識別ができない場合（Ｓ１０４でＮＯ）、次に部分識別器６０が、部分識別処理を行う（Ｓ１０５）。部分識別処理とは、部分特徴量及び全体特徴量に基づいて、画像データの示す画像全体のシーンを識別する処理である。部分識別処理の詳細については、後述する。

部分識別処理によってシーンの識別ができる場合（Ｓ１０６でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂを識別結果に記憶することによって一つのシーンをデフォルトのシーン修正候補として決定し（Ｓ１０９）、シーン識別処理を終了する。つまり、部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が高くなる。
部分識別処理によってシーンの識別ができない場合（Ｓ１０６でＮＯ）、次に統合識別器７０が、統合識別処理を行う（Ｓ１０７）。統合識別処理の詳細については、後述する。

統合識別処理によってシーンの識別ができる場合（Ｓ１０８でＹＥＳ）、シーン識別部３３は、記憶部３１の結果記憶部３１Ｂに識別結果を記憶することによって一つのシーンをデフォルトのシーン修正候補として決定し（Ｓ１０９）、シーン識別処理を終了する。ここで、例えばシーン修正候補が複数ある場合には、確信度に基づいて一つのシーン修正候補がデフォルトのシーン修正候補として決定される。
一方、統合識別処理によってシーンの識別ができない場合（Ｓ１０８でＮＯ）、画像データの示す画像が「その他」のシーン（「風景」、「夕景」、「夜景」、「花」、「紅葉」以外のシーン）である旨の識別結果を結果記憶部３１Ｂに記憶する（Ｓ１１０）。この結果、「その他」がデフォルトのシーン修正候補として決定される。

＝＝＝全体識別処理＝＝＝
図１０は、全体識別処理のフロー図である。ここでは図９も参照しながら全体識別処理について説明する。
まず、全体識別器５０は、複数のサブ識別器５１の中から１つのサブ識別器５１を選択する（Ｓ２０１）。全体識別器５０には、識別対象となる画像（識別対象画像）が特定のシーンに属するか否かを識別するサブ識別器５１が５つ設けられている。５つのサブ識別器５１は、それぞれ風景、夕景、夜景、花、紅葉のシーンを識別する。ここでは、全体識別器５０は、風景→夕景→夜景→花→紅葉の順に、サブ識別器５１を選択する。このため、最初には、識別対象画像が風景のシーンに属するか否かを識別するサブ識別器５１（風景識別器５１Ｌ）が選択される。

次に、全体識別器５０は、識別対象テーブルを参照し、選択したサブ識別器５１を用いてシーンを識別すべきか否かを判断する（Ｓ２０２）。
図１１は、識別対象テーブルの説明図である。この識別対象テーブルは、記憶部３１の結果記憶部３１Ｂに記憶される。識別対象テーブルは、最初の段階では全ての欄がゼロに設定される。Ｓ２０２の処理では、「否定」欄が参照され、ゼロであればＹＥＳと判断され、１であればＮＯと判断される。ここ（図１１）では、全体識別器５０は、識別対象テーブルにおける「風景」欄の「否定」欄を参照し、ゼロであるのでＹＥＳと判断する。

次に、サブ識別器５１は、全体特徴量に基づいて、識別対象画像が特定のシーンに属する確率を算出する（Ｓ２０３）。この際に用いられる全体特徴量は、特徴量取得部４０が取得した複数種類の特徴量から、識別対象画像全体に特定のシーンの特徴が顕著に現れやすい特徴量を選択的に用いる。これにより、サブ識別器５１による識別の精度を向上させることができる。

また、本実施形態のサブ識別器５１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。識別対象画像が特定のシーンに属する場合、サブ識別器５１の判別式は、プラスの値になる。識別対象画像が特定のシーンに属しない場合、サブ識別器５１の判別式は、マイナスの値になりやすい。また、判別式は、識別対象画像が特定のシーンに属する確率が高いほど、大きい値になる。このため、判別式の値が大きければ、識別対象画像が特定のシーンに属する確率が高くなり、判別式の値が小さければ、識別対象画像が特定のシーンに属する確率が低くなる。本実施形態では、判別式の値が肯定閾値（後述）よりも大きいとき、シーン修正候補の確信度を１００％としている。

次に、サブ識別器５１は、判別式の値が肯定閾値より大きいか否かを判断する（Ｓ２０４）。判別式の値が肯定閾値より大きければ、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断することになる。

図１２は、全体識別処理でサブ識別器５１が用いる肯定閾値の説明図である。同図において、横軸は肯定閾値を示し、縦軸はRecall又はPrecisionの確率を示す。図１３は、RecallとPrecisionの説明図である。判別式の値が肯定閾値以上の場合には識別結果はPositiveであり、判別式の値が肯定閾値以上でない場合には識別結果はNegativeである。

Recallは、再現率や検出率を示すものである。Recallは、特定のシーンの画像の総数に対する、特定のシーンに属すると識別された画像の数の割合である。言い換えると、Recallは、特定のシーンの画像をサブ識別器５１に識別させたときに、サブ識別器５１がPositiveと識別する確率（特定のシーンの画像が特定のシーンに属すると識別される確率）を示すものである。例えば、風景画像を風景識別器５１Ｌに識別させたときに、風景のシーンに属すると風景識別器５１Ｌが識別する確率を示すものである。

Precisionは、正答率や正解率を示すものである。Precisionは、Positiveと識別された画像の総数に対する、特定のシーンの画像の数の割合である。言い換えると、Precisionは、特定のシーンを識別するサブ識別器５１がPositiveと識別したときに、識別対象画像が特定のシーンである確率を示すものである。例えば、風景識別器５１Ｌが風景のシーンに属すると識別したときに、その識別した画像が本当に風景画像である確率を示すものである。

図１２から分かる通り、肯定閾値を大きくするほど、Precisionが大きくなる。このため、肯定閾値を大きくするほど、例えば風景のシーンに属すると識別された画像が風景画像である確率が高くなる。つまり、肯定閾値を大きくするほど、誤識別の確率が低くなる。
一方、肯定閾値を大きくするほど、Recallは小さくなる。この結果、例えば、風景画像を風景識別器５１Ｌで識別した場合であっても、風景のシーンに属すると正しく識別しにくくなる。ところで、識別対象画像が風景のシーンに属すると識別できれば（Ｓ２０４でＹＥＳ）、残りの別のシーン（夕景など）の識別を行わないようにして全体識別処理の速度を高めている。このため、肯定閾値を大きくするほど、全体識別処理の速度は低下することになる。また、全体識別処理によってシーンが識別できれば部分識別処理を行わないようにしてシーン識別処理の速度を高めているため（Ｓ１０４）、肯定閾値を大きくするほど、シーン識別処理の速度は低下することになる。
つまり、肯定閾値が小さすぎると誤識別の確率が高く、大きすぎると処理速度が低い。本実施形態では、正答率（Precision）を９７．５％に設定するため、風景の肯定閾値は１．７２に設定されている。

判別式の値が肯定閾値より大きければ（Ｓ２０４でＹＥＳ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると確信度１００％で判断し、肯定フラグを立てる（Ｓ２０５）。「肯定フラグを立てる」とは、図１１の「肯定」欄を１にすることである。この場合、全体識別器５０は、次のサブ識別器５１による識別を行わずに、全体識別処理を終了する。例えば、風景画像であると識別できれば、夕景などの識別を行わずに、全体識別処理を終了する。この場合、次のサブ識別器５１による識別を省略しているので、全体識別処理の速度を高めることができる。
判別式の値が肯定閾値より大きくなければ（Ｓ２０４でＮＯ）、サブ識別器５１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ２０６の処理を行う。

次に、サブ識別器５１は、判別式の値と否定閾値とを比較する（Ｓ２０６）。これにより、サブ識別器５１は、識別対象画像が所定のシーンに属しないかを判断する。このような判断としては、２種類ある。第１に、ある特定のシーンのサブ識別器５１の判別式の値が第１否定閾値より小さければ、その特定のシーンに識別対象画像が属しないと判断されることになる（この場合、そのシーンの確信度は０％である）。例えば、風景識別器５１Ｌの判別式の値が第１否定閾値より小さければ、識別対象画像が風景のシーンに属しないと判断されることになる。第２に、ある特定のシーンのサブ識別器５１の判別式の値が第２否定閾値より大きければ、その特定のシーンとは別のシーンに識別対象画像が属しないと判断されることになる。例えば、風景識別器５１Ｌの判別式の値が第２否定閾値より大きければ、識別対象画像が夜景のシーンに属しないと判断されることになる。

図１４は、第１否定閾値の説明図である。同図において、横軸は第１否定閾値を示し、縦軸は確率を示す。グラフの太線は、True Negative Recallのグラフであり、風景画像以外の画像を風景画像ではないと正しく識別する確率を示している。グラフの細線は、False Negative Recallのグラフであり、風景画像なのに風景画像ではないと誤って識別する確率を示している。

図１４から分かる通り、第１否定閾値を小さくするほど、False Negative Recallが小さくなる。このため、第１否定閾値を小さくするほど、例えば風景のシーンに属しないと識別された画像が風景画像である確率が低くなる。つまり、誤識別の確率が低くなる。

一方、第１否定閾値を小さくするほど、True Negative Recallも小さくなる。この結果、風景画像以外の画像を風景画像ではないと識別しにくくなる。その一方、全体識別処理の際に、識別対象画像が特定シーンでないことを識別できれば、部分識別処理の際に、その特定シーンのサブ部分識別器６１による処理を省略してシーン識別処理速度を高めている（後述、図１７のＳ３０２）。このため、第１否定閾値を小さくするほど、シーン識別処理速度は低下する。
つまり、第１否定閾値が大きすぎると誤識別の確率が高くなり、小さすぎると処理速度が低下することになる。本実施形態では、False Negative Recallを２．５％に設定するため、第１否定閾値は−１．０１に設定されている。

ところで、ある画像が風景のシーンに属する確率が高ければ、必然的にその画像が夜景のシーンに属する確率は低くなる。このため、風景識別器５１Ｌの判別式の値が大きい場合には、夜景ではないと識別できる場合がある。このような識別を行うために、第２否定閾値が設けられる。

図１５は、第２否定閾値の説明図である。同図において、横軸は第２否定閾値を示し、縦軸は確率を示す。同図には、図１２のRecallとPrecisionのグラフとともに、夜景のRecallのグラフが点線で描かれている。この点線のグラフに注目すると、風景の判別式の値が−０．４４よりも大きければ、その画像が夜景画像である確率は２．５％である。言い換えると、風景の判別式の値が−０．４４より大きい場合にその画像が夜景画像でないと識別しても、誤識別の確率は２．５％にすぎない。そこで、本実施形態では、第２否定閾値が−０．４４に設定されている。

そして、判別式の値が第１否定閾値より小さい場合、又は、判別式の値が第２否定閾値より大きい場合（Ｓ２０６でＹＥＳ）、サブ識別器５１は、識別対象画像が所定のシーンに属しないと判断し（この場合、そのシーンの確信度は０％に設定される。）、否定フラグを立てる（Ｓ２０７）。「否定フラグを立てる」とは、図１１の「否定」欄を１にすることである。例えば、第１否定閾値に基づいて識別対象画像が風景のシーンに属しないと判断された場合、「風景」欄の「否定」欄が１になる。また、第２否定閾値に基づいて識別対象画像が夜景のシーンに属しないと判断された場合、「夜景」欄の「否定」欄が１になる。

図１６Ａは、上記で説明した風景識別器５１Ｌにおける閾値の説明図である。風景識別器５１Ｌには、肯定閾値及び否定閾値が予め設定されている。肯定閾値として１．７２が設定されている。否定閾値には第１否定閾値と第２否定閾値とがある。第１否定閾値として−１．０１が設定されている（図１６Ｂ）。また、第２否定閾値として、風景以外の各シーンに値が設定されている。

図１６Ｂは、上記で説明した風景識別器５１Ｌの処理の概要の説明図である。ここでは、説明の簡略化のため、第２否定閾値については夜景についてのみ説明する。風景識別器５１Ｌは、判別式の値が１．７２より大きければ（Ｓ２０４でＹＥＳ）、識別対象画像が風景のシーンに属すると確信度１００％で判断する。また、判別式の値が１．７２以下であり（Ｓ２０４でＮＯ）、−０．４４より大きければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が夜景のシーンに属しないと判断する（即ち、夜景の確信度は０％である）。また、判別式の値が−１．０１より小さければ（Ｓ２０６でＹＥＳ）、風景識別器５１Ｌは、識別対象画像が風景のシーンに属しないと判断する（即ち、風景の確信度は０％である）。なお、風景識別器５１Ｌは、夕景や紅葉についても、第２否定閾値に基づいて、識別対象画像がそのシーンに属しないかを判断する。但し、本実施形態では、全体識別処理で用いる花の第２否定閾値は肯定閾値よりも大きいため、識別対象画像が花のシーンに属しないことを風景識別器５１Ｌが判断することはない。

Ｓ２０２においてＮＯの場合、Ｓ２０６でＮＯの場合、又はＳ２０７の処理を終えた場合、全体識別器５０は、次のサブ識別器５１の有無を判断する（Ｓ２０８）。ここでは風景識別器５１Ｌによる処理を終えた後なので、全体識別器５０は、Ｓ２０８において、次のサブ識別器５１（夕景識別器５１Ｓ）があると判断する。
そして、Ｓ２０５の処理を終えた場合（識別対象画像が一つの特定のシーンに属すると判断された場合）、又は、Ｓ２０８において次のサブ識別器５１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、全体識別器５０は、全体識別処理を終了する。

なお、既に説明した通り、全体識別処理が終了すると、シーン識別部３３は、全体識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０４）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断する。
全体識別処理によってシーンの識別ができた場合（Ｓ１０４でＹＥＳ）、部分識別処理や統合識別処理が省略される。これにより、シーン識別処理の速度が高くなる。

＝＝＝部分識別処理＝＝＝
図１７は、部分識別処理のフロー図である。部分識別処理は、全体識別処理によってシーンの識別ができなかった場合（図８のＳ１０４でＮＯ）に行われる。以下に説明するように、部分識別処理は、分割された部分画像のシーンをそれぞれ識別することによって、画像全体のシーンを識別する処理である。ここでは図９も参照しながら部分識別処理について説明する。

まず、部分識別器６０は、複数のサブ部分識別器６１の中から１つのサブ部分識別器６１を選択する（Ｓ３０１）。部分識別器６０には、サブ部分識別器６１が３つ設けられている。各サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像がそれぞれ特定のシーンに属するか否かを識別する。ここでの３つのサブ部分識別器６１は、それぞれ夕景、花、紅葉のシーンを識別する。部分識別器６０は、夕景→花→紅葉の順に、サブ部分識別器６１を選択する。このため、最初には、部分画像が夕景のシーンに属するか否かを識別するサブ部分識別器６１（夕景部分識別器６１Ｓ）が選択される。

次に、部分識別器６０は、識別対象テーブル（図１１）を参照し、選択したサブ部分識別器６１を用いてシーンを識別すべきか否かを判断する（Ｓ３０２）。ここでは、部分識別器６０は、識別対象テーブルにおける「夕景」欄の「否定」欄を参照し、ゼロであればＹＥＳと判断し、１であればＮＯと判断する。なお、全体識別処理の際に、夕景識別器５１Ｓが第１否定閾値により否定フラグを立てたとき、又は、他のサブ識別器５１が第２否定閾値により否定フラグを立てたとき、このＳ３０２でＮＯと判断される。仮にＮＯと判断されると夕景の部分識別処理は省略されることになるので、部分識別処理の速度が高くなる。但し、ここでは説明の都合上、ＹＥＳと判断されるものとする。

次に、サブ部分識別器６１は、８×８の６４ブロックに分割された部分画像の中から、１つの部分画像を選択する（Ｓ３０３）。
図１８は、夕景部分識別器６１Ｓが選択する部分画像の順番の説明図である。部分画像から画像全体のシーンを識別するような場合、識別に用いられる部分画像は、被写体（シーンを象徴する主要被写体）が存在する部分であることが望ましい。そこで、本実施形態では、数千枚のサンプルの夕景画像を用意し、各夕景画像を８×８の６４ブロックに分割し、夕景部分画像（夕景の太陽と空（主要被写体）の部分画像）を含むブロックを抽出し、抽出されたブロックの位置に基づいて各ブロックにおける夕景部分画像の存在確率を算出した。そして、本実施形態では、存在確率の高いブロックから順番に、部分画像が選択される。なお、図に示す選択順序の情報は、プログラムの一部としてメモリ２３に格納されている。

なお、夕景画像の場合、画像の中央付近から上半分に夕景の空が広がっていることが多いため、中央付近から上半分のブロックにおいて存在確率が高くなる。また、夕景画像の場合、画像の下１／３では逆光で陰になり、部分画像単体では夕景か夜景か区別がつかないことが多いため、下１／３のブロックにおいて存在確率が低くなる。花画像の場合、花を中央付近に配置させる構図にすることが多いため、中央付近における花部分画像の存在確率が高くなる。

次に、サブ部分識別器６１は、選択された部分画像の部分特徴量及び全体特徴量に基づいて、その部分画像が特定のシーンに属するか否かを判断する（Ｓ３０４）。この際に用いられる部分特徴量は、特徴量取得部４０が取得した複数種類の特徴量から、部分画像に特定のシーンの特徴が顕著に現れやすい特徴量を選択的に用いる。これにより、サブ識別器６１による識別の精度を向上させることができる。

また、サブ部分識別器６１には、全体識別器５０のサブ識別器５１と同様に、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。なお、サポートベクタマシンについては、後述する。判別式の値が正の値であれば、部分画像が特定のシーンに属すると判断し、サブ部分識別器６１は正カウント値をインクリメントする。また、判別式の値が負の値であれば、部分画像が特定のシーンに属しないと判断し、サブ部分識別器６１は負カウント値をインクリメントする。

次に、サブ部分識別器６１は、正カウント値が肯定閾値よりも大きいか否かを判断する（Ｓ３０５）。なお、正カウント値は、特定のシーンに属すると判断された部分画像の数を示すものである。正カウント値が肯定閾値より大きければ（Ｓ３０５でＹＥＳ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると確信度１００％で判断し、肯定フラグを立てる（Ｓ３０６）。この場合、部分識別器６０は、次のサブ部分識別器６１による識別を行わずに、部分識別処理を終了する。例えば、夕景画像であると識別できれば、花や紅葉の識別を行わずに、部分識別処理を終了する。この場合、次のサブ部分識別器６１による識別を省略しているので、部分識別処理の速度を高めることができる。

正カウント値が肯定閾値より大きくなければ（Ｓ３０５でＮＯ）、サブ部分識別器６１は、識別対象画像が特定のシーンに属すると判断できず、次のＳ３０７の処理を行う。

サブ部分識別器６１は、正カウント値と残りの部分画像数との和が肯定閾値よりも小さければ（Ｓ３０７でＹＥＳ）、Ｓ３０９の処理へ進む。正カウント値と残りの部分画像数との和が肯定閾値よりも小さい場合、残り全ての部分画像によって正カウント値がインクリメントされても正カウント値が肯定閾値より大きくなることがないので、Ｓ３０９に処理を進めることによって、残りの部分画像についてサポートベクタマシンによる識別を省略する。これにより、部分識別処理の速度を高めることができる。

サブ部分識別器６１がＳ３０７でＮＯと判断した場合、サブ部分識別器６１は、次の部分画像の有無を判断する（Ｓ３０８）。この判断は、上記残り部分画像数がゼロか否かで行うことができる。なお、本実施形態では、６４ブロックに分割された部分画像の全てを順に選択していない。図１８において太枠で囲まれた上位１０番目までの１０個の部分画像だけを順に選択している。このため、１０番目の部分画像の識別を終えれば、サブ部分識別器６１は、Ｓ３０８において次の部分画像はないと判断する（この点を考慮して、Ｓ３０７の「残りの部分画像数」も決定される。）。

図１９は、６４ブロックに分割された部分画像のうち、上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。図に示すような肯定閾値を設定すれば、正答率（Precision）を８０％程度に設定でき、再現率（Recall）を９０％程度に設定でき、精度の高い識別が可能である。

本実施形態では、１０個の部分画像だけで夕景画像の識別を行っている。このため、本実施形態では、６４ブロックの全ての部分画像を用いて夕景画像の識別を行うよりも、部分識別処理の速度を高めることができる。

また、本実施形態では、夕景部分画像の存在確率の高い上位１０番目までの部分画像を用いて夕景画像の識別を行っている。このため、本実施形態では、存在確率を無視して抽出された１０個の部分画像を用いて夕景画像の識別を行うよりも、Recall及びPrecisionをともに高く設定することが可能になる。

また、本実施形態では、夕景部分画像の存在確率の高い順に部分画像を選択している。この結果、早い段階でＳ３０５の判断がＹＥＳになりやすくなる。このため、本実施形態では、存在確率の高低を無視した順で部分画像を選択したときよりも、部分識別処理の速度を高めることができる。

Ｓ３０７においてＹＥＳと判断された場合、又は、Ｓ３０８において次の部分画像がないと判断された場合、サブ部分識別器６１は、負カウント値が否定閾値よりも大きいか否かを判断する（Ｓ３０９）。この否定閾値は、前述の全体識別処理における否定閾値（図１０のＳ２０６）とほぼ同様の機能を果たすものなので、詳しい説明は省略する。Ｓ３０９でＹＥＳと判断された場合、図１０のＳ２０７と同様に、否定フラグを立てる（Ｓ３１０）。

Ｓ３０２においてＮＯの場合、Ｓ３０９でＮＯの場合、又はＳ３１０の処理を終えた場合、部分識別器６０は、次のサブ部分識別器６１の有無を判断する（Ｓ３１１）。夕景部分識別器６１Ｓによる処理を終えた後の場合、サブ部分識別器６１として花部分識別器６１Ｆや紅葉部分識別器６１Ｒがまだあるので、部分識別器６０は、Ｓ３１１において、次のサブ部分識別器６１があると判断する。

そして、Ｓ３０６の処理を終えた場合（識別対象画像が特定のシーンに属すると判断された場合）、又は、Ｓ３１１において次のサブ部分識別器６１がないと判断された場合（識別対象画像が特定のシーンに属すると判断できなかった場合）、部分識別器６０は、部分識別処理を終了する。

なお、既に説明した通り、部分識別処理が終了すると、シーン識別部３３は、部分識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０６）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断する。
部分識別処理によってシーンの識別ができた場合（Ｓ１０６でＹＥＳ）、統合識別処理が省略される。これにより、シーン識別処理の速度が高くなる。

＝＝＝サポートベクタマシン＝＝＝
統合識別処理について説明する前に、全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１において用いられている識別手法を実現するために用いたサポートベクタマシン（ＳＶＭ）について説明する。

図２０Ａは、線形サポートベクタマシンによる判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。学習用サンプルは２つのクラスＡ、Ｂに分けられている。図中では、クラスＡに属するサンプルは丸で示されており、クラスＢに属するサンプルは四角で示されている。

学習用サンプルを用いた学習によって、２次元空間を２つに分ける境界が定義される。境界は、＜ｗ・ｘ＞＋ｂ＝０で定義される（なお、ｘ＝（ｘ１，ｘ２）であり、ｗは重みベクトルであり、＜ｗ・ｘ＞はｗとｘの内積である）。但し、境界は、マージンが最大になるように、学習用サンプルを用いた学習によって定義される。つまり、図の場合、境界は、太点線ではなく、太実線のようになる。
判別は、判別式ｆ（ｘ）＝＜ｗ・ｘ＞＋ｂを用いて行われる。ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。

ここでは２次元空間を用いて説明しているが、これに限られない（つまり、特徴量は２以上でも良い）。この場合、境界は超平面で定義される。
ところで、２つのクラスに線形関数で分離できないことがある。このような場合に線形サポートベクタマシンによる判別を行うと、判別結果の精度が低下する。そこで、入力空間の特徴量を非線形変換すれば、すなわち入力空間からある特徴空間へ非線形写像すれば、特徴空間において線形関数で分離することができるようになる。非線形サポートベクタマシンでは、これを利用している。

図２０Ｂは、カーネル関数を用いた判別の説明図である。ここでは、２つの特徴量ｘ１、ｘ２によって、学習用サンプルを２次元空間に示している。図２０Ｂの入力空間からの非線形写像が図２０Ａのような特徴空間になれば、線形関数で２つのクラスに分離することが可能になる。この特徴空間においてマージンが最大になるように境界が定義されれば、特徴空間における境界の逆写像が、図２０Ｂに示す境界になる。この結果、図２０Ｂに示すように、境界は非線形になる。

本実施形態ではガウスカーネルを利用することにより、判別式ｆ（ｘ）は次式のようになる（なお、Ｍは特徴量の数であり、Ｎは学習用サンプルの数（若しくは境界に寄与する学習用サンプルの数）であり、ｗ_ｉは重み係数であり、ｙ_ｊは学習用サンプルの特徴量であり、ｘ_ｊは入力ｘの特徴量である）。

ある入力ｘ（この入力ｘは学習用サンプルとは別である）について、ｆ（ｘ）＞０であればクラスＡに属すると判別され、ｆ（ｘ）＜０であればクラスＢに属すると判別される。また、判別式ｆ（ｘ）の値が大きい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が高くなる。逆に、判別式ｆ（ｘ）の値が小さい値になるほど、入力ｘ（この入力ｘは学習用サンプルとは別である）がクラスＡに属する確率が低くなる。前述の全体識別処理のサブ識別器５１や部分識別処理のサブ部分識別器６１では、上記のサポートベクタマシンの判別式ｆ（ｘ）の値を用いている。

したがって、プリンタ４は、サポートベクタの判別式ｆ（ｘ）の定数に関する定数情報と、判別式ｆ（ｘ）を求めるために用いた特徴量の種類を特定するための情報とを少なくとも実装する必要があるが、ＳＶＭそのものを実装する必要はない。なお、定数情報には、上記境界に寄与する学習用サンプルの特徴量ｙ_ｊの値と、重み係数ｗ_ｉの値と、ガウスカーネルに用いるカーネル係数σの値、バイアスｂの値がある。

なお、学習用サンプルとは別に評価用サンプルが用意されている。前述のRecallやPrecisionのグラフは、評価用サンプルに対する識別結果（判別式ｆ（ｘ）の値）に基づくものである。

＝＝＝統合識別処理＝＝＝
前述の全体識別処理や部分識別処理では、サブ識別器５１やサブ部分識別器６１における肯定閾値を比較的高めに設定し、Precision（正解率）を高めに設定している。なぜならば、例えば全体識別部の風景識別器５１Ｌの正解率が低く設定されると、風景識別器５１Ｌが紅葉画像を風景画像であると誤識別してしまい、紅葉識別器５１Ｒによる識別を行う前に全体識別処理を終えてしまう事態が発生してしまうからである。本実施形態では、Precision（正解率）が高めに設定されることにより、特定のシーンに属する画像が特定のシーンのサブ識別器５１（又はサブ部分識別器６１）に識別されるようになる（例えば紅葉画像が紅葉識別器５１Ｒ（又は紅葉部分識別器６１Ｒ）によって識別されるようになる）。

但し、全体識別処理や部分識別処理のPrecision（正解率）を高めに設定すると、全体識別処理や部分識別処理ではシーンの識別、即ち一つのシーン修正候補の決定（Ｓ１０８）ができなくなる可能性が高くなる。そこで、本実施形態では、全体識別処理及び部分識別処理によってシーンの識別ができなかった場合、以下に説明する統合識別処理が行われる。

図２１は、統合識別処理のフロー図である。以下に説明するように、統合識別処理は、全体識別処理の各サブ識別器５１の判別式の値に基づいて、最も確信度の高いシーンを選択する処理である。

まず、統合識別器７０は、５つのサブ識別器５１から、判別式の値と、その判別式の値に対応するPrecision（正解率）の値を取得する（Ｓ４０１）。このとき、全体識別処理の際に各サブ識別器５１が算出した判別式の値が用いられる。また、このとき、否定フラグが立っているシーンのサブ識別器５１からの判別式の値及び正解率の取得を省略してもよく、これにより、処理速度が高めることができる。

次に、統合識別器７０は、判別式の値が正（プラス）であって、正解率の値が高いシーンが存在するか否かを判断する（Ｓ４０２）。ここで、正解率が高いか否かは、正解率が所定の閾値、例えば９０％よりも大きいか否かで判断される。

判別式の値が高いシーンが存在する場合（Ｓ４０２でＹＥＳ）、正解率が最大値のシーンの欄に肯定フラグを立てて（Ｓ４０３）、統合識別処理を終了する。これにより、最大値のシーンに識別対象画像が属すると判断される。このシーンは、デフォルトのシーン修正候補として設定される。

このときのシーン修正候補の確信度は、全体識別処理によって識別されたシーンの確信度１００％よりも低く設定される。この理由は、全体識別処理では誤識別の確率を非常に低くするためにPrecision（正解率）が高め（例えば９７．５％）に設定されており、一方、統合識別処理は全体識別処理や部分識別処理においてシーンの識別ができなかった場合に行われるからである。つまり、全体識別処理と統合識別処理の識別結果が同じ「風景」であっても、確信度が異なる場合がある。本実施形態では、統合識別処理の識別結果として得られたデフォルトのシーン修正候補の確信度の値を９０％で固定的に設定する。これに代えて、判別式の値とPrecisionとの関係を示すテーブルを予め用意しておくことにより、判別式の値に対応するPrecisionの値を確信度として用いてもよい。

一方、正解率の値が高いシーンが存在しない場合（Ｓ４０２でＮＯ）、肯定フラグを立てずに、統合識別処理を終了する。これにより、図１１の識別対象テーブルの肯定欄において、１のシーンが無いままの状態になる。つまり、識別対象画像が、どのシーンに属するか識別できなかったことになる。

なお、既に説明した通り、統合識別処理が終了すると、シーン識別部３３は、統合識別処理によってシーンの識別ができたか否かを判断する（図８のＳ１０８）。このとき、シーン識別部３３は、図１１の識別対象テーブルを参照し、「肯定」欄に１があるか否かを判断することになる。Ｓ４０２でＮＯとの判断の場合、Ｓ１０８の判断もＮＯになり、シーン修正候補「その他」が確信度８０％で決定される。

＝＝＝ユーザ確認機能＝＝＝
＜概要＞
前述したように、ユーザは、モード設定ダイヤル２Ａによって、撮影モードを設定することができる。そして、デジタルスチルカメラ２は、設定された撮影モードや撮影時の測光結果等に基づいて、撮影条件（露光時間、ＩＳＯ感度等）を決定し、決定した撮影条件にて被写体を撮影する。撮影後、デジタルスチルカメラ２は、撮影時の撮影条件を示す撮影データを、画像データとともに、画像ファイルとしてメモリカード６に保存する。

ところで、ユーザが撮影モードを設定（変更）し忘れたために、撮影条件に不適切な撮影モードが設定されたまま、撮影が行われることがある。例えば、夜景モードが設定されたまま、日中の風景が撮影されることがある。この場合、画像ファイルの画像データは日中の風景の画像であるにも関わらず、撮影データには夜景モードを示すデータが記憶されることになる（例えば図５の撮影シーンタイプデータが「３」になる）。このとき、ユーザは、風景ではなく夜景を示す撮影データが画像ファイルに格納されていることを視認することができない。

一方、前述のシーン識別処理機能を備えないが、画像ファイルの撮影データに基づいて画像データの自動補正を行うプリンタも存在する。そして、仮に不適切な撮影モードで撮影された画像ファイルがこのようなプリンタによって印刷されると、誤った撮影データに基づいて画像データが補正されてしまうことになる。

そこで、本実施形態のプリンタ４では、シーン識別処理結果（シーン修正候補）と、画像ファイルのシーン情報（撮影シーンタイプデータや撮影モードデータ）の示すシーンとが不一致の場合、上記ユーザ確認機能にしたがって、シーン識別処理結果のシーンをユーザに確認するための確認画面を表示機構９０の表示部に表示する。これにより、プリンタ４は上記不一致をユーザに報知することができ、ユーザは表示部を閲覧することにより、それを確認することができる。

なお、ユーザ確認が済んだシーンに関するシーン情報を付加データとして画像ファイルに格納してもよい。これにより、ユーザが別のプリンタで印刷を行う際に、シーン識別処理機能を備えないが自動補正処理を行うプリンタが用いられたとしても、適切に画像データが補正されるようになり、プリンタ４では、顔識別処理やシーン識別処理を再度実行する必要がなくなる。なお、シーン識別処理結果のシーン情報を画像ファイルに格納する方法としては、元のシーン情報を変更する方法と、元のシーン情報を残したままシーン識別処理結果のシーンを追加する方法とがあるが、いずれであってもよい。また、このとき、確信度に関する確信度データをＭａｋｅｒｎｏｔｅＩＦＤ領域に記録してもよい。確信度データは、判別式の値、判別式の値に対応するPrecisionの値、及びシーン修正候補の確信度の値のいずれか一つを用いて作成される。

図２２は、本実施形態の不一致関連情報表示処理を含む印刷処理のフロー図である。この印刷処理は、メモリ２３に記憶された印刷プログラムをＣＰＵ２２が実行することによって実現される。また、本実施形態の不一致関連情報の表示は、前述のシーン識別処理後であって、印刷機構１０による印刷開始前に行われる。

まず、プリンタ側コントローラ２０は、画像ファイルの撮影データを取得する（Ｓ５０１）。具体的には、プリンタ側コントローラ２０は、画像ファイルの付加データである撮影シーンタイプデータ（ＥｘｉｆＳｕｂＩＦＤ領域）や撮影モードデータ（ＭａｋｅｒｎｏｔｅＩＦＤ領域）を取得する。これにより、プリンタ側コントローラ２０は、画像ファイルの付加データの示すシーンを解析できる。

次に、プリンタ側コントローラ２０は、識別結果を取得する（Ｓ５０２）。識別結果は、前述の顔識別部３２の顔識別結果又は前述のシーン識別部３３のシーン識別結果である。これにより、プリンタ側コントローラ２０は、画像ファイルの画像データが「人物」「風景」「夕景」「夜景」「花」「紅葉」「その他」のいずれのシーンに属するかを推定できる。
次に、プリンタ側コントローラ２０は、付加データの示すシーンと、推定されるシーン（シーン修正候補）とを比較する（Ｓ５０３）。２つのシーンが不一致ではない場合（Ｓ５０３でＮＯ）、Ｓ５１０に進む。
２つのシーンが不一致の場合（Ｓ５０３でＹＥＳ）、ユーザ確認機能に基づいて、後述するユーザ確認画面（図２３乃至図２６及び図２９Ａ乃至図３０参照）を表示部に表示し（Ｓ５０４）、ユーザによる確認が入力されるのを待機する（Ｓ５０５）。

そして、ユーザが入力機構８０の操作部を用いることにより、シーン修正候補を容認する旨の確認（ユーザ承認）がユーザから得られた場合（Ｓ５０５でＹＥＳ）、印刷機構１０は、シーン修正候補に応じた画像補正を画像データに施して（Ｓ５０６）、該画像データに対応する画像を印刷して（Ｓ５０７）、本処理を終了する。また、２つのシーンが一致した場合にも（Ｓ５０３でＮＯ）、シーン修正候補に応じた画像補正を実行し（Ｓ５０６）、画像印刷を行って（Ｓ５０７）、本処理を終了する。

一方、ユーザ承認が得られなかった場合には（Ｓ５０５でＮＯ）、Ｓ５０１で取得した撮影データの撮影シーンタイプデータ又は撮影モードデータが示すシーンに応じた画像補正を画像データに施して（Ｓ５１０）、該画像データに対応する画像を印刷する（Ｓ５０７）。そして、本処理を終了する。

図２２の処理によれば、２つのシーンが不一致の場合、ユーザ確認機能により、プリンタ４にユーザ確認画面が表示される（Ｓ５０４）ので、プリンタ４は、２つのシーンの不一致をユーザに報知することができる。このとき、ユーザは表示部を閲覧することにより、不一致に関する不一致関連情報を確認することができる（Ｓ５０５）。ここで、従来のプリンタではユーザ確認画面が表示されることがない。したがって、ユーザ確認画面が表示されること自体が不一致関連情報の表示に該当する。

このとき、ユーザは、入力機構８０の操作部を介して承認をプリンタ４に入力することができ、この結果、シーン修正候補に応じた画像補正が施された画像データに対応する画像の印刷が行われる（Ｓ５０６〜Ｓ５０７）。したがって、ユーザ承認は、シーン修正候補を選択すること、及びそれに伴って画像補正部３４が、撮影シーンタイプデータ又は撮影モードデータが示すシーンに応じた画像補正を選択せずに、シーン修正候補に基づいた画像補正を選択することに該当する。一方で、ユーザは、入力機構８０の操作部を介して承認ではない旨（否認）をプリンタ４に入力することも可能であり、この場合、撮影シーンタイプデータ又は撮影モードデータが示すシーンに応じた画像補正が施された画像データに対応する画像の印刷が行われる（Ｓ５１０，Ｓ５０７）。したがって、ユーザは、画像処理の種類を選択して、印刷された画像の画質を向上させることができる。

＝＝＝不一致関連情報の表示＝＝＝
上記のＳ５０３に続くＳ５０４〜Ｓ５０５の処理としては、様々な形態が考えられる。以下に、Ｓ５０４のユーザ確認処理の際に表示される表示画面の実施例を説明する。表示画面には、少なくとも上記Ｓ５０３において２つのシーンが不一致であった旨の情報又は不一致に関連する情報（以下、これらを「不一致関連情報」という）が表示される。

＜実施例１：メッセージ表示＞
不一致関連情報は、文字などのメッセージとして表示することが可能である。これにより、ユーザは文字を読むことにより不一致関連情報を確認することができる。

図２３は、図２２のステップＳ５０４において表示される表示画面の第１の例を示す図である。
図２３に示す不一致関連情報メッセージ表示画面１２００上には、画像表示領域１２０１と、メッセージ表示領域１２１０と、制限時間表示領域１２２０と、確信度表示領域１２３０と、アイコン表示領域１２４０とが設けられている。さらに、表示画面１２００上には、「はい」ボタン１２５０と、「いいえ」ボタン１２５１と、「設定変更」ボタン１２６０とが配置されている。

図２３において、画像表示領域１２０１には、画像記憶部３１Ａに記憶されている識別対象画像が表示される。ここで表示される画像は、画像補正部３４がシーン修正候補に応じた画像補正を行った後の画像データに対応する画像（以下、「補正後画像」という）であることが好ましい。これにより、ユーザは、印刷前に補正後画像を確認することができる。なお、補正後画像に代えて、補正前画像を表示してもよい。この場合、補正前画像には、画像補正部３４が撮影シーンタイプデータ又は撮影モードデータに応じた画像補正を行った後の画像データに対応する画像と、画像ファイルの画像データそのもの（ｓＲＧＢ色空間に変換したもの）に対応する画像との２種類があり、予め設定されたいずれか一方が表示される。

メッセージ表示領域１２１０には、撮影シーンタイプデータが示すシーンと、デフォルトのシーン修正候補とが不一致であることを示すメッセージが不一致関連情報として表示される。図２３に示す例では、撮影シーンタイプデータが示すシーン「風景」から顔識別部３２が決定したデフォルトのシーン修正候補「人物」へと撮影データを変更するか否かをメッセージ「風景→人物にモードを変更しますか？」でユーザに確認している。

このように、「変更」の旨（符号１２１０ａ参照）又はそれに類似した内容が少なくとも表示されることにより、ユーザは、上記不一致のために、プリンタ４から「変更」の確認が促されていることを容易に理解することができる。また、符号１２１０ｂに示すメッセージ「人物」のように、シーン修正候補に関する情報としてシーンの名称が表示されるので、ユーザは、画像データにシーン「人物」に応じた画像補正が施されることが容易に理解することができる。さらに、「風景→人物」のように、撮影シーンタイプデータが示すシーンが、上記デフォルトのシーン修正候補と関連付けて表示される。これにより、ユーザは、撮影したときに、デジタルスチルカメラに設定されていた撮影モードを容易に思い出すことができる。

制限時間表示領域１２２０には、例えば「あと１０秒」という印刷機構１０による印刷開始（Ｓ５０７）までの制限時間の残り時間を示すメッセージが表示される。このように、制限時間に関する情報が表示されるので、ユーザは、当該制限時間がタイムアウト（経過）するまでの間ボタン１２５０，１２５１を押下することなく放置することにより、不一致関連情報を確認する手間を省略することができると共に、自動的に印刷画像を得ることができる。また、ユーザは、シーン修正候補の確信度が高いからこそ制限時間が設定されていることを容易に把握することができるので、制限時間に関する情報を表示することにより、ユーザのプリンタ４に対する信頼性を向上させることができる。なお、制限時間の上限値はユーザが設定変更可能に構成されていることが好ましい。

確信度表示領域１２３０は、デフォルトのシーン修正候補の確信度が表示される。表示された確信度に基づいて、ユーザは、プリンタ４が表示画面を介してユーザに推奨しているシーン修正候補の確からしさを確認することができると共に、撮影シーンタイプデータが示すシーンの確からしさも容易に推定することができる。したがって、ユーザは、シーン修正候補とデジタルスチルカメラに設定した撮影モードとを比較して、どの程度不一致であるのかを確認することが容易に行うことができる。

アイコン表示領域１２４０には、デフォルトのシーン修正候補に対応する画像がアイコンとして表示される。なお、アイコンに限られることはなく、ユーザが撮影シーン又は撮影モードを容易に想起することができる画像であればいかなるものであってもよい。

ボタン１２５０，１２５１は、ユーザが入力機構８０の操作部を用いることによって選択的に押下されるトグルタイプのボタン（トグルボタン）であり、押下により、シーン修正候補に応じた画像補正を行うか否かが表示制御部３６を介してＣＰＵ２２に入力される。「はい」ボタン１２５０は、トグルボタンが押下されたかのように見える状態（選択状態）でデフォルト表示されており、このことは、シーン修正候補の確信度が十分に高いことを示すと共に、制限時間表示領域１２２０に表示されている制限時間がタイムアウトしたときに自動的に選択されることを示している。

ここで、「いいえ」ボタン１２５１が押下されると、撮影シーンタイプデータが示すシーン（図２３に示す例ではシーン「風景」）に応じた画像補正が施された画像データに対応する画像が印刷される（Ｓ５１０，Ｓ５０７）。この際、シーン情報の修正では、ユーザ確認の結果、承認が得られなかった旨の情報が付加データに追加（ＭａｋｅｒＮｏｔｅ領域に記録）される。これにより、本実施形態のプリンタ４で実行した顔識別処理やシーン識別処理の結果を他のプリンタでも参照することができる。また、プリンタ４は、識別対象画像に対する顔識別処理やシーン識別処理を再度実行する必要をなくすことができる。

一方、「はい」ボタン１２５０が押下された場合や、上記制限時間がタイムアウトした場合には、シーン修正候補に応じた画像補正が施された画像データに対応する画像が印刷される（Ｓ５０６〜Ｓ５０７）。シーン修正候補「人物」は、撮影シーンタイプデータとして格納可能であるので、シーン情報の修正の際には、撮影シーンタイプデータが「風景」を示す「１」から「人物」を示す「２」に書き換えられる。つまり、ユーザ確認の結果、承認が得られた場合には、シーン識別結果に基づいて決定されたシーン修正候補に関するシーン情報が画像ファイルに格納される。本実施形態のプリンタ４で実行した顔識別処理やシーン識別処理の結果を他のプリンタでも参照することができる。プリンタ４は、識別対象画像に対する顔識別処理やシーン識別処理を再度実行する必要をなくすことができる。

また、「設定変更」ボタン１２６０が押下されると、不一致関連情報メッセージ表示画面１２００は、ユーザ確認で用いる表示画面の表示設定に関するメニュー画面（不図示）に遷移する。これにより、ユーザは、実施例１で説明した表示画面及び後述する実施例２〜６の表示画面の間で表示画面の切り替えをマニュアルで行うことができる。「設定変更」ボタン１２６０は、実施例２〜６の表示画面にも表示されるが以下の説明ではその説明及び図示を省略する。

本実施例（図２３）によれば、各表示領域１２１０，１２２０，１２３０，１２４０，１２５０において、シーン修正候補があることをユーザに想起させる情報を不一致関連情報として表示することにより、不一致関連情報をユーザに報知する。このとき、ユーザは本実施例による表示画面を介してシーン修正候補を確認して、所望の画像補正をプリンタ４に指定することができる。この結果、デジタルスチルカメラによる撮影完了後であっても、プリンタ４において所望の画像補正をユーザが選択することができ、もって、画像データの内容と付加データの内容との不一致により生じる不都合（例えば不適切な画像補正）を解消することができる。したがって、プリンタ４は、このような表示がなされないプリンタと比較してユーザビリティが高い。
また、本実施例によれば、不一致関連情報がメッセージ表示領域１２１０に文字などのメッセージで表示されるので、ユーザは、不一致関連情報があることをユーザ確認画面が単に表示された場合に比べてより容易に把握することができる。
なお、図２３に示す例では、撮影シーンタイプデータを用いたが、撮影モードデータを用いてよい。

＜実施例２：画像並列表示＞
不一致関連情報は、並列表示された二つの画像で表現することが可能である。これにより、ユーザは並列表示された二つの画像を比較することにより、不一致関連情報を確認することができる。

図２４は、図２２のステップＳ５０４において表示される表示画面の第２の例を示す図である。なお、図２４において、実施例１（図２３）と同様の構成要素又は表示領域には、同一の符号を付与しその説明を省略する。

図２４に示す並列表示画面１５００上に設けられた画像表示領域１２０１には、補正前画像１５１０と、補正後画像１５１１とが並列的に表示される。補正後画像１５１１は、画像補正部３４がシーン修正候補に応じた画像補正を行った後の画像データに対応する画像に該当する。補正前画像１５１０は、画像補正部３４が撮影シーンタイプデータが示すシーンに応じた画像補正を行った後の画像データに対応する画像に該当する。

また、並列表示画面１５００上には、「ＯＫ」ボタン１５５０が配置されている。
図２４において、ユーザにより、表示された画像１５１０，１５１１の一方が選択されると、選択された画像のフレームが太くなる。続いて、ユーザにより「ＯＫ」ボタン１５５０が押下されると、画像記憶部３１Ａに記憶されている画像データに対して、ユーザの選択に応じた画像補正を選択すべきである旨が表示制御部３６を介してＣＰＵ２２に入力される。具体的には、補正前画像１５１０が選択された状態で「ＯＫ」ボタン１５５０が押下されると、撮影シーンタイプデータが示すシーンに応じた画像補正が施された画像の印刷が行われ（Ｓ５１０，Ｓ５０７）、一方、補正後画像１５１１が選択された状態で「ＯＫ」ボタン１５５０が押下されると、シーン修正候補に応じた画像補正が施された画像データに対応する画像の印刷が行われる（Ｓ５０６〜Ｓ５０７）。

本実施例（図２４）によれば、画像表示領域１２０１に補正後画像１５１１を不一致関連情報として表示することにより、不一致関連情報をユーザに報知するので、上記実施例１と同様の効果を奏することができる。また、本実施例によれば、画像表示領域１２０１において、互いに異なる二つの画像である補正前画像１５１０及び補正後画像１５１１が表示されるので、ユーザは、不一致関連情報があることをユーザ確認画面が単に表示された場合に比べてより容易に把握することができる。また、補正前画像１５１０と、補正後画像１５１１とが並列的に表示されるので、ユーザは、補正前画像１５１０の画質と、補正後画像１５１１の画質と間の差異を簡便に比較することができる。

なお、図２４の並列表示画面１５００に、実施例１（図２３）に示したようなメッセージ表示領域１２１０、制限時間表示領域１２２０、及び確信度表示領域１２３０の少なくとも１つを設けてもよい。

なお、図２４に示す例では、撮影シーンタイプデータを用いたが、撮影モードデータを用いてよい。また、補正前画像１５１０として、画像ファイルの画像データそのもの（ｓＲＧＢ色空間に変換したもの）に対応する画像を用いてもよい。

＜実施例３：部分結合画像表示＞
不一致関連情報は、実施例２（図２４）で上述したように、並列表示された二つの画像で表現することが可能である。しかしながら、上記実施例２のように、補正前画像１５１０及び補正後画像１５１１が離間して配置されていると、二つの画像の比較がユーザにとって困難な場合がある。そこで、本実施例では、補正前画像の１ブロックと、補正後画像の１ブロックとを用いて、双方が見た目上結合して形成された一つの画像（以下、「部分結合画像」という）を構成する。これにより、補正前画像と補正後画像との間には境界線が形成され、ユーザはこの境界線の近傍において画像補正による画像の画質の差異をより明確に把握することができる。

図２５は、図２２のステップＳ５０４において表示される表示画面の第３の例を示す図である。なお、図２５において、実施例１（図２３）と同様の構成要素又は表示領域には、同一の符号を付与しその説明を省略する。

図２５に示す部分結合画像表示画面１７００上に設けられた画像表示領域１２０１には、補正前画像から抽出された１ブロックの部分補正前画像１７１０と、補正後画像から抽出された１ブロックの部分補正後画像１７１１とが表示される。部分補正前画像１７１０及び部分補正後画像１７１１は、上記部分結合画像を構成する。図２５に示す境界線１７２０は、部分補正前画像１７１０及び部分補正後画像１７１１間の境界を示しているが、画像として実際に表示されたものではない。

ここで、図２５に示す例では、上記補正前画像は、撮影シーンタイプデータが示すシーン「風景」に基づいて画像補正した後の画像データに対応する画像に該当する。上記補正後画像は、シーン修正候補「人物」に基づいて画像補正した後の画像データに対応する画像に該当する。

また、部分結合画像表示画面１７００には、マーク画像１７３０，１７３１が表示されている。マーク画像１７３０は、撮影シーンタイプデータが示すシーンに関する情報が文字やアイコンなどの画像で表示されたものである。マーク画像１７３１は、シーン修正候補に関する情報が文字やアイコンなどの画像で上記不一致関連情報として表示されたものである。

図２５において、マーク画像１７３１は、ユーザが入力機構８０の操作部を用いることによって選択的に押下され、これにより、デフォルトのシーン修正候補のシーンに応じた画像補正を行う旨が表示制御部３６を介してＣＰＵ２２に入力される。同様に、マーク画像１７３０を押下すると、撮影シーンタイプデータが示すシーンに応じた画像補正を行う旨がＣＰＵ２２に入力される。

以下、図２５に示す部分結合画像表示画面１７００の表示方法を説明する。この表示方法は、表示制御部３６が図２５に示すような表示画面を表示するための表示用データを作成するときに用いられる。

まず、表示制御部３６は、図２５に示すような境界線１７２０の位置を決定する。表示制御部３６は、通常は、画像表示領域１２０１又は識別対象画像の短辺に平行な画像表示領域１２０１の中央に境界線を設定する。ただし、デフォルトのシーン修正候補が「人物」である場合には、主要被写体である人物を容易に特定することができるため、顔画像の中心に境界線を設定する。ここで、顔画像の中心は、顔識別部３２が顔識別処理において顔長さを検出する際に用いた顔部分の中心線によって決定される。

次に、設定した境界線１７２０の左側に部分補正前画像１７１０が配置されるように、表示制御部３６は、補正前画像の左側の画像を表示する。同様に、設定した境界線１７２０の右側に部分補正後画像１７１１が配置されるように、表示制御部３６は、補正後画像の右側の画像を表示する。これらの結果、部分結合画像が表示される。部分結合画像では、識別対象画像（ユーザにとっては印刷対象の画像）における被写体の配置が維持されている。したがって、ユーザは、違和感なく画像を閲覧することができる。

このとき、表示制御部３６は、マーク画像１７３０及びマーク画像１７３１は、それぞれ、部分補正前画像１７１０の右上部及び部分補正後画像１７１１の右上部に表示する。これにより、図２５に示すような表示画面が構成される。ここで、マーク画像１７３０が境界線１７２０の近傍左側に配置されるので、ユーザは、マーク画像１７３０の右側近傍を探すことにより、境界線１７２０の位置を容易に把握することができる。また、マーク画像１７３１が画像表示領域１２０１の右上部に配置されるので、ユーザは、表示画面１７００の右上部を一瞥するだけで、マーク画像１７３１を発見することができ、当該マーク画像１７３１からシーン修正候補に関する情報を容易に取得することができる。

本実施例（図２５）によれば、画像表示領域１２０１に部分補正後画像１７１１やマーク画像１７３１を不一致関連情報として表示することにより、不一致関連情報をユーザに報知するので、上記実施例１と同様の効果を奏することができる。また、本実施例によれば、画像表示領域１２０１において、互いに異なる二つの画像である部分補正前画像１７１０及び部分補正後画像１７１１が表示される。本実施例は、二つの画像が一画面内に表示される点では実施例２と共通するので、実施例２と同様の効果を奏することができる。また、ユーザは、境界線１７２０の近傍において部分補正前画像１７１０の画質と部分補正後画像１７１１の画質の間の差異をより明確に把握することができる。さらに、デフォルトのシーン修正候補が「人物」である場合には、顔画像の中心線に境界線１７２０が配置されるので、ユーザは、顔画像上で画質の差異の把握を行うことができ、「人物」に応じた画像補正を施すのが適切であるか否かを効率的に判断することができる。

なお、上記実施例では、画像表示領域１２０１又は識別対象画像の中心線として、短辺に平行な中心線を用いたが、長辺に平行な中心線を用いてもよい。

また、上記実施例では、撮影シーンタイプデータを用いたが撮影モードタイプデータを用いてもよい。また、補正前画像としては、画像ファイルの画像データそのもの（ｓＲＧＢ色空間に変換したもの）に対応する画像を用いてもよい。

さらに、上記実施例では、シーン修正候補が「人物」である場合に、境界線１７２０の位置を顔画像の中心線の位置に設定したが、これに限られることはない。識別対象画像において主要被写体を特定することができる場合には、その主要被写体の中心に境界線１７２０を設定することが好ましい。例えば、ＥｘｉｆＳｕｂＩＦＤに格納されている被写体範囲に関する情報などを用いることにより主要被写体の中心位置を決定してもよい。さらに、この場合には、横長画像か否かの情報を用いることにより主要被写体の中心線の方向を決定することにより、境界線１７２０の設定を行うことが可能である。

＜実施例４：サムネイル画像表示＞
表示機構９０の表示部には、画像ファイルの付加データに含まれているサムネイル画像データを用いることにより、複数の画像の各々が縮小された状態で一覧表示することが可能である。この際、一覧表示された複数の画像（サムネイル画像）の各々に対して、実施例１（図２３）の表示画面１２００よりも情報量が低減するものの、同様に不一致関連情報を表示することが可能である。これにより、ユーザは、各画像に不一致関連情報が有るか無いかを確認することが容易になる。

図２６は、図２２のステップＳ５０４において表示される表示画面の第４の例を示す図である。なお、図２６において、実施例１（図２３）と同様の構成要素又は表示領域には、同一の符号を付与しその説明を省略する。

図２６に示すサムネイル画像表示画面１３００上に設けられた画像表示領域１２０１には、画像ファイルの付加データに含まれているサムネイル画像データを用いることにより、９枚のサムネイル画像が一覧表示されている。これらのサムネイル画像は、縮小表示されたものであるのでユーザにとっては画質の高さが識別困難である。したがって、画像表示領域１２０１にサムネイル画像を表示するために、対応する画像データに画像補正を施す必要はない。

また、サムネイル画像の上には、図２６に示すように、撮影日時によって特定される撮影順序と同一の数字が表示される。これにより、画像ファイルに１０枚以上の画像データが含まれている場合であっても、ユーザは、画像表示領域１２０１上に表示された各サムネイル画像が画像ファイルにおいて何番目の撮影順序の写真であるのかを容易に特定することができる。

また、サムネイル画像表示画面１３００には、四つのマーク画像１３１０が表示されている。各マーク画像１３１０は、シーン修正候補に関する情報が文字やアイコンなどの画像で上記不一致関連情報として表示されたものであり、一つのサムネイル画像の上に表示される。換言すれば、特定のサムネイル画像の上にマーク画像１３１０が表示される場合は、表示されているサムネイル画像にデフォルトのシーン修正候補が有る場合であって該デフォルトのシーン修正候補が撮影シーンタイプデータ又は撮影モードデータが示すシーンと不一致であるときに該当する。これとは対照的に、特定のサムネイル画像の上にマーク画像１３１０が表示されない場合は、デフォルトのシーン修正候補が撮影シーンタイプデータ又は撮影モードデータが示すシーンと一致している場合に該当する。

図２６において、各マーク画像１３１０は、ユーザが入力機構８０の操作部を用いることによって選択的に押下され、これにより、デフォルトのシーン修正候補に応じた画像補正を行う旨が表示制御部３６を介してＣＰＵ２２に入力される。一方、デフォルトのシーン修正候補に応じた画像補正が行われることをキャンセルしたい場合には、ユーザは、所定の方法により、表示されているマーク画像１３１０を消去する。なお、マーク画像１３１０が表示されていないサムネイル画像に対しては、ユーザは何も行う必要がない。そして、全てのマーク画像１３１０の各々に対して押下又は消去があった場合に、印刷機構１０による印刷が開始される。

本実施例（図２６）によれば、画像表示領域１２０１にマーク画像１３１０を不一致関連情報として表示することにより、不一致関連情報をユーザに報知するので、上記実施例１と同様の効果を奏することができる。

また、本実施例によれば、ユーザは、マーク画像１３１０が無い画像に関しては不一致関連情報が無いことを容易に理解することができる。さらに、ユーザは、マーク画像１３１０の有無により、不一致関連情報が有る画像と無い画像とを画像表示領域１２０１上で識別可能である。これにより、ユーザは容易に不一致関連情報の有る画像の枚数を確認することができる。

なお、上記実施例では、シーン修正候補に応じた画像補正実行のキャンセルを指示するために、マーク画像１３１０が消去されたが、指示方法はこの方法に限られることはない。同様に、シーン修正候補に応じた画像補正の実行を指示するために、マーク画像１３１０が押下されたが、指示方法はこの方法に限られることはない。例えば、全ての画像に対する印刷を開始するためのボタンを用意し、ユーザは、シーン修正候補に応じた画像補正実行のキャンセルがない場合には、そのボタンを押下するように、プリンタ４を構成してもよい。該ボタンが押下された場合には、マーク画像１３１０が有る画像についてはシーン修正候補に応じた画像補正の実行がプリンタ４に指示され、マーク画像１３１０が無い画像については、撮影シーンタイプデータ又は撮影にモードデータが示すシーンに応じた画像補正の実行がプリンタ４に指示される。

さらに、本実施例では、サムネイル画像の上に撮影順序を示す数字を表示するとしたが、撮影順序を示す数字に代えて、印刷順序を示す数字を表示してもよい。さらには、このような数字を表示しなくてもよい。

なお、図２６に関して、表示部の表示画面のサイズが十分に大きい場合には、サムネイル画像に代えて補正後画像を画像表示領域１２０１上に表示してもよく、さらに、この場合には、実施例２で説明したような並列表示や実施例５で後述するような切替表示を行ってもよい。なお、補正後画像は、シーン修正候補に応じた画像補正が施された画像に該当する。

また、図２６のサムネイル画像表示画面１３００に、実施例１（図２３）に示したようなメッセージ表示領域１２１０、制限時間表示領域１２２０、及び確信度表示領域１２３０の少なくとも１つを設けてもよい。

次に、本発明の第２実施形態を説明する。
上記第１実施形態では、単一のデフォルトのシーン修正候補を決定してそれをユーザ確認画面に表示したが、本実施形態では、複数のシーン修正候補を決定してそれらをユーザ確認画面に表示する。本実施形態は、上記第１実施形態の構成と同様の構成を有するので、同様の構成には同一の符号を付しその説明を省略し、以下、異なる点のみを説明する。

図２７は、第２実施形態におけるプリンタの補正機能の説明図である。
図２７に示すように、本実施形態では、顔識別部３２の顔識別結果が記憶部３１の結果記憶部３１Ｂに記憶された後に、シーン識別部３３のシーン識別結果が結果記憶部３１Ｂに記録される。一方、上記第１実施形態（図６）では、顔識別部３２の顔識別結果が記憶部３１の結果記憶部３１Ｂに記憶されれば、シーン識別部３３によるシーン識別処理は行われない。この点で本実施の形態と第１の実施の形態は相違する。

また、本実施の形態では、結果記憶部３１Ｂに記憶されている識別対象テーブル（図１１参照）には「人物」欄が追加される（図示せず）。したがって、本実施形態では、顔識別部３２の顔識別結果及びシーン識別部３３のシーン識別結果の双方からシーン修正候補を決定することが可能となる。

なお、上記第１実施形態では、顔識別部３２の顔識別結果として「人物」が確信度１００％のシーン修正候補となるとした。これに対して、本実施形態では、顔識別部３２の顔識別結果を得る際に「人物」の確信度を具体的に算出する（なお、この算出の結果、「人物」の確信度が１００％になる場合もある）。本実施形態では、顔識別部３２は、顔画像が有る場合に、識別対象画像の総面積に対する顔画像の面積の割合（面積比）に基づいて確信度を算出する。例えば、該面積比が３０％以上であれば、「人物」の確信度を９０％とする。なお、これに代えて、顔画像における肌色の濃淡に基づいて確信度を算出してもよい。この場合、面積比と確信度の関係又は肌色の濃淡と確信度の関係を示すテーブルが予め用意されている。

図２８は、第２実施形態において実行される統合識別処理のフロー図である。
図２８に示すように、本実施形態において実行される統合識別処理は、Ｓ４０４の処理が追加されている点が第１実施形態（図２１）と異なる。また、本実施形態では、Ｓ４０２では、正解率が高いシーンが存在するか否かを判断するための閾値が９０％ではなく、４０％に設定されている。したがって、Ｓ４０２の判断の結果、正解率が高いシーンが多数存在すると判断される可能性が高まることになる。このとき、予め用意された判別式の値とPrecisionとの関係を示すテーブルに基づいて、判別式の値に対応するPrecisionの値を確信度として用いる。

Ｓ４０４では、Ｓ４０２の判別の結果抽出された正解率（確信度）が高いシーンに対して、図８のＳ１０９でシーン修正候補として選択すべき優先順位を設定する。ここで、Ｓ４０３で正解率（確信度）が最大値であったシーンに対して優先順位として最も高い「１」を設定する。Ｓ４０３で正解率が最大値でなかったシーンに対しても正解率（確信度）が高い順に優先順位が設定される。なお、否定フラグが立っているシーンに対して優先順位が設定されることはない。

続く図８のＳ１０８では、図２８の処理において確信度４０％以上のシーン修正候補が１つでもあった場合にＹＥＳとなり、確信度４０％未満のシーン修正候補が１つもなかった場合にＮＯとなる。その後、Ｓ１０９では、優先順位が最も高いシーンがデフォルトのシーン修正候補として決定されると共に、優先順位が設定されている他のシーンもデフォルトではないがシーン修正候補として決定される。

このようにして、本実施形態では、複数（一つ以上）のシーンがシーン修正候補として決定される。この場合にも、図２２のＳ５０３に続くＳ５０４〜Ｓ５０５の処理としては、様々な形態が考えられる。以下に、Ｓ５０４のユーザ確認処理の際に表示される表示画面の実施例を説明する。

＜実施例５：切替表示＞
不一致関連情報は、決定されたシーン修正候補の数以上の枚数の画像を切替表示可能にすることで表現することが可能である。これにより、ユーザは画像の切替を行い、切替前後の画像を比較することにより、不一致関連情報を確認することができる。

図２９Ａ乃至図２９Ｃは、図２２のステップＳ５０４において表示される表示画面の第５の例を示す図であり、図２９Ａは、補正前画像を表示した状態を示しており、一方、図２９Ｂは、第１の補正後画像を表示した状態を示しており、図２９Ｃは、第１の補正後画像とは異なる第２の補正後画像を表示した状態を示している。なお、図２９Ａ乃至図２９Ｃにおいて、実施例１（図２３）と同様の構成要素又は表示領域には、同一の符号を付与しその説明を省略する。

図２９Ａに示す切替表示画面１６００ａ上に設けられた画像表示領域１２０１には、補正前画像１６３０が表示されている。補正前画像１６３０は、撮影シーンタイプデータが示すシーン「標準」に基づいて画像補正した後の画像データに対応する画像に該当する。

図２９Ｂに示す切替表示画面１６００ｂ上に設けられた画像表示領域１２０１には、第１の補正後画像１６３１が表示されている。第１の補正後画像１６３１は、（優先順位が最上位の）デフォルトのシーン修正候補「風景」に基づいて画像補正した後の画像データに対応する画像に該当する。

図２９Ｃに示す切替表示画面１６００ｃ上に設けられた画像表示領域１２０１には、第２の補正後画像１６３２が表示されている。第２の補正後画像１６３２は、優先順位が上位第２位のシーン修正候補「夕景」に基づいて画像補正した後の画像データに対応する画像に該当する。

また、切替表示画面１６００ａ〜１６００ｃ上には、「はい」ボタン１２５０及び「いいえ」ボタン１２５１が配置されている。
さらに、切替表示画面１６００ａ〜１６００ｃ上には、マーク画像１６１０〜１６１２が配置されている。マーク画像１６１０は、撮影シーンタイプデータが示すシーンに関する情報が文字やアイコンなどの画像で表示されたものである。マーク画像１６１１はデフォルトのシーン修正候補に関する情報が、マーク画像１６１２は、優先順位が上位第２位のシーン修正候補に関する情報が、文字やアイコンなどの画像で表示されたものである。

図２９Ａにおいて、「いいえ」ボタン１２５１が押下されると、切替表示画面１６００ａは、図２９Ｂの切替表示画面１６００ｂに遷移する。同様に、切替表示画面１６００ｂにおいて、「いいえ」ボタン１２５１が押下されると、切替表示画面１６００ｃに遷移し、切替表示画面１６００ｃにおいて、「いいえ」ボタン１２５１が押下されると、表示画面１６００ａに遷移する。このように、本実施例では、「いいえ」ボタンが押下される度に表示画面の切り替えが行われる。また、表示画面の切り替えは、予め設定された設定時間が経過する度にも行われ、これにより、ユーザは、設定時間が経過する度に他の画像処理が施された画像を閲覧することができる。

さらに、切り替えの際、表示制御部３６は、切替表示画面に表示した補正後画像又は補正前画像に応じたマーク画像のフレームを太くする。具体的には、切替表示画面１６００ａではマーク画像１６１０のフレームが太く、切替表示画面１６００ｂではマーク画像１６１１のフレームが太く、切替表示画面１６００ｃではマーク画像１６１２のフレームが太くなる。これにより、ユーザは、表示画面に表示されている画像に対応する画像データに対して施されている画像処理がどのシーンに応じたものであるかを容易に特定することができる。

また、図２９Ａにおいて、「はい」ボタン１２５０が押下されると、撮影シーンタイプデータが示すシーン（図２９Ａに示す例では「標準」）に応じた画像補正が施された画像データに対応する画像が印刷される（Ｓ５１０，Ｓ５０７）。同様に、切替表示画面１６００ｂにおいて、「はい」ボタン１２５０が押下されると、デフォルトのシーン修正候補（図２９Ｂに示す例では「風景」）に応じた画像補正及び印刷が行われ、切替表示画面１６００ｃにおいて、「はい」ボタン１２５０が押下されると、優先順位が上位第２位のシーン修正候補（図２９Ｃに示す例では「夕景」）に応じた画像補正及び印刷が行われる。

本実施例（切替表示画面１６００ａ〜１６００ｃ）によれば、画像表示領域１２０１に補正後画像１６３０，１６３１やマーク画像１６１１，１６１２を不一致関連情報として表示することにより、不一致関連情報をユーザに報知するので、上記実施例１と同等の効果を奏することができる。

また、本実施例によれば、画像表示領域１２０１において、互いに異なる画像である補正前画像１６３０及び補正後画像１６３１（又は補正後画像１６３２）が表示されるので、ユーザは、不一致関連情報があることをユーザ確認画面が単に表示された場合に比べてより容易に把握することができる。さらに、本実施例によれば、ユーザは補正後画像１６３１によりデフォルトのシーン修正候補を確認することができると共に、補正後画像１６３２により確信度が上位第２位のシーン修正候補を確認することができ、ユーザは、シーン修正候補による画像補正の差異も把握することができる。このため、プリンタ４のユーザビリティをより向上させることができる。

また、本実施例によれば、第１の補正後画像１６３１及び第２の補正後画像１６３２が切替表示されるので、ユーザはシーン修正候補が複数であることを容易に把握することができると共に、確信度が上位第２位のシーン修正候補に応じた画像補正も選択することができる。

また、補正前画像１６３０と、補正後画像１６３１とが切替表示されるので、ユーザは、補正前画像１６３０の画質と、補正後画像１６３１の画質と間の差異を簡便に比較することができる。

さらに、本実施例では、補正前画像１６３０及びマーク画像１６１０を表示したが、これらを表示しなくてもよい。この場合には、シーン修正候補に応じた画像補正が施された画像（第１の補正後画像１６３１及び第２の補正後画像１６３２）のみが表示されることになる。これにより、ユーザは、補正前画像１６３０を閲覧する必要をなくすことができる。

また、補正前画像１６３０として、画像ファイルの画像データそのもの（ｓＲＧＢ色空間に変換したもの）対応する画像を用いてもよい。

＜実施例６：サムネイル画像表示＞
不一致関連情報は、実施例４のようにサムネイル画像の各々に対して表示することが可能である。本実施例では、シーン修正候補が一つではないため、実施例４よりも表示可能なサムネイル画像の枚数が減少するものの、複数の画像の一覧表示が可能となる。なお、本実施例では、シーン修正候補がある画像のサムネイル画像のみを一覧表示する。これにより、ユーザは各サムネイル画像に不一致関連情報が有ることを容易に把握することができる。

図３０は、図２２のステップＳ５０４において表示される表示画面の第６の例を示す図である。なお、図３０において、実施例１（図２３）と同様の構成要素又は表示領域には、同一の符号を付与しその説明を省略する。

図３０に示すサムネイル画像表示画面１４００上に設けられた画像表示領域１２０１には、画像ファイルの付加データに含まれているサムネイル画像データを用いることにより、３枚のサムネイル画像が一覧表示されている。これらのサムネイル画像は、縮小表示されたものであるのでユーザにとっては画質の高さが識別困難である。したがって、画像表示領域１２０１にサムネイル画像を表示するために、対応する画像データに画像補正を施す必要はない。本実施例では、シーン修正候補（不一致関連情報）がある画像のサムネイル画像のみが画像表示領域１２０１に表示される。

また、サムネイル画像の上には、図３０に示すように、撮影日時によって特定される撮影順序と同一の数字が表示される。これにより、画像ファイルに４枚以上の画像データが含まれている場合であっても、ユーザは、画像表示領域１２０１上に表示された各サムネイル画像が画像ファイルにおいて何番目の撮影順序の写真であるのかを容易に特定することができる。

さらに、各サムネイル画像の右側の領域には、マーク画像１４１０〜１４１２が配置されている。マーク画像１４１０は、撮影シーンタイプデータが示すシーンに関する情報が文字やアイコンなどの画像で表示されたものである。マーク画像１４１１はデフォルトのシーン修正候補に関する情報が、マーク画像１４１２は、優先順位が上位第２位のシーン修正候補に関する情報が、文字やアイコンなどの画像で表示されたものである。

図３０において、マーク画像１４１０〜１４１２のいずれかは、ユーザが入力機構８０の操作部を用いることによって選択的に押下され、これにより、対応するシーンに応じた画像補正を行う旨が表示制御部３６を介してＣＰＵ２２に入力される。このとき、表示制御部３６は、押下されたマーク画像のフレームを太くする。そして、全てのサムネイル画像の各々について、マーク画像１４１０〜１４１２のいずれかに対する押下があった場合に、印刷機構１０による印刷が開始される。

本実施例（図３０）によれば、画像表示領域１２０１にマーク画像１４１１，１４１２を不一致関連情報として表示することにより、不一致関連情報をユーザに報知するので、上記実施例１と同等の効果を奏することができる。

また、本実施例によれば、マーク画像１４１１によりデフォルトのシーン修正候補を確認することができると共に、マーク画像１４１２により確信度が上位第２位のシーン修正候補を確認することができる。本実施例では、画像補正が施された後の画像を確認することはできない点で上述した実施例５とは異なるが、実施例５のように切替表示画面を確認する必要がないので、迅速にマーク画像の選択を行うことができる。

さらに、本実施例によれば、サムネイル画像表示画面１４００には、不一致関連情報が有るサムネイル画像だけが表示されるので、ユーザは容易に不一致関連情報の有る画像の枚数を確認することができる。

なお、上記実施例では、ユーザは、サムネイル画像表示画面１４００に表示されている全てのサムネイル画像に対して、マーク画像１４１０〜１４１２のいずれかを押下する必要があったが、その必要をなくすために、全ての画像に対する印刷を開始するためのボタンを用意してもよい。該ボタンが押下された場合には、不一致関連情報が有る画像についてはデフォルトのシーン修正候補に応じた画像補正の実行がプリンタ４に指示され、不一致関連情報が無い画像については、撮影シーンタイプデータが示すシーンに応じた画像補正の実行がプリンタ４に指示される。

なお、図３０に関して、表示部の表示画面のサイズが十分に大きい場合には、実施例４のように、不一致関連情報がない画像を表示してもよい。

また、表示部の表示画面のサイズが十分に大きい場合には、サムネイル画像に代えて補正前画像や補正後画像を画像表示領域１２０１上に表示してもよく、さらに、この場合には、実施例２で説明したような並列表示や実施例５で説明したような切替表示を行ってもよい。なお、補正前画像は、撮影シーンタイプデータに応じた画像補正が施された画像に該当し、補正後画像は、デフォルトのシーン修正候補に応じた画像補正が施された画像や優先順位が上位第２位のシーン修正候補に応じた画像補正が施された画像に該当する。

なお、第２実施形態では、二つのシーン修正候補に関するマーク画像（図２９Ａ乃至図２９Ｃにおける符号１６１１，１６１２、又は図３０における符号１４１１，１４１２）が表示されているが、シーン修正候補が三つ以上であれば、それに応じてマーク画像の数を増大させることが好ましい。これにより、ユーザに全てのシーン修正候補を提示することができる。

この場合、複数のマーク画像は、シーン修正候補の優先順位（即ち、確信度）の高さの順に配置される。具体的には、図３０に示す例の場合、優先順位が最上位であるデフォルトのシーン修正候補に関するマーク画像１４１１が、マーク画像１４１０よりも右側の領域において最も左側に配置され、マーク画像１４１２はマーク画像１４１１の右側に配置される。これにより、ユーザは、優先順位が高いシーン修正候補を容易に把握することができる。

また、シーン修正候補が三つ以上である場合に、マーク画像の数を増大させるとしたが、これに限られることはなく、例えば確信度が６０％以上のシーン修正候補のみに関するマーク画像を表示してもよく、これにより、ユーザは、確信度が低いシーン修正候補に関する情報を閲覧する手間を省略することができる。また、シーン修正候補が三つ以上と多数である場合には、優先順位が上位第２位までのシーン修正候補のみに関する情報をユーザに提示してもよく、これにより、ユーザは、確信度が低いシーン修正候補に関する情報を閲覧する手間を省略することができると共に、表示画面に表示されるマーク画像が多数になるのを防止して、表示画面が複雑になるのを防止することができる。

さらに、図２９Ａ乃至図２９Ｃの切替表示画面１６００ａ〜１６００ｃや図３０のサムネイル画像表示画面１４００に、実施例１（図２３）に示したようなメッセージ表示領域１２１０、制限時間表示領域１２２０、及び確信度表示領域１２３０の少なくとも１つを設けてもよい。

ここで、確信度表示領域１２３０を設けた場合、マーク画像１４１１「風景」の近傍に例えば「確信度：５５％」と表示され、マーク画像１４１２「人物」の近傍に例えば「確信度：４５％」と表示される。なお、本実施形態では、判別式の値に対応するPrecisionの値を確信度として用いているため、表示された複数の確信度の総和が１００％になるとは限らない。そこで、総和が１００％となるように確信度の比の値を百分率で表示してもよい。例えば、判別式の値から求めた「風景」の確信度が７５％であり且つ「人物」の確信度が５０％である場合、表示画面には、「風景」の確信度が６０％と表示され且つ「人物」の確信度が４０％と表示される。これにより、ユーザはシーン修正候補の全てが表示されていることを容易に理解することができる。

また、本実施形態では、撮影シーンタイプデータを用いたが、撮影モードデータを用いてもよい。

＝＝＝その他の実施形態＝＝＝
一実施形態としてのプリンタ等を説明したが、上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。

＜プリンタについて＞
前述の実施形態ではプリンタ４が顔識別処理やシーン識別処理、ユーザ確認画面表示処理（不一致関連情報表示）等をしていたが、デジタルスチルカメラ２が顔識別処理やシーン識別処理、ユーザ確認画面表示処理等をしても良い。また、上記の顔識別処理やシーン識別処理、ユーザ確認画面表示処理を行う情報処理装置は、プリンタ４やデジタルスチルカメラ２に限られるものではない。例えば、大量の画像ファイルを保存するフォトストレージのような情報処理装置が、上記の顔識別処理やシーン識別処理、ユーザ確認画面表示処理を行っても良い。もちろん、パーソナルコンピュータやインターネット上に設置されたサーバーが、上記の顔識別処理やシーン識別処理、ユーザ確認画面表示処理等を行っても良い。

＜画像ファイルについて＞
前述の画像ファイルはＥｘｉｆ形式であったが、画像ファイルフォーマットはこれに限られるものではない。また、前述の画像ファイルは静止画であるが、動画であっても良い。要するに、画像ファイルが画像データと付加データとを備えていれば、前述のようなユーザ確認画面表示処理を行うことが可能である。

＜シーン識別部３３の構成について＞
図９において、シーン識別部３３は、全体識別器５０を備えているとしたが、備えていなくてもよい。この場合には、部分識別器６０により、撮影シーン「夕景」「花」「紅葉」に関する識別処理が行われる。同様に、シーン識別器３３は、部分識別器６０を備えていなくてもよい。要するに、本発明は、少なくとも１つの識別器を用いて識別対象画像に基づいて識別対象画像が属するシーンを識別（推定）することができるように構成されていればよい。

＜サポートベクタマシンについて＞
前述のサブ識別器５１やサブ部分識別器６１には、サポートベクタマシン（ＳＶＭ）による識別手法が用いられている。しかし、識別対象画像が特定シーンに属するか否かの識別手法は、サポートベクタマシンを用いるものに限られるものではない。例えば、ニューラルネットワーク等のパターン認識を採用しても良い。

第１実施形態による画像処理システムの説明図である。プリンタの構成の説明図である。画像ファイルの構造の説明図である。図４Ａは、ＩＦＤ０で使われるタグの説明図である。図４Ｂは、ＥｘｉｆＳｕｂＩＦＤで使われるタグの説明図である。モード設定ダイヤルの設定とデータとの対応表である。プリンタの補正機能の説明図である。画像のシーンと補正内容との関係の説明図である。シーン識別部によるシーン識別処理のフロー図である。シーン識別部の機能の説明図である。全体識別処理のフロー図である。識別対象テーブルの説明図である。全体識別処理でサブ識別器が用いる肯定閾値の説明図である。 RecallとPrecisionの説明図である。第１否定閾値の説明図である。第２否定閾値の説明図である。図１６Ａは、風景識別器における閾値の説明図である。図１６Ｂは、風景識別器の処理の概要の説明図である。部分識別処理のフロー図である。夕景部分識別器が選択する部分画像の順番の説明図である。６４ブロックに分割された部分画像のうち、上位１０番目までの１０個の部分画像だけで夕景画像の識別をしたときのRecall及びPrecisionのグラフである。図２０Ａは、線形サポートベクタマシンによる判別の説明図である。図２０Ｂは、カーネル関数を用いた判別の説明図である。統合識別処理のフロー図である。本実施形態の不一致関連情報表示処理を含む印刷処理のフロー図である。図２２のステップＳ５０４において表示される表示画面の第１の例を示す図である。図２２のステップＳ５０４において表示される表示画面の第２の例を示す図である。図２２のステップＳ５０４において表示される表示画面の第３の例を示す図である。図２２のステップＳ５０４において表示される表示画面の第４の例を示す図である。第２実施形態におけるプリンタの補正機能の説明図である。第２実施形態において実行される統合識別処理のフロー図である。図２２のステップＳ５０４において表示される表示画面の第５の例を示す図であり、図２９Ａは、補正前画像を表示した状態を示しており、図２９Ｂは、第１の補正後画像を表示した状態を示しており、図２９Ｃは、第１の補正後画像とは異なる第２の補正後画像を表示した状態を示している。図２２のステップＳ５０４において表示される表示画面の第６の例を示す図である。

符号の説明

２デジタルスチルカメラ、２Ａモード設定ダイヤル、
４プリンタ、６メモリカード、１０印刷機構、
１１ヘッド、１２ヘッド制御部、１３モータ、１４センサ、
２０プリンタ側コントローラ、２１スロット、２２ＣＰＵ、
２３メモリ、２４制御ユニット、２５駆動信号生成部、
３１記憶部、３１Ａ画像記憶部、３１Ｂ結果記憶部、
３２顔識別部、３３シーン識別部、３４画像補正部、
３５プリンタ制御部、３６表示制御部、４０特徴量取得部、
５０全体識別器、５１サブ識別器、５１Ｌ風景識別器、５１Ｓ夕景識別器、
５１Ｎ夜景識別器、５１Ｆ花識別器、５１Ｒ紅葉識別器、
６０部分識別器、６１サブ部分識別器、６１Ｓ夕景部分識別器、
６１Ｆ花部分識別器、６１Ｒ紅葉部分識別器、
７０統合識別器、８０入力機構、９０表示機構、
１２００不一致関連情報メッセージ表示画面、
１３００，１４００サムネイル画像表示画面、
１５００並列表示画面、
１６００ａ，１６００ｂ，１６００ｃ切替表示画面、
１７００部分結合画像表示画面

Claims

画像を表示する表示部を備える情報処理装置において実行される情報処理方法であって、
画像データに予め付加されている付加データから、当該画像データに対応する画像が属するシーンに関するシーン情報を取得するシーン情報取得ステップと、
前記画像データに基づいて、当該画像データに対応する画像が属するシーンを推定シーンとして推定するシーン推定ステップと、
前記シーン情報が示すシーンと前記推定シーンとが一致するか否かを判別するシーン判別ステップと、
前記シーン判別ステップにおける判別の結果、前記シーン情報が示すシーンと前記推定シーンとが不一致である場合には、前記画像の一部に対して前記シーン情報に応じた画像補正を施した第１部分画像と、前記一部以外の前記画像に対して前記推定シーンに応じた画像を施した第２部分画像とを結合して一つの画像を構成した結合画像を前記表示部に表示するとともに、前記推定シーンが前記画像に顔画像が含まれていることを示す際には前記顔画像の中心が境界となるように前記第１部分画像と前記第２画像部分とを結合した前記結合画像を前記表示部に表示する表示ステップと
を有することを特徴とする情報処理方法。
前記シーン情報が示すシーンに応じて前記画像データに施すべき第１の画像補正、及び前記推定シーンに応じて前記画像データに施すべき第２の画像補正の一方の画像補正を選択する選択ステップを有することを特徴とする請求項１記載の情報処理方法。
前記選択ステップにおいて前記第２の画像補正が選択されたときは、前記画像データの付加データとして前記推定シーンに関するシーン情報を付加することを特徴とする請求項２記載の情報処理方法。
前記シーン推定ステップは、前記画像データに対応する画像を特徴付ける特徴量を取得する特徴量取得ステップと、前記特徴量に基づいて前記推定シーンの確からしさを示す確信度を設定する確信度設定ステップとを含むことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理方法。
画像を表示する表示部と、画像データに関する情報を処理するためのコントローラとを備える情報処理装置であって、前記コントローラは、
画像データに予め付加されている付加データから、当該画像データに対応する画像が属するシーンに関するシーン情報を取得するシーン情報取得ステップと、
前記画像データに基づいて、当該画像データに対応する画像が属するシーンを推定シーンとして推定するシーン推定ステップと、
前記シーン情報が示すシーンと前記推定シーンとが一致するか否かを判別するシーン判別ステップと、
前記シーン判別ステップにおける判別の結果、前記シーン情報が示すシーンと前記推定シーンとが不一致である場合には、前記画像の一部に対して前記シーン情報に応じた画像補正を施した第１部分画像と、前記一部以外の前記画像に対して前記推定シーンに応じた画像を施した第２部分画像とを結合して一つの画像を構成した結合画像を前記表示部に表示するとともに、前記推定シーンが前記画像に顔画像が含まれていることを示す際には前記顔画像の中心が境界となるように前記第１部分画像と前記第２画像部分とを結合した前記結合画像を前記表示部に表示する表示ステップと
を実行することを特徴とする情報処理装置。
画像を表示する表示部を備える情報処理装置が実行するプログラムであって、
画像データに予め付加されている付加データから、当該画像データに対応する画像が属するシーンに関するシーン情報を取得するシーン情報取得モジュールと、
前記画像データに基づいて、当該画像データに対応する画像が属するシーンを推定シーンとして推定するシーン推定モジュールと、
前記シーン情報が示すシーンと前記推定シーンとが一致するか否かを判別するシーン判別モジュールと、
前記シーン判別モジュールにおける判別の結果、前記シーン情報が示すシーンと前記推定シーンとが不一致である場合には、前記画像の一部に対して前記シーン情報に応じた画像補正を施した第１部分画像と、前記一部以外の前記画像に対して前記推定シーンに応じた画像を施した第２部分画像とを結合して一つの画像を構成した結合画像を前記表示部に表示するとともに、前記推定シーンが前記画像に顔画像が含まれていることを示す際には前記顔画像の中心が境界となるように前記第１部分画像と前記第２画像部分とを結合した前記結合画像を前記表示部に表示する表示モジュールと
を備えることを特徴とするプログラム。
請求項６記載のプログラムを記憶したことを特徴とする前記情報処理装置が読み取り可能な記憶媒体。