JP6103826B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、ユーザーによって指定されたパラメータを設定して画像データを処理し表示する画像処理装置、画像処理方法およびプログラムに関するものである。

デジテルカメラの画像処理の多機能化にともない、ユーザーが指定するパラメータが複雑化しており、パラメータを設定するＧＵＩ（グラフィカルユーザーインターフェース）もわかりやすいものが求められている。例えば、従来は、撮像中において、パラメータとしてフォーカスを合わせる位置を指定して撮像が行われている。一方、特許文献１や非特許文献１などに代表される多視点画像データから任意の被写体にフォーカスを合わせる処理（リフォーカス処理）を利用することにより、ユーザーは撮像後にフォーカスを合わせる被写体を指定することが可能となる。この場合、ユーザーが画面上に表示された画像の任意の位置をパラメータとして指定することによって、画像処理装置はその位置にある被写体にフォーカスを合わせた画像データを生成する。このように撮像後にフォーカスなどのパラメータを指定する操作体系は、ユーザーにとって未知の処理である。

一方、デジテルカメラの多機能化にともなう処理量の増加に対し、画像処理に時間がかかるようになってきている。これは、ユーザーがパラメータを指定し処理画像が表示されるまでのレスポンスタイムが非常に長くなることにつながる。レスポンスタイムが長い場合、処理の進捗を提示する方法として、特許文献２にあるように、プログレスバーを表示するという方法がある。プログレスバーには、ユーザーが進捗の度合いを確認する機能を提供することで、ユーザーの待つことに対する不快感を軽減する効果がある。

特開２０１１−２２７９６号公報 特開２０１０−７３０１４号公報

Ｒ． Ｎｇ， Ｍ． Ｌｅｖｏｙ， Ｍ．Ｂｒeｄｉｆ， Ｇ． Ｄｕｖａｌ， Ｍ． Ｈｏｒｏｗｉｔｚ， Ｐ． Ｈａｎｒａｈａｎ： "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（２００５）

従来にはない概念の画像処理のパラメータをユーザーに指定させる場合、新しい操作をユーザーに強いることになる。このとき、何ら指針がなければユーザーがどういったパラメータを指定すればよいか戸惑ってしまい適切なパラメータが設定されない可能性がある。

本発明に係る画像処理装置は、画像データを解析して、前記画像データに含まれる少なくとも一つの領域を、前記領域に対応する被写体の種別ごとに分類する分類手段と、前記分類した少なくとも一つの領域をユーザ指示に基づいて選択した選択履歴を保持する保持手段と、画像データを取得する取得手段と、前記保持手段に保持された前記選択履歴に基づいて、前記取得手段により取得された前記画像データに対して画像処理を施す処理手段と、前記処理手段により前記画像処理が行われた前記画像データに対して入力された、前記画像データの領域の選択指示に基づいて、前記選択履歴を更新する更新手段と、を有し、前記更新手段は、前記分類手段による分類に基づいて、前記選択履歴を更新することを特徴とする。

本発明によれば、推奨するパラメータをユーザーに提示することができることにより、ユーザーはパラメータの指定に関して戸惑うことなく、適切なパラメータを選択することができる。

本発明の実施例１に係る多眼カメラ全体のハードウェア構成の一例を示すブロック図である。 本発明の実施例１に係るリフォーカス処理の一例を示すフローチャートである。 本発明の実施例１に係るパラメータ選択処理の一例を示すフローチャートである。 本発明の実施例１に係る推奨領域の表示方法の一例を示すフローチャートである。 本発明の実施例１に係るリフォーカス演算領域の予測方法の一例を示すフローチャートである。 本発明の実施例１に係る過去の人物に関するリフォーカス履歴の一例を示す図である。 本発明の第１の実施例に係るリフォーカス画像データを保存する一時画像フォーマットの一例を示す図である。 本発明の実施例１に係る画面の表示例を説明する図である。 本発明の実施例２に係る再生時のリフォーカス処理の一例を示すフローチャートである。 本発明の実施例２に係る処理進捗を表示する方法の一例を説明する図である。 本発明の実施例２に係る進捗表示例を説明する図である。 本発明の実施例１に係る多視点画像を保存する画像データフォーマットの一例を示す図である。 本発明の実施例２に係る画面の表示例を説明する図である。 本発明の実施例１に係るハードウェア構成の一例を示すブロック図。 本発明の実施例１に係るリフォーカス済み画像の表示例を示す図である。

以下、図面を用いて本発明の実施例について詳細に説明する。

図１は、本発明による実施例１の画像処理装置のハードウェア構成の一例を示すブロック図である。以下、図１について詳細に説明する。多眼カメラ撮像部１０１は、相互に独立した光学系と撮像素子とを持つ相互に独立した複数のカメラの集合体である。多眼カメラ撮像部１０１は、撮像素子の制御部等を含み、複数の撮像素子からの出力データの集合を多視点画像データとして出力する。

ＲＡＭ１０２は、多眼カメラ撮像部１０１で撮像した多視点画像データの一時記憶や生成したリフォーカス画像データの一時記憶、およびその他演算途中のデータなどの一時記憶に使用する為のメモリである。ＦｌａｓｈＲＯＭ１０７は、不揮発メモリであり、過去にユーザーが選択した画像（種別と位置）や操作に関する履歴を累積、記憶する。外部メモリ１０９は、ＳＤカードなどの外部メモリである。また、外部メモリ１０９は不揮発メモリであり、電源を切っても画像データは保存される。外部メモリ１０９には、多眼カメラ撮像部１０１で撮像した多視点画像データが、例えば図１２に示される画像データフォーマットに従って画像ファイルとして保存される。画像データフォーマットの詳細は後述する。また外部メモリ１０９は、処理中の画像データを一時画像ファイルとして一時的に保存する領域としても利用される。

メモリ制御部１１０は、いわゆるバスシステムと、バスシステムに接続されるメモリやデバイスの制御部から構成され、例えば、ＲＡＭ１０２、ＦｌａｓｈＲＯＭ１０７、外部メモリ１０９の各メモリに対するデータの読み書きを制御する。

ユーザーＩ／Ｆ（インターフェース）１０６は、機器の操作や、ユーザーがリフォーカス表示を希望する画像又は領域を選択したり、又は撮像済み画像の表示に係わるモード選択を行う為のＩ／Ｆ（インターフェース）である。具体的には、ディスプレイ１０５上に設置されるタッチパネルや、シャッターボタン、操作ダイアルなどユーザーｉ／Ｆに対応する。

全体制御部（ＣＰＵ）１０８は、機器全体の制御や、ＦｌａｓｈＲＯＭ１０７に記憶されている履歴情報から最も頻度の高い領域を選択し、リフォーカス演算部１０３へ指示するなどの演算制御を行う。

リフォーカス演算部１０３は、全体制御部１０８の指示に従って、多視点画像データからリフォーカス画像データを生成する。ここで、多視点画像データからリフォーカス画像データを生成する概要を説明する。ライトフィールドフォトグラフィでは、多視点画像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド、以下、「ＬＦ」という。）を計算する。そして、得られたＬＦの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、撮像後に任意の領域に焦点を合わせたリフォーカス画像データを生成することが可能となる。なお、リフォーカス処理は本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。リフォーカス画像データは、多視点画像データから生成される合成画像データということができる。生成されたリフォーカス画像データは、ＲＡＭ１０２や、外部メモリ１０９などへ格納される。詳細は後述する。

グラフィックプロセッサ１０４は、リフォーカス演算部１０３で生成されたリフォーカス画像データをディスプレイ１０５に表示する機能を具備している。ネットワークＩ／Ｆ１１１０は、機器外とネットワーク接続を行い、ネットワーク上の外部機器との間でデータ転送を行う。

画像解析部１１２は、画像データ中の特性を解析して被写体の領域を検出し、領域毎に識別コードを割り当てる。画像解析部１１２は、検出した被写体の領域情報と識別コードとをＲＡＭ１０２に記憶する。本実施例の被写体とは、前景にあたる人や動物だけでなく、背景に含まれる風景部分も含むものとする。被写体の検出は、例えば、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用することで実施できる。あるいは、被写体の検出は、顔の対称的特徴、顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによっても実施できる。背景の検出は、例えば前述の方法で画像内の人物や動物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分することができる。例えば、被写体領域を矩形と仮定すると、領域情報の形式は、左上と右下の座標で示される。また、被写体の識別対象は、人（又は顔）、動物、風景の三種類としているが、これに限定されず、さらに細かい分類をすることも可能である。なお、被写体の検出および識別方法は、本実施例の主眼ではなく、上述した手法以外の手法を用いても良い。画像解析部１１２での被写体検出および識別機能は、画像撮像後、直ちに実施され、その結果は例えば、ＲＡＭ１０２や外部メモリ１０９のような不揮発メモリに記憶される。したがって、本実施例の説明に於いては、これら被写体の領域情報と識別コードとが既に記憶されていることを前提とする。
多眼カメラ撮像部１０１が撮像した多視点画像データは、図１２の画像データフォーマットに従って、画像ファイルとして、外部メモリ１０９に記録される。
図１２は、本実施例に於ける多視点画像データを画像ファイルとして保存する際に用いる画像データフォーマットを説明する図である。図１２に示す画像ファイルは、画像幅を示す情報１２０１、画像高さを示す情報１２０２、リフォーカス位置情報１２０３、多視点画像ヘッダ情報１２１０、多視点画像データ１２０４を含む。

リフォーカス位置情報１２０３は、位置情報存在フラグ１２０５を含む。位置情報存在フラグ１２０５は、リフォーカス位置情報が存在するか否かを示す情報である。この位置情報存在フラグは、例えば初期状態（履歴が無い状態）では０（偽）である。１（真）である場合に後続の位置情報１２０６〜１２０９の値を有効とすることができる。すなわち、位置情報存在フラグが真である場合、リフォーカスされた位置を示す情報が含まれていることになる。Top_left_x１２０６は、リフォーカス領域の左上のＸ座標を示す情報である。Top_left_y１２０７は、リフォーカス領域の左上のＹ座標を示す情報である。Bottom_right_x１２０８は、リフォーカス領域の右下のＸ座標を示す情報である。Bottom_right_y１２０９は、リフォーカス領域の右下のＹ座標を示す情報である。

なお、１２０５は、画像ファイルの付加の真偽を示す一ビットの情報で十分であるが、かならずしも、１ビットに限定されない。リフォーカス位置情報フォーマットの形式を示す多値をとってもよい。例えば、次のような構成をとることも可能である。１２０５が０の場合は、位置情報が存在しない。１２０５が１の場合は、位置情報は、上述のように矩形情報として表現される。１２０５が２の場合は、位置情報は、フォーカス対象を示す円の中心座標と半径を位置情報として表現される。

多視点画像ヘッダ情報１２１０には、リフォーカス処理を行うために必要な情報や補助的な撮像情報が含まれる。例えば、カメラ機種名、レンズ構成、撮像日、シャッタースピード、および、露出プログラムなどである。また、多視点画像ヘッダ情報１２１０には、リフォーカス処理に用いられる多視点画像データの中の各画像データの位置情報が含まれる。本実施例では、位置情報存在フラグの真偽に関わらず、位置情報１２０６〜１２０９が存在する構成例を示している。しかしながら、本例に限定されず、位置情報存在フラグが偽の場合は、位置情報１２０６〜１２０９エントリーそのものを画像データに含めない構成とすることも可能である。また、リフォーカス位置情報は、任意の形状を示すように構成することも可能であり、本実施例で説明する矩形領域に限定するものではない。

なお、多視点画像データ１２０４は、撮像素子から得られたＲＡＷ画像データであってもよいし、デモザイキング処理、ホワイトバランス処理、ガンマ処理、及びノイズ低減処理などの現像処理が施された現像後画像データであってもよい。また、本実施例では多眼カメラ撮像部１０１を用いる例を説明したが、多視点画像データは複数の視点位置からのデータであればよく、例えばマイクロレンズアレイを用いて得られる撮像データを用いてもよい。

図２は、再生モードに移行してから、１枚目のリフォーカス画像を表示するまでのフローチャートである。再生モードは、外部メモリ１０９に保存された画像ファイルをディスプレイ１０５で表示する制御を行う動作モードである。図２のフローは、全体制御部（ＣＰＵ）１０８が、リフォーカス演算部１０３およびグラフィックプロセッサ１０４等を制御することにより実行される。

全体制御部１０８が、図２に示す制御を実行する為のプログラムは、例えば、ＦｌａｓｈＲＯＭ１０７等に記憶されている。また、上述したリフォーカスのためのプログラムも同様に記憶されている。図２に示すフローに於ける画像ファイルは、多眼カメラ撮像部１０１により撮像された多視点画像データが、図１２で示すようにヘッダ情報と共に外部メモリ１０９に既に記録されていることを前提としている。

ステップＳ２０１では、全体制御部１０８は、動作モードを再生モードに移行する。ステップＳ２０１の処理に移る場合として、以下の３パターンが考えられる。
１．再生モード以外で起動中であり、その後再生モードに切り換え
２．起動時に既に再生モード
３．再生モードで別の画像を指定された時
ステップＳ２０２では、全体制御部１０８が画像ファイルを外部メモリ１０９から取得する。ステップＳ２０３では、全体制御部１０８が再生リフォーカスモードと履歴情報とを取得して、処理をＳ２０４へ移行する。再生リフォーカスモードとは、リフォーカス演算済みの画像データ（以下、リフォーカス画像データと称する）を表示する際に、例えば、人モード、風景モード、動物モードなどを選択するモードである。履歴情報とは、過去にユーザーが選択した画像データの種別及び位置や、操作に関する履歴を累積した情報である。履歴情報の詳細については後述する。ステップＳ２０４では、全体制御部１０８が読み込んだ画像ファイルのヘッダ情報を解析する。ヘッダ情報は、図１２の１２０１から１２０３に該当する。本実施例では、リフォーカス位置情報１２０３を特に解析する。

ステップＳ２０５では、全体制御部１０８が、ステップＳ２０４で解析したヘッダ情報にリフォーカス位置情報が存在するか否かを判定する。リフォーカス位置情報が存在する場合には処理がステップＳ２０６に移行し、存在しない場合にはステップＳ２０７に移行する。本実施例では、図１２に示される位置情報存在フラグ１２０５を１ビットのフラグとして扱い、フラグの値が１の場合には、全体制御部１０８は、リフォーカス位置情報が存在すると判定してステップＳ２０６に遷移する。フラグの値が０の場合は、全体制御部１０８はリフォーカス位置情報が存在しないと判定してステップＳ２０７に移行する。

ステップＳ２０６では、全体制御部１０８は、ステップＳ２０２で読み込んだ画像ファイルのリフォーカス位置情報１２０３を解析して得られたリフォーカス位置情報を利用してリフォーカス演算部１０３を制御し、リフォーカス画像データを生成する。

具体的には、リフォーカス演算部１０３は、再生ファイルに含まれる多視点画像データ１２０４から、位置情報１２０６と１２０８との平均をＸ座標、位置情報１２０７と１２０９との平均をＹ座標とする位置にフォーカスが合った画像データを生成する。リフォーカス演算部１０３で生成されたリフォーカス画像データは、グラフィックプロセッサ１０４を介して、ディスプレイ１０５に表示される。図１５（ａ）は生成されたリフォーカス画像データを表示する表示例である。また生成されたリフォーカス画像データは、図７に示される一時画像ファイルフォーマットに従って一時画像ファイルとして、外部メモリ１０９又はＲＡＭ１０２に保存される。図７は、リフォーカス演算部１０３で生成されたリフォーカス画像データを含む画像ファイルの一時画像ファイルフォーマットの一例を示す図である。一時画像ファイルフォーマットに従う画像ファイルは、リフォーカス位置情報７０２と、リフォーカス画像データ７０５とを含む。リフォーカス位置情報７０２には、リフォーカス画像データ７０５のリフォーカス処理を行った際にフォーカスを合わせた位置を示す情報が含まれる。位置情報７０６〜７０９は、図１２の位置情報１２０６〜１２０９と同じ情報とすることができる。なお、図７に示す一時画像ファイルは、例えばリフォーカスの画像データ毎に生成される。

ステップＳ２０６に処理が進んでいるということは、リフォーカス位置情報が存在していることになる。従って、そのリフォーカス位置情報を図７の７０２で示すリフォーカス位置情報に含めた一時画像ファイルを記憶する。なお、一時画像ファイルの記憶場所は、外部メモリ１０９、ＲＡＭ１０２に限定されるものではなく、ネットワークＩ/Ｆ１１１を介して、クラウド上に存在する任意の記憶装置に記憶しても良い。
次に、ステップＳ２０５にて、ヘッダ情報にリフォーカス位置情報が存在しない場合の処理を説明する。ステップＳ２０７の処理は、ステップＳ２０２でメモリから読み出した画像ファイルにリフォーカス位置情報が無い場合、即ち再生モードでの表示が初めての画像ファイルである場合の処理である。本実施例では、履歴情報に基づいてリフォーカス画像データを生成し、一時画像ファイルとして記憶する。また、履歴情報の更新を実施する。履歴情報に基づいてリフォーカス画像データを生成する処理、および履歴情報を更新する処理については、図３に関連して説明するため、ここで説明を省略する。

ステップＳ２０８は、グラフィックプロセッサ１０４がステップＳ２０７で生成したリフォーカス済み画像をディスプレイ１０５に表示する。ステップＳ２０８では、グラフィックプロセッサ１０４は、ディスプレイ１０５にパンフォーカス画像を表示する。例えば、図８（ｄ）のように全ての被写体にフォーカスがあたったパンフォーカス画像がディスプレイ１０５に表示される。ただし、表示制御される画像はパンフォーカス画像に限定されない。リフォーカス画像が生成済みであれば、リフォーカス画像を表示する構成をとることも可能である。

ステップＳ２０９では、推奨領域表示処理を実行する。本実施例では、推奨領域とは、例えばピントを合わせる被写体候補を囲む矩形領域であり、画像の画素を一単位とする、左上の点、右下の点の座標である。この推奨領域は、ユーザーによって指定されるパラメータということができる。

図４は、推奨領域表示処理の一例を説明するフローチャートである。以下、推奨領域表示処理について詳細に説明する。

ステップＳ４０１では、全体制御部１０８が優先被写体数を取得しＣＯＵＮＴに代入する。優先被写体数は、ステップＳ２０７で生成されている。すなわち、優先被写体数は、例えば履歴情報に基づいてリフォーカス画像データを生成する際に、フォーカスを合わせた被写体の数である。本実施例では、優先被写体数は３であるものとして説明するがこれに限定されない。

ステップＳ４０２では、全体制御部１０８がカウンターＮを０として初期化する。ステップＳ４０３では、全体制御部１０８がカウンターＮとＣＯＵＮＴとを比較する。Ｎ＞ＣＯＵＮＴの場合には処理を終了し、Ｎ≦ＣＯＵＮＴの場合にはループ処理を続行するためにステップＳ４０４を実行する。

ステップＳ４０４では、全体制御部１０８が、被写体予測優先度がＮの推奨領域を取得する。被写体予測優先度Ｎは、Ｎ値が小さいほど、推奨の度合いが高いことを示すものである。被写体予測優先度Ｎは、履歴情報に基づいてリフォーカス頻度が高い被写体に付けられた優先度である。

ステップＳ４０５では、全体制御部１０８がグラフィックプロセッサ１０４を制御して、取得した推奨領域を示す推奨領域枠をディスプレイ１０５の画面上へ表示制御する。以下、ＧＵＩの表示例を図８を用いて説明する。本実施例では、推奨領域とは、被写体を囲む矩形の領域であるため、この矩形を表示画像にオーバーラップさせるように推奨領域枠を描画する。なお、推奨領域の座標系は、画像の画素を一単位としているため、ディスプレイの解像度が画像の解像度に満たない場合、スケーリングされて推奨領域枠として描画されるものとする。

Ｓ２０８で説明したように、推奨領域表示処理の開始段階で図８（ｄ）であったものが、Ｎ＝１の場合は、画面には、図８（ａ）のように推奨領域枠が一つ画像上に表示される。なお、本実施例では、この枠は赤色であるものとする。Ｎ＝２の場合は，図８（ｂ）のように２つ目の推奨領域枠が表示される。Ｎ＝３の場合は，図８（ｃ）のように３つ目の推奨領域枠が表示される。このように、ループ処理によりカウンターＮが増加するに従って、フォーカスを合わせる候補の被写体上に、矩形が描画されていくことになる。なお、先に説明したように、この推奨領域枠の表示順は、履歴情報に基づいて決定されることができる。ステップＳ４０６では、カウンターＮをインクリメントし、ステップＳ４０３に遷移する。このようにしてループ処理が実行される。

ステップＳ２２０では、グラフィックプロセッサ１０４がパラメータ選択ＵＩ画面を追加でディスプレイ１０５に表示する。ステップＳ２０６で表示されたリフォーカス画像データにパラメータ選択ＵＩ画面を追加した例を図１５（ｂ）に示す。図１５（ｂ）の例に於いては、タッチパネルでユーザーがフォーカスを合わせたいポイントを指定することを想定している。すなわち、グラフィックプロセッサ１０４は、フォーカスを合わる位置（パラメータ）をユーザーに選択させるためのＵＩ画面を表示する。なお、パラメータは、画像中の２次元の位置情報を表してもよいし、多視点画像の中の空間的な距離（奥行き）を表してもよい。

一方、ステップＳ２０９で推奨領域枠の表示がされたリフォーカス画像データにも同様に、図１５（ｂ）で示すようなメッセージを含めたパラメータ選択ＵＩ画面を追加する。なお、ステップＳ２０９では推奨領域枠が表示されているので、当該枠内の領域を選択するようユーザーに促がすメッセージを表示してもよい。

ステップＳ２２１では、全体制御部１０８は、ステップＳ２０２で読み取った画像ファイルのリフォーカス位置情報１２０３の更新を実施する。すなわち、ヘッダ情報にリフォーカス位置情報が存在していない場合、ステップＳ２０７でリフォーカス位置が決定された領域の位置情報でリフォーカス位置情報１２０３を更新する。なお、ヘッダ情報にリフォーカス位置情報が存在している場合、ステップＳ２０２で読み取った画像ファイルのリフォーカス位置情報１２０３の更新は行わなくてよい。以上が、再生モードを起動した場合の動作、すなわち、ある画像ファイルを読み取った場合の最初に表示されるリフォーカス画像に関する処理である。

続いて、１枚目のリフォーカス画像データを表示した後の動作（２枚目以降のリフォーカス画像データの表示、動作の終了等）について、図３を用いて説明する。すなわち、図２のフローで説明した画像ファイルを読み取った場合に最初に表示されるリフォーカス画像を表示した後の処理を図３を用いて説明する。図３に示すフロー全体が、図２のフローと同様に、全体制御部１０８により制御されている。
図２のステップＳ２２０で、図１５（ｂ）に示すパラメータ選択ＵＩが表示されると、ユーザーは、表示されたＵＩを利用して、パラメータの選択を行う事が可能になる。ステップＳ３０１では、全体制御部１０８は、ＵＩを使用して、ユーザーがパラメータを選択した時は、処理をステップＳ３０４へ移行する。本実施例では、ユーザーが画面上の１点を指定することによって、パラメータを選択することとする。次に、ステップＳ３０４では、ステップＳ３０１でユーザーによって選択されたパラメータを取得する。ステップＳ３０４では、全体制御部１０８は、図７の形式で記憶されている一時画像ファイル群を探索する。そして一時画像ファイル群の中から、リフォーカス位置情報７０２で特定される領域が、ステップＳ３０１にてユーザーが指定（選択）したパラメータを含むリフォーカス画像データが存在するか否かを判定する。ステップＳ３０４でユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像ファイルが存在する場合、処理をステップＳ３０９へ移行する。ステップＳ３０９では、前記リフォーカス画像データを含む一時画像ファイルの情報（位置、表示履歴情報）を更新し、処理をステップＳ３０６へ移行する。詳細は後述する。

ステップＳ３０６では、グラフィックプロセッサ１０４が、前記ユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像を所定のディスプレイ１０５に表示する。

一方、ステップＳ３０４で、ユーザーが指定したパラメータに適合するリフォーカス画像データを含む一時画像ファイルが存在しなかった場合は、全体制御部１０８は、処理をステップＳ３０５へ移行する。ステップＳ３０５では、ステップＳ３０１でユーザーが指定したパラメータに基づいて、リフォーカス演算部１０３が、当該パラメータが示す領域にフォーカスが合ったリフォーカス画像データを生成する（第１の画像処理）。ステップＳ３０５では、生成したリフォーカス画像データを例えば、ＲＡＭ１０２等に図７に示す一時画像ファイルとして記憶する。

ステップＳ３０５の処理が完了したら、ステップＳ３０６へ移行する。全体処理部１０８は、処理をステップＳ３０９へ移行する。

ステップＳ３０９では、ステップＳ３０５にて、ユーザーが、ステップＳ３０１で指定したパラメータに従って生成したリフォーカス画像に関する情報（位置および表示履歴情報）の更新を実施し、処理をステップＳ３０６に移行する。詳細は後述する。

ステップＳ３０６では、例えば、ＲＡＭ１０２等から、ステップＳ３０１で指定されたパラメータに従って生成または選択されたリフォーカス画像データを読み出して、ディスプレイ１０５へ表示する。
ここで、ステップＳ３０９に於ける情報更新について、詳しく説明する。

先に説明したように、画像解析部１１２によって、撮像後の多視点画像データ内の被写体の領域が検出され、かつ領域毎に識別コードを割り当てられ、領域情報と識別コードとがＦｌａｓｈＲＯＭ１０７や、外部メモリ１０９のような不揮発メモリに記憶されている。ここでは、記憶されている領域情報と指定されたパラメータとを比較して、領域情報の中に指定されたパラメータが含まれている場合、その領域情報を位置情報として更新する。すなわち、被写体として分類され、その被写体の位置が特定されている領域情報を、一時画像ファイルのリフォーカス位置情報７０２として更新する。一方、記憶されている領域情報と指定されたパラメータとを比較して、領域情報の中に指定されたパラメータが含まれていない場合、指定パラメータを一時画像ファイルのリフォーカス位置情報７０２として更新する。
次に、履歴情報について、図５を用いて説明する。図５に於いて、識別コードは、画像解析部１１２で識別された識別コードである。頻度は、再生モードに於いて、識別コード（人、風景等）で示される各領域に対して、ユーザーがフォーカスを合わせた画像の表示を指示した頻度のことである。この頻度は、ある画像ファイルごとの頻度であってもよいし、画像ファイルを問わずに、画像処理装置におけてあるユーザーが指示した頻度であってもよい。図５（ａ）は、５０１が識別コード＝風景、５０２が識別コード＝人、５０３が識別コード＝動物の例を示している。ここで、識別コード毎の頻度順位は、以下の通りである。
１位：風景（５０１）
２位：人（５０２）
３位：動物（５０３）
図５（ｂ）は、識別コード＝人に関して、識別コードを更に細分化した例を示したものである。なお、娘、息子、父の区別は、例えばそれぞれの顔画像の特徴ベクトルを算出しておき、人物と判定された領域の特徴ベクトルと比較することによって判定することができる。ここで、識別コード毎の頻度順位は、以下の通りである。
１位：ユーザーの娘（５０５）
２位：ユーザーの息子（５０６）
３位：ユーザーの父（５０７）
４位：登録外の人物（５０８）
本実施例に於いて、履歴情報は、各識別コードの頻度情報のことを指す。

次に履歴情報の更新について述べる。先に説明したように、領域情報の中に指定されたパラメータが含まれていた場合、その領域に関連付けられた識別コードの頻度情報をインクリメントする。一方、領域情報の中に指定されたパラメータが含まれていない場合、有用な情報は、座標情報のみなので、履歴情報は更新しない。

次にステップＳ３０１で、ユーザーが、パラメータを選択しなかった場合の処理について説明する。すでに表示されている画像を継続して表示した状態で、処理をステップＳ３０２へ移行する。
ステップＳ３０２では、画像解析部１１２で抽出した全ての領域情報に対して、全体制御部１０８は、各領域情報にフォーカスを合わせたリフォーカス画像データを生成したか否かを判定する。この処理は、第２の画像処理を行ったか否かということもできる。具体的には、全ての領域情報に対して、各領域情報を含むリフォーカス位置情報７０２を有する一時画像ファイルが存在するか否かを判定する。
ステップＳ３０２で、全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、処理をＳ３０３へ移行する。一方、ステップＳ３０２で、全ての領域情報に対して、リフォーカス画像の生成が完了していると判定された場合は、処理をＳ３０７へ移行する。
全ての領域情報に対して、リフォーカス画像を生成していないと判定された場合、ステップＳ３０３で、履歴情報に基づいて、リフォーカス画像データを生成する。詳細は後述する。次に生成したリフォーカス画像をＳ３０６で表示した後、ステップＳ３０７へ移行する。
Ｓ３０７では、全体制御部１０８は、再生モードを終了するか、継続するかを判定する。Ｓ３０７に於ける再生モードの終了条件は、例えば以下の３つである。
１．再生モードを除くモードに切り換えた時
２．電源をＯＦＦした時
３．再生モードで別の画像を指定された時
Ｓ３０７で再生モード終了と判定された場合は、処理をＳ３０８へ移行し、再生モードの終了に必要な各種処理が実行され、再生モードを終了する。一方、ステップＳ３０７で再生モード継続と判定された場合は、処理をステップＳ３０１へ戻し、ステップＳ３０１からの操作を繰り返す。
なお、パラメータ選択は、ユーザーが画面上の１点を指すことで行うこととしたが、閉領域として指定することも可能である。例えば、ユーザが指定した点を含む画像および指定された閉領域に含まれる画像をＦｌａｓｈＲＯＭ（履歴記憶部）１０７の履歴と比較することにより、履歴情報の有無を判定することができる。

次に、図２のＳ２０７と図３のＳ３０３に於ける処理詳細について、図５のフローチャートを用いて説明する。図５のフローチャートに示す処理は、全体制御部（ＣＰＵ）１０８が、リフォーカス演算部１０３およびグラフィックプロセッサ１０４等を制御することにより、実行される。

先に説明したように、画像解析部１１２によって、撮像後の多視点画像データ内の被写体の領域が検出され、かつ領域毎に識別コードを割り当てられ、領域情報と識別コードとがＲＡＭ１０２や、外部メモリ１０９のような不揮発メモリに記憶されている。また、履歴情報は、図６に示す頻度情報のこととする。即ち、過去の履歴（頻度）は、風景画像が頻度１位、人の画像が２位、動物の画像が３位であると仮定する。更に、人の画像は、頻度１位が娘、２位が息子、３位が父、４位が登録外人物と仮定する。
ステップＳ５０１では、全体制御部１０８は、リフォーカス画像データを未生成の領域を特定する。まず、全体制御部１０８は、対象画像データ（すなわち、Ｓ２０２で読み込んだ画像ファイルの多視点画像データが示す画像データ）に関する画像解析結果の識別コード及び領域情報のペアの全てを取得する。また、全ての一時画像ファイルに含まれるリフォーカス画像データの位置情報を取得する。次に、取得した情報の中から、一時画像ファイルに含まれるリフォーカス位置情報７０２と、領域情報とを比較する。そして、位置情報が領域情報に含まれるものは省いて、対応する位置情報が存在しない領域情報を抽出する。この領域情報は、即ち、リフォーカス画像データを生成していない領域に対応する。
次に、全体制御部１０８は、ステップＳ５０２で、ステップＳ５０１で抽出した領域情報に関連付けられた識別コードの中で、履歴情報の頻度が最も高い識別コードに一致するものを選択する。選択の結果、風景に該当する識別コードの頻度が、最上位であった場合、ステップＳ５０３へ移行する。ステップＳ５０３では、風景画像に対応する領域が、Ｓ５０１で抽出した領域情報にあるか否かを判定する。風景画像がある場合、ステップＳ５０４へ移行する。

ステップＳ５０４では、識別コードが風景である領域情報を抽出して、それが１つである場合は、その領域を次にリフォーカス画像データを生成する領域として決定する。また風景に該当する識別コードを持つ領域が複数存在する場合、例えば、領域情報の左上のＸ座標とＹ座標をもって、順位を決定することができる。具体的には、Ｘ座標の値が小さい順にリフォーカス演算順位を決定することができる。また、同一のＸ座標が複数存在する場合は、Ｙ座標の小さい順でリフォーカス演算順位を決定することができる。ここでは、最も順位の高い領域情報を次にリフォーカス画像を生成する領域として決定する。
次に処理をステップＳ５０５へ移行する。ステップＳ５０５では、リフォーカス演算部１０３が、ステップＳ５０４で決定された順位に基づいて当該順位の領域情報にフォーカスを合わせたリフォーカス画像データを生成する。具体的には、多視点画像データから、左上と右下の座標の平均を取った結果をＸ座標、Ｙ座標とする位置にフォーカスが合った画像データを生成する。

次に、処理をステップＳ５０６へ移行する。ステップＳ５０６では、ステップＳ５０５で生成したリフォーカス画像データと共に、そのフォーカスを合わせた領域情報をリフォーカス位置情報とした一時画像ファイルを図７に示す一時画像ファイルフォーマットで記憶する。
次に処理をステップＳ５０７へ移行する。ステップＳ５０７では、履歴情報を更新する。具体的には、選択された識別コードに該当する頻度をインクリメントする。そして処理を終了する。

次に、ステップＳ５０２に戻って、選択の結果、人に該当する識別コードの頻度が、最上位であった場合、ステップＳ５０９へ移行する。ステップＳ５０９では、人の画像があるか否かを判定する。人の画像がない場合、ステップＳ５０２に戻る。人の画像がある場合、ステップＳ５１０に移行する。ステップＳ５１０では、図６（ｂ）で示すような登録者の識別コードがあるか否かを判定する。登録者の識別コードがあった場合、処理をステップＳ５１１へ移行する。ステップＳ５１１では、履歴情報の中に、ステップＳ５１０で存在が確認された登録者がいるか否かを判定する。履歴情報の中に登録者がいた場合、処理をステップＳ５１２へ移行する。ステップＳ５１２では、履歴情報の頻度に従って、リフォーカス画像生成の順位を決定する。図６（ｂ）では、順位１位が娘、２位が息子、３位が父というようになっているので、例えば、識別コードの中に娘が存在すれば、娘を最上位とする。
ステップＳ５１１で、履歴情報の中に登録者がいない場合、処理をステップＳ５１３へ移行する。また、ステップＳ５１０で、登録者の識別コードが無かった場合、処理をステップＳ５１４へ移行する。なお、ステップＳ５１３及びＳ５１４は、Ｓ５０４と同様の処理を行う。
次に、ステップＳ５０２に戻って、選択の結果、動物に該当する識別コードの頻度が、最上位であった場合、ステップＳ５１５へ移行する。ステップＳ５１５で動物の画像があると判定した場合、ステップＳ５１６へ移行する。なお、ステップＳ５１６の処理については、Ｓ５０４と同様の処理を行うことができる。
このように、過去の履歴を利用することで、リフォーカス画像データの生成をユーザーに指示される前に、実施することが可能となる。すなわち、多視点画像データを含む画像ファイルを最初に読み出した際に、そのファイルのヘッダ情報にリフォーカス位置情報が含まれていない場合、履歴情報を用いてリフォーカス画像データをユーザーの指示なしに生成することができる。また、履歴情報を用いることで、そのユーザーが過去にフォーカスを合わせた被写体の頻度に応じてリフォーカス画像データを生成することができる。ユーザーの指示なしに予めリフォーカス画像データを生成しておくことによって、ユーザーが希望するフォーカス領域を指定した時、リフォーカス演算時間を待つことなく、ユーザーが希望するリフォーカス画像を表示することが可能となる効果がある。
また、本実施例では、多視点画像データが含まれる画像ファイルに、ユーザーが最後に指定したフォーカス位置を特定するパラメータ情報を埋め込んでいる。これにより、次回、画像ファイルを読み込んで、表示する際、ユーザーが最後に表示していた画像を、パラメータの再設定なしに表示することができる。これにより、ユーザーによるパラメータ設定の手間を省くことができ、本技術を組み込んだ装置の操作性が向上することにつながる。

なお、本実施例では、説明を簡単にする為、図５の例では３種類（人、風景、動物）の選択肢を例に挙げて説明したが、識別可能なものは選択肢に加えて構わない。更に、人の画像に関しても本実施例では、娘、息子、父、登録外人物というように、３人の登録者と登録外人物として説明したが、登録者を例えば、４人以上としても構わない。また、登録人物についても家族としたが、それに限定されるものではない。
また、本実施例によれば、フォーカスを合わせる対象となる推奨領域を矩形の枠で表示することにより、ユーザーがフォーカスを合わせる位置を容易に判断することができ、その位置を指定することができるようになる。

また、本実施例は、履歴情報に基づいてユーザーが選択する可能性が高い被写体の領域に対するリフォーカス処理をユーザーによるパラメータ選択に先んじて実施している。このように、ユーザーによるパラメータ選択処理に先んじたリフォーカス処理と推奨領域枠を表示する機能とを組み合わせることにより、ユーザーに推奨領域枠の選択を促すことができる。つまり、本実施例では、ユーザーが推奨領域枠を選択した場合、予めリフォーカス処理されたリフォーカス画像を高速に表示することができる。

なお、本実施例では、被写体予測優先度Ｎは、履歴情報に基づいたリフォーカス頻度としたが、これに限定されない。例えば、顔検出などを行い、検出された顔領域が広い順に優先度を設定してもよい。また、画像処理は、リフォーカスに限定されない。例えば、選択した領域にハイパスフィルタを施すための、領域選択処理に用いていてもよい。さらに、推奨領域枠は、領域を示す矩形の位置情報であるものとして説明したが、それに限定されない。円や任意の形状であってもかまわない。

本実施例では、図１の全体制御部１０８が図１上の各モジュールを操作するものとして説明したが、実行されるハードウェア構成に制限はない。画面上に推奨領域枠を表示することが特徴であり、例えば、多眼カメラ撮像部１０１、リフォーカス演算部１０３、画像解析部１１２を持たないパーソナルコンピュータで実行することも可能である。図１４は、パーソナルコンピュータのハードウェア構成例のブロック図を示している。特別な記述がない場合、その構成および動作は図１で示されるハードウェアと同等の動作をするものとする。図１４で示すように、通常のパーソナルコンピュータは、図１で説明したリフォーカス演算処理部、画像解析処理部を持たない。そのため、リフォーカス演算処理、画像解析処理は、全体制御部１０８で実行されることになる。また、画像ファイルや履歴情報は、外部メモリや履歴情報記憶部の代わりにＨＤＤ１４０１に記録されることになる。

実施例２では、リフォーカス処理により特定の被写体にピントを合わせるために推奨領域を表示して、リフォーカス処理を行う処理を説明する。実施例２は、図９、図１０、図１１、および、図１３を使って説明する。なお、本実施例で示されるフローチャートは、図１の全体制御部１０８で実行され、全体制御部１０８が、図１上の各モジュールを操作することにより実現するものとして説明する。各工程は、特別な記述がない場合は、実施例１における工程と同様の処理が実行されるものとする。

以下、図９のフローチャートについて詳細に説明する。図９は、図２のフローの変形例を説明するフローチャートであり、図２に対し、ステップＳ２０９の後に、ステップＳ９０１が追加されている。その他の処理は図２で説明したものと同様の処理とすることができるので、説明を省略する。

ステップＳ９０１では、全体制御部１０８は進捗表示を開始する。進捗表示は、ステップＳ２２０のステップに対して、並行して実行される。つまり、進捗表示とリフォーカス画像データ生成処理は平行して実行されることになる。以下、この進捗表示フローについて、図１０を使って説明する。

図１０は、画像処理の進捗に同期し、推奨領域を強調表示するフローチャートである。ステップＳ１００１では、全体制御部１０８は優先被写体数を取得しＣＯＵＮＴに代入する。優先被写体数は、ステップＳ２０７で生成されている。すなわち、優先被写体数は、例えば履歴情報に基づいてリフォーカス画像データを生成する際に、フォーカスを合わせた被写体の数である。本実施例では、優先被写体数は３であるものとして説明するがこれに限定されない。

ステップＳ１００２では、全体制御部１０８はカウンターＮを１として初期化する。ステップＳ１００３では、全体制御部１０８はユーザーがパラメータを選択したかを判定する。なお、本実施例のパラメータ選択は、ユーザーがディスプレイ１０５をタッチすることによって、タッチした位置の二次元座標を画像座標系で得る操作で実現される。また、画像座標系とは、画像の一画素を数値の１として扱う２次元の座標系である。ユーザーがパラメータを選択した場合には、図１０のフローを終了する。

ステップＳ１００４では、全体制御部１０８はカウンターＮとＣＯＵＮＴとを比較する。Ｎ＞ＣＯＵＮＴの場合には処理を終了し、Ｎ≦ＣＯＵＮＴの場合にはループ処理を続行するためにステップＳ１００５を実行する。

ステップＳ１００５では、全体制御部１０８は被写体予測優先度がＮの推奨領域を取得する。推奨領域は、ステップＳ２０７で生成されている。本実施例では、推奨領域は、フォーカスを合わせる候補の被写体の領域を示す矩形を示すデータであり、入力画像の二次元座標空間において、左上と右下の２組の座標データからなる。また、被写体予測優先度Ｎは、Ｎ値が小さいほど、推奨の度合いが高いことを示す。

ステップＳ１００６では、リフォーカス処理の進捗率を百分率で取得する、進捗情報取得処理を行う。本実施例では、進捗率をＲ、予め求めておいた１枚のリフォーカス画像データを生成に要する平均時間をＴ，リフォーカス処理開始時刻をＳ，現在時刻をＣとした場合、
Ｒ＝（Ｃ−Ｓ）／Ｔ × １００
とあらわせる。また、本実施例では、全体制御部１０８内にタイマーをもち、フォーカス処理開始時刻と現在時刻の、タイマーから取得するものとする。ただし、タイマーを全体制御部の外に配置する構成をとることも可能である。

ステップＳ１００７では、進捗情報と推奨領域とから計算される図形を描画する。本実施例では、赤色の矩形が表示されており、左上を起点として矩形４辺一周を進捗率１００％とする緑色の線を上書きで描画することで進捗を表現する。例えば、図１１（ａ）は、進捗率０％の状態を表している。なお、細線は赤線を意味するものとする。図１１の（ｂ）は、進捗率１２．５％の状態を表している。太線は緑線を意味するものとする。図１１の（ｃ）は、進捗率２５％の状態を表している。図１１（ｄ）は、進捗率６２．５％の状態を表している。このように推奨領域を示す矩形を一周する形で、矩形の色が赤から緑に変わることにより、リフォーカス処理の進捗状態を表現することができる。枠の色が完全に緑に変わったとき、その領域にフォーカスがあたったリフォーカス画像が完全に生成されたことになる。

以下、画面の表示例を図１３ともに説明する。図１３は、ＧＵＩ画面の表示例を説明する図である。本実施例では、推奨領域は矩形領域を示すため、その領域を矩形として画像にオーバーラップさせるように推奨領域枠を描画する。例えば、図１３（ｅ）は、初期の画面状態を表している。この段階で表示された所領領域を示す矩形は赤色である。図１３（ａ）は、Ｎ＝１、進捗率４０％の状態を表している。矩形の太線は緑色を示すものとする。図１３（ｂ）は、Ｎ＝２、進捗率２５％の状態を表している。図１３（ｃ）は、Ｎ＝３、進捗率９０％の状態を表している。図１３（ｄ）は、推奨パラメータで提示されて全ての被写体の領域が緑色の矩形で囲われたことを示しており、本フローを終了するときの状態である。このように、それぞれの被写体を対象としたリフォーカス画像データの生成処理の進捗率の増加に従って、描画される緑色の矩形が完成していくことになる。また、カウンターＮの増加に伴い、緑色の矩形が増加することになる。

ステップＳ１００８では、進捗率を判定する。進捗率が１００％に達した場合は、ステップＳ１００９に遷移し、１００％に満たない場合は、ステップＳ１００６に遷移し、進捗を表示するループ処理を続行する。

ステップＳ１００９では、カウンターＮをインクリメントし、ステップＳ１００４に遷移する。このようにして、優先被写体数だけループ処理が実行される。

実施例１に対して、実施例２は、並行して実行されるリフォーカス画像生成処理の進捗の度合いに応じて、推奨領域枠の色が変わるように表示している。これにより、ユーザーが枠の色の変化（アニメーション）を注視することにより、心理的な待ち時間を軽減する効果がある。また、推奨領域枠の表示作業自体が進捗表示を兼ねることにより、画面端部にプログレスバーを表示する一般的な方法に対して、ユーザーは画面中心にある被写体から視線をずらす必要がなくなり、ユーザーが快適に感じるＧＵＩを提供できる。

本実施例では進捗率を経過時間より求める構成をとったが、それに限定されず、例えば、画素単位リフォーカス画像を生成するアルゴリズムの場合、生成できた画素数と画像全体の画素数から、進捗率を求める構成をとっても良い。また、本実施例では色の変化によって進捗率を表す例を説明したが、線の形状を変化させたり、推奨領域枠の形状を変化させるなど、他の視覚的変化を用いても良い。

本実施例では、図１の全体制御部１０８、図１上の各モジュールを操作するものとして説明したが、実行されるハードウェア構成に制限はない。画面上に推奨枠を表示することが特徴であり、例えば、撮像部、リフォーカス演算部、画像解析部を持たないパーソナルコンピュータで実行することも可能である。図１４は、パーソナルコンピュータのハードウェア構成ブロック図を示している。特別な記述がない場合、その構成および動作は図１で示されるハードウェアと同等の動作をするものとする。なお、通常のパーソナルコンピュータは、リフォーカス演算処理部、画像解析処理部を持たない。そのため、リフォーカス演算処理、画像解析処理は、全体制御部１０８で実行されることになる。また、画像ファイルや履歴情報は、外部メモリや履歴情報記憶部の代わりにＨＤＤ１４０１に記録されることになる。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 画像データを解析して、前記画像データに含まれる少なくとも一つの領域を、前記領域に対応する被写体の種別ごとに分類する分類手段と、
   前記分類した少なくとも一つの領域をユーザ指示に基づいて選択した選択履歴を保持する保持手段と、
   画像データを取得する取得手段と、
   前記保持手段に保持された前記選択履歴に基づいて、前記取得手段により取得された前記画像データに対して画像処理を施す処理手段と、
   前記処理手段により前記画像処理が行われた前記画像データに対して入力された、前記画像データの領域の選択指示に基づいて、前記選択履歴を更新する更新手段と、を有し、
   前記更新手段は、前記分類手段による分類に基づいて、前記選択履歴を更新することを特徴とする画像処理装置。
2. 前記画像処理は、前記画像データのピント位置を変更するリフォーカス処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記選択履歴は、前記被写体の種別ごとに、前記領域の選択の頻度を示す情報を含み、
   前記処理手段は、前記画像データに対してリフォーカス処理を行うことで、前記各種別の被写体にピントがあった複数のリフォーカス画像を、前記選択の頻度が高い被写体の種別順に生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記処理手段は、前記画像データに対して、前記リフォーカス画像の生成の進捗度合いを示す表示を重畳する画像処理を行い、該画像処理を行った画像データを、前記画像データを表示する表示装置に出力することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理は、前記選択の頻度が高い被写体の種別に対応する領域を示す枠を前記画像データに対して重畳する処理であることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記処理手段により前記画像処理が行われた前記画像データに対して入力された、前記画像データの領域の選択指示に基づいて、前記画像データのリフォーカス位置情報を更新する第二の更新手段を更に有することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 画像データを解析して、前記画像データに含まれる少なくとも一つの領域を、前記領域に対応する被写体の種別ごとに分類する分類手段と、前記分類した少なくとも一つの領域をユーザ指示に基づいて選択した選択履歴を保持する保持手段とを有する画像処理装置によって実行される画像処理方法であって、
   画像データを取得する取得工程と、
   前記保持手段に保持された前記選択履歴に基づいて、前記取得工程で取得された前記画像データに対して画像処理を施す処理工程と、
   前記画像処理が行われた前記画像データに対して入力された、前記画像データの領域の選択指示に基づいて、前記選択履歴を更新する更新工程と、を有し、
   前記更新工程において、前記分類手段による分類に基づいて、前記選択履歴が更新されることを特徴とする画像処理方法。
8. コンピュータを請求項１乃至６のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

Images