JP6351410B2 - 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理装置の制御プログラム及び記憶媒体 - Google Patents

Description

本発明は、画像を被写体の種類ごとに分割する画像処理を行う画像処理装置等に関する。

デジタルビデオカメラ等の撮像装置では、画像信号から評価値信号を取得して自動焦点調節（ＡＦ）制御や自動露出調節（ＡＥ）制御を行う。ここでの評価値信号とは、ＡＦ制御の場合は画像信号のコントラスト状態を示すＡＦ評価値、ＡＥ制御の場合は画像信号の明るさを示す輝度信号などである。このような評価値信号を取得するための評価領域（焦点検出領域や測光領域など）は、一般的に画面の中央付近に設定されることが多い。また、顔検出機能を有する撮像装置の場合は、検出した顔に対応する所定の領域に評価領域が優先的に設定されることが一般的である。このような撮像装置では、画面の端の被写体に合わせてピントや露出を調節したい場合には、その被写体が評価領域に含まれるように被写体を中央付近にフレーミングする必要がある。あるいは、評価領域を任意の位置に移動させたり、顔検出機能を無効にしたりするなどの操作が必要となる。

このような操作を不要にする方法として、撮影画像に含まれる色成分の度数分布に基づいて主要となる色成分に属する領域を検出し、検出した領域を主被写体となる評価領域として決定し被写体の合焦評価を行う方法が提案されている（特許文献１参照）。

特開２０１０−１９７９６８号公報

しかしながら、特許文献１のように被写体領域を分割して評価領域を設定する方法では、特に動画撮影に適用する場合、マイクロプロセッサなどの処理負荷が大きくなり、ユーザーが求める応答性が維持できなくなるおそれがある。また、ユーザーが所望の被写体領域を選択する場合に、煩雑な操作を必要とせずに、ユーザーの意図通りに被写体領域の分割処理が行われるのが望ましい。

上記の課題に鑑みて、本発明は、ユーザーの意図に応じて、応答性や操作性の高い被写体領域の分割処理を行うことを可能にするのを目的とする。

上記目的を達成するために、本発明は、画像内の位置を指定可能な指定手段と、画像に対して、画像の特徴情報に基づいて被写体領域に分割し、当該分割する被写体領域ごとに複数のカテゴリの中からいずれかを割り当てるための第１および第２の処理を順次行う処理手段を有し、前記第１の処理は、前記指定手段による指定に応じて比較的解像度の低い画像に対して行い、次いで前記第２の処理は、前記第１の処理の後の前記指定手段による指定に応じて、前記第１の処理よりも解像度の高い画像に対して行う処理であることを特徴とする。

本発明によれば、ユーザーの意図に応じて、応答性や操作性の高い被写体領域の分割処理を行うことが可能になる。

本実施例に係るビデオカメラの構成を表す図 主カテゴリと詳細カテゴリについて説明する図 実施例１の処理を説明するフローチャート 第１の領域分割処理に用いる画像の一例を表す図 第１の領域分割処理を行った結果の一例を表す図 第１の分割処理を行った画像からユーザーによって選択された部分画像を表す図 実施例１における第２の領域分割処理を行った結果の一例を表す図 ＡＦ処理を説明するフローチャート 実施例２の処理を説明するフローチャート 実施例２における第２の領域分割処理を行った結果の一例を表す図

（実施例１）
以下、本発明の第１の実施例を説明する。図１は、本実施例における画像処理装置を備えたビデオカメラ（撮像装置）の構成を示す図である。本実施例では、ビデオカメラについて説明するが、デジタルスチルカメラ等、撮像手段を有する他の装置にも適用できる。

図１において、第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４、及びフォーカスコンペンセータレンズ１０５により、被写体からの光を結像するための撮影光学系が構成されている。変倍レンズ１０２は、光軸方向に移動して変倍動作を行う。また、フォーカスコンペンセータレンズ（以下、フォーカスレンズ）１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

光電変換素子としての撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサを備えて構成され、撮影光学系を通過した光が結像して形成された被写体像を光電変換して電気信号を出力する。ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６の出力をサンプリングし、ゲインを調整する。

カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、撮像信号を生成する。モニタ装置１０９ａは、ＬＣＤ等により構成され、カメラ信号処理回路１０８からの撮像信号を表示する。また、モニタ装置１０９ａは、表示される画像にユーザーがタッチ動作で任意の位置あるいは範囲を指定可能に構成されているタッチディバイス１０９ｂを備えている。このタッチディバイス１０９ｂで指定した情報はカメラマイコン１１４に送られる。記録装置１１５は、カメラ信号処理回路１０８からの撮像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

ズーム駆動源１１０は、変倍レンズ１０２を移動させるための駆動源であり、フォーカシング駆動源１１１は、フォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ、またはボイスコイルモータ等のアクチュエータを用いて構成される。

ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域の信号のみを通す。本実施例では、後述する主被写体領域決定部１２５で設定した主被写体領域に基づく焦点検出領域をＡＦゲート１１２に通知して、焦点検出領域に対応する信号を通す。ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した信号から高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値（評価信号）を生成する。ＡＦ信号処理回路１１３で生成されたＡＦ評価値は、制御手段であるカメラマイコン１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される画像のコントラスト状態を表すものであるが、コントラスト状態は撮影光学系の焦点状態（合焦の程度）によって変化するので、結果的に撮影光学系の焦点状態を表す値となる。

カメラマイコン１１４は、ビデオカメラ全体の動作の制御を司るとともに、ＡＦ制御部１１７にて、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させる焦点調節制御（ＡＦ制御）を行う。カメラマイコン１１４は、上述のＡＦ評価値に基づいてフォーカスレンズ１０５の移動を制御するＴＶ−ＡＦ方式でのＡＦ制御を実行可能とする。

次に、領域分割処理回路１１６について説明する。本実施例の領域分割処理回路１１６は、画像範囲指定部１２１、領域分割処理部１２２、カテゴリ分類処理部１２３、領域位置・サイズ算出部１２４を備える。領域分割処理の方法としては、例えば特開２０１３−１１７８６０号公報で開示されている方法を用いる。領域分割処理部１２２では、ＣＤＳ／ＡＧＣ回路１０７からの出力信号の特徴情報（例えば輝度成分や色成分の情報、境界のエッジなど）を基に、画像を被写体毎の領域に分割する画像処理を施す。なお、出力信号の特徴情報は、輝度成分の情報、色成分の情報、境界のエッジの情報のうち、少なくとも１つを含むものとする。

領域分割処理部１２２の出力は、カテゴリ分類処理部１２３に入力される。カテゴリ分類処理部１２３では、分割された領域毎に、領域分割処理時に検出した特徴情報（例えば輝度成分や色成分、領域の形状、画像内における領域の位置など）に基づいて、分割された領域がどのような被写体であるかを判定する。そして、各領域を複数のカテゴリのいずれかに分類分けする。

本実施例では、「人物」、「自然」、「空」、「その他」といった４種類の主カテゴリとして大まかに分類する例を説明する。また、カテゴリ分類処理部は、図２（ａ）のように、主カテゴリーをさらに詳細なカテゴリー（詳細カテゴリー）に分類する。例えば、「自然」カテゴリをさらに細かい「山」カテゴリと「木」カテゴリと「海」カテゴリなど、詳細に分類する。詳細カテゴリーは、主カテゴリの少なくとも１つを細分化したものを含むこととする。なお、カテゴリの種類は図２（ａ）の例に限られるものではない。また、詳細カテゴリーをさらに細かいカテゴリーに分割してもよい。また、図３（ｂ）のように、領域分割における各カテゴリについて、撮像装置本体のメニュー等でＯＮ／ＯＦＦを切り替えられるようにする（選択可能にする）ことで、カテゴリを予め絞って領域分割を実行可能にしても良い。

また、本実施例では、領域分割処理部１２２における領域分割処理とカテゴリ分類処理部１２３における分類分け処理を独立に行うものとして説明したが、これらの処理を同時に行うようにしてもよい。例えば、あるカテゴリの領域を画像から検出して分割処理を行うようにしてもよい。

カテゴリ分類処理部１２３の出力は、領域位置・サイズ算出部１２４に入力される。領域位置・サイズ算出部１２４では、領域分割処理部１２２で分割された領域毎に、領域の重心位置と大きさ（例えば画素数）を算出する。その検出結果はカメラマイコン１１４に送信される。

カメラマイコン１１４は、後述する領域分割エリア決定部１１８、フレームレート決定部１１９、画像画素数決定部１２０、ＡＦ制御部１１７、主被写体領域決定部１２５を備える。領域分割エリア決定部１１８では、画像範囲指定部１２１に対して領域分割を行う画像範囲を指定する。フレームレート決定部１１９は、領域分割エリア決定部１１８により指定される画像範囲の大きさに合わせて、領域分割処理を行うフレームを決定する。すなわち、処理周期を決定する。例えば、指定される画像範囲が大きいときは処理周期を長くして、逆に指定される画像範囲が小さいときは処理周期を短くする。画像画素数決定部１２０は、領域分割エリア決定部１１８により指定される画像範囲の大きさに合わせて、領域分割に用いる画像の画素数を決定する。例えば、指定される画像範囲が大きいときは単位面積当たりの画像表示画素数を減らして、逆に指定される画像範囲が小さいときは単位面積当たりの画像表示画素数を増やす。主被写体領域決定部１２５は、領域位置・サイズ算出部１２４の算出結果に基づいて、撮影画面内の主被写体領域に対応して焦点検出領域を設定（領域設定）するようにＡＦゲート１１２へ情報を送信する。

次に、本実施例で行われる処理について図３を用いて説明する。図３は、本実施例の領域分割処理を示すフローチャートである。まず、撮像された画像全体を領域分割する処理について説明する。

ステップＳ３０１において、カメラマイコン１１４内のフレームレート決定部１１９は、領域分割処理の処理周期を決定する。ここでは、画像全体を領域分割するので処理負荷がかかるため、撮像画像を更新する周期より領域分割の処理周期をより長く（第１の周期）設定する。

次に、ステップＳ３０２において、カメラマイコン１１４内の画像画素数決定部１２０は、領域分割処理を行う画像の画素数を設定する。ここでは、画像全体を領域分割するので処理負荷がかかるため、低い解像度（第１の解像度）となるように撮像画像の画素数をより小さく設定する。

ステップＳ３０３では、カメラマイコン１１４は、後述するステップＳ３０４の領域分割処理で使用する画像を取得する。取得する画像は、ステップＳ３０２で設定された画素数の画素で構成される画像である。ここでは図４のような画像が取得できたとする。

ステップＳ３０４では、ステップＳ３０３で取得した画像を領域分割処理回路１１６の領域分割処理部１２２に入力して画像処理を施し、被写体領域毎にカテゴリ分割する。ここでの画像処理を第１の領域分割処理とする。本実施例では、被写体領域のカテゴリを「自然」カテゴリ、「空」カテゴリ、「人」カテゴリ、「その他」カテゴリの４つのカテゴリに分割する例について述べる。

図５（ａ）では、図４の画像に第１の領域分割処理を行った例を示している。図５（ａ）では、図４の画像が「空」カテゴリと「自然」カテゴリに分割されて、同一カテゴリをマスキングして表示している。図５（ａ）のマスキングは、元画像である図４の画像に重畳して表示してもよいし、マスキングを透過状態にして元画像である図４の画像が見える状態にしても良い。ステップＳ３０５では、カメラマイコン１１４は、図５（ａ）のように第１の領域分割処理を行った結果を示す画像をモニタ装置１０９ａに表示させる。

ステップＳ３０６からの処理で、ユーザーがタッチディバイス１０９ｂを用いて指定した位置に対応する画像をより詳細なカテゴリに分割する方法を説明する。ステップＳ３０６では、図５（ａ）の画像をモニタ装置１０９ａに表示させた状態で、ユーザーによるタッチディバイス１０９ｂを介した選択操作を待つ。ここでは、ユーザーはさらに詳細なカテゴリに分割したい場所（後述する第２の領域分割処理の対象）をタッチ操作により選択する。選択操作が行われたならばステップＳ３０７に進み、カメラマイコン１１４は、ユーザーがタッチ操作により選択した位置の座標を取得する。

ステップＳ３０８では、カメラマイコン１１４は、ステップＳ３０７で取得した座標を中心とする所定の大きさの画像（部分画像）を取得する。ここでの部分画像の大きさは、ステップＳ３０３で取得する撮像画像より小さい所定の大きさであるが、ユーザーがメニュー画面等で大きさを設定可能にしてもよい。あるいは、ユーザーがタッチディバイス１０９ｂを介してドラッグ操作やピンチアウト操作を行うことで、部分画像の大きさを調整可能にしてもよい。

図５（ａ）の画像に対して設定された部分画像の領域５０１の例を図５（ｂ）に、領域５０１を拡大したものを図６に示す。図６の例では、ステップＳ３０４で行った領域分割処理により、部分画像内に「空」カテゴリと「自然」カテゴリが存在している。

選択された部分画像の位置と大きさが視認できるように、図５（ｂ）のように、領域５０１を示す枠を画像に重畳してモニタ装置１０９ａに表示してもよい。この場合、例えば領域５０１を示す枠内へのさらなるタッチ操作などの操作により、ユーザーが部分画像の領域を確定させてから、ステップＳ３０８以降の処理に進んでもよい。また、領域５０１外の領域をタッチすることにより、部分画像の領域の位置を変更可能にしてもよい。

続くステップＳ３０９では、カメラマイコン１１４は、領域分割処理の処理周期を第１の周期より短く（第２の周期）設定する。そして、ステップＳ３１０では、カメラマイコン１１４は、第１の解像度より高い第２の解像度となるように、画像画素数を設定する。後述する第２の領域分割処理は部分画像のみに対して行われるため、画像全体に対して行う第１の領域分割処理よりも短い周期で高解像度の画像に対して第２の領域分割処理を行うことが望ましい。なお、本実施例では第１の領域分割処理を画像全体に対して行うものとして説明するが、これに限らず、第２の領域分割処理を行う画像が第１の領域分割処理を行う画像より小さければよい。

ステップＳ３１１では、カメラマイコン１１４は、ステップＳ３０８で取得した部分画像を領域分割処理回路１１６の画像範囲指定部１２１に送る。そして、領域分割処理部１２２において部分画像に対して画像処理を行い、主カテゴリである「空」カテゴリと「自然」カテゴリを図２（ａ）で示したような詳細カテゴリに分割する。ここでの画像処理を前述した第２の領域分割処理とする。続くステップＳ３１２では、カメラマイコン１１４は、ステップＳ３１１の第２の領域分割処理結果をモニタ装置１０９ａに表示する。

図７（ａ）は、上述した部分画像の領域５０１について、第２の領域分割処理を行った結果の表示例を示している。図７（ａ）では、主カテゴリ「自然」の領域を詳細カテゴリ「山」、「木」、「海」に、また、主カテゴリ「空」の領域を詳細カテゴリ「空」、「海」に分割している。なお、表示例はこれに限られるものではない。例えば、図７（ｂ）のように、第２の領域分割処理を行った結果の拡大表示と重畳して、第１の領域分割処理を行った撮像画像全体を示す画像７０１を縮小表示してもよい。この場合、図７（ｂ）のように、選択されている部分画像の領域５０１を示す枠を表示してもよい。

また、ステップＳ３０６で部分画像の位置が選択された際に、図６のように部分画像に対して第１の領域分割処理を行った結果を拡大表示して、詳細なカテゴリに分割したい領域をユーザーがさらに指定するようにしてもよい。例えば、図６の画像に対してユーザーが「自然」カテゴリの領域をタッチすると、ステップＳ３１１では「自然」カテゴリについてのみ第２の領域分割処理を行い、ステップＳ３１２で処理結果を表示する。この場合、図７（ｃ）のように、「自然」カテゴリについてのみ詳細カテゴリに分割され、「空」カテゴリについては分割されていない画像が表示される。また、カテゴリの分類を主カテゴリと詳細カテゴリの２段階ではなく、さらに多くの階層に分けて、ユーザーのタッチ操作に応じてより細かいカテゴリに領域分割を行うようにしてもよい。

次に、図８を用いて、第２の領域分割処理結果からユーザーが指定した領域に対して主被写体領域を決定し、ＡＦ制御を行う処理について説明する。本処理は、図７（ａ）乃至（ｃ）のいずれかのように、詳細カテゴリに分割された画像がモニタ装置１０９ａに表示されている状態で開始される。

ステップＳ８０１では、カメラマイコン１１４は、ユーザーによるタッチディバイス１０９ｂを介した選択操作を待つ。選択操作が行われたらステップＳ８０２に進む。

ステップＳ８０２では、カメラマイコン１１４内の主被写体領域決定部１２５は、タッチ操作により選択された領域と同じカテゴリで分割された領域を主被写体領域に設定する。例えば、タッチした位置が「木」の領域の場合、同じ「木」の領域が主被写体領域に設定される。

ステップＳ８０３では、カメラマイコン１１４は、ステップＳ８０２で設定した主被写体領域に基づいて焦点検出領域を設定し、ＡＦゲート１１２に通知する。ステップＳ８０４では、カメラマイコン１１４内のＡＦ制御部１１７は、ステップＳ８０３で設定した焦点検出領域からの撮像信号より生成されるＡＦ評価値に基づいてＡＦ制御を行い、処理を終了する。ステップＳ８０４で実行するＡＦ制御は一般的なコントラストＡＦ制御であり、詳細な動作については割愛する。

以上説明したように、本実施例では、はじめに比較的解像度の低い画像を用いて第１の領域分割処理を行った後、ユーザーに指定された領域に対してのみ、解像度の高い画像を用いてより詳細なカテゴリに分類する第２の領域分割処理を順次行う。また、好ましくは、第１の領域分割処理では処理負荷を考慮して、第２の領域分割処理より長い周期で領域分割処理を行う。これにより、応答性を損なわずに、ユーザーの意図に応じて操作性の高い被写体の分割処理を行うことが可能になる。

（実施例２）
次に、本発明の第２の実施例を説明する。本実施例では、一回目の領域分割を行った後で、ユーザーが選択した領域の主カテゴリと同じ主カテゴリの領域について詳細な領域分割を行う点が実施例１と異なる。図１におけるビデオカメラの構成は本実施例にも適用されるため、説明を省略する。

本実施例で行われる処理について、図９を用いて説明する。図９は、本実施例の領域分割処理を示すフローチャートである。ステップＳ９０１〜Ｓ９０６の処理は、図３のステップＳ３０１〜Ｓ３０６の処理と同様であるので、説明を省略する。

ステップＳ９０６でユーザーにより選択操作が行われたら、ステップＳ９０７に進む。ステップＳ９０７では、カメラマイコン１１４は、ユーザーがタッチ操作により選択した領域の主カテゴリーを取得する。ここでは、図５（ａ）の画像に対して、ユーザーが選択した領域の主カテゴリが「自然」カテゴリの場合を例に説明する。

ステップＳ９０８及びＳ９０９の処理は、それぞれ図３のステップＳ３０９及びＳ３１０の処理と同様であるので、説明を省略する。

続くステップＳ９１０では、ステップＳ９０７で取得した主カテゴリについて領域分割処理を行う。カメラマイコン１１４は、第２の領域分割処理を行う主カテゴリについての情報を画像範囲指定部１２１に送信する。そして、領域分割処理部１２２において、選択された主カテゴリの領域の画像を詳細なカテゴリに分割する画像処理（第２の領域分割処理）を行う。続くステップＳ９１１では、カメラマイコン１１４は、ステップＳ９１０の領域分割結果をモニタ装置１０９ａに表示する。

図１０（ａ）では、ユーザーにより「自然」カテゴリが選択された場合に、「自然」カテゴリの領域を詳細カテゴリに分割した例を示している。図１１において主カテゴリが「自然」の領域は、「山」、「島」、「木」（３つ）、「海」に分類される。

本実施例においても、図８と同様に、第２の領域分割処理結果からユーザーが指定した領域に対して主被写体領域を設定し、さらに焦点検出領域を設定してＡＦ制御を行うことができる。この場合、ステップＳ８０１では、図１０（ａ）のように詳細カテゴリに分割された画像がモニタ装置１０９ａに表示された状態で、ユーザーによる選択操作が行われる。詳細カテゴリに分割された画像から主被写体領域が設定された例を図１０（ｂ）に示す。図１０（ｂ）では、ユーザーの選択操作により、詳細カテゴリ「木」の領域の一つが主被写体領域１００１に設定された例を示している。

以上説明したように、本実施例では、はじめに解像度の低い画像を用いて第１の領域分割処理を行った後、ユーザーに指定された主カテゴリに対してのみ、解像度の高い画像を用いてより詳細なカテゴリに分類する第２の領域分割処理を行う。また、好ましくは、第１の領域分割処理では処理負荷を考慮して、第２の領域分割処理より長い周期で領域分割処理を行う。これにより、本実施例においても、応答性を損なわずに、ユーザーの意図に応じて操作性の高い被写体の分割処理を行うことが可能になる。

なお、上述の実施例では、撮影光学系を含むレンズユニットが一体となった撮像装置を例に説明したが、交換レンズ式の撮像装置にも本発明を適用可能である。また、上述の実施例ではＡＦ制御における焦点検出領域の設定について説明したが、露出調節制御や色調節制御、ホワイトバランス調節制御（ＷＢ）に用いる評価信号を取得する評価領域についても本発明を適用可能である。

また、上述の実施例では、ユーザーが画像内の所定の位置を指定したが、画像処理装置が被写体認識等を行うことによって自動で画像内の例えば特定の被写体などを指定してもよいことは言うまでもない。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶し、コンピュータで読取可能な記憶媒体および制御プログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はビデオカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、画像処理装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「画像処理装置」は、画像処理機能を備えた任意の電子機器を包含することが意図されている。以上、本発明の好ましい実施例について説明したが、本発明は上記実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０９ａ モニタ装置
１０９ｂ タッチディバイス
１１４ カメラマイコン
１１６ 領域分割処理回路
１１８ 領域分割エリア決定部
１１９ フレームレート決定部
１２０ 画像画素数決定部
１２１ 画像範囲決定部
１２２ 領域分割処理部
１２３ カテゴリ分類処理部

Claims (17)

1. 画像内の位置を指定可能な指定手段と、
   画像に対して、画像の特徴情報に基づいて被写体領域に分割し、当該分割する被写体領域ごとに複数のカテゴリの中からいずれかを割り当てるための第１および第２の処理を順次行う処理手段を有し、
   前記第１の処理は、前記指定手段による指定に応じて比較的解像度の低い画像に対して行い、次いで前記第２の処理は、前記第１の処理の後の前記指定手段による指定に応じて、前記第１の処理よりも解像度の高い画像に対して行う処理であることを特徴とする画像処理装置。
2. 前記第２の処理において割り当てられるカテゴリは、前記第１の処理において割り当てられるカテゴリと少なくとも一部が異なることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の処理が行われる画像の領域は、前記第１の処理が行われる画像の領域より小さいことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記処理手段は、前記第１の処理よりも短い周期で前記第２の処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記処理手段は、前記第１の処理が行われた画像に対して前記指定手段を介して位置が指定された場合、当該指定された位置に基づいて画像内に設定された所定の大きさの領域に対して前記第２の処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記所定の大きさは、ユーザーにより変更可能であることを特徴とする請求項５に記載の画像処理装置。
7. 前記処理手段は、前記第１の処理が行われた画像に対して前記指定手段を介してカテゴリの指定が行われた場合、前記第１の処理で当該指定されたカテゴリに分類分けされた被写体領域に対して前記第２の処理を行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
8. 前記第２の処理において割り当てられるカテゴリは、前記第１の処理において割り当てられるカテゴリの少なくとも一部を細分化したものを含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記第１の処理で用いるカテゴリは、ユーザーにより選択可能であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 表示手段への画像の表示を制御する制御手段を有し、
    前記制御手段により前記第１の処理が行われた画像が前記表示手段に表示された状態で、当該画像に対して前記指定手段を介した指定が行われることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 所定の制御に用いる評価信号を取得するための評価領域を設定する領域設定手段を有し、
    前記領域設定手段は、前記第２の処理が行われた画像に対して前記指定手段を介してカテゴリの指定が行われた場合、前記第２の処理で当該指定されたカテゴリに分類分けされた被写体領域に基づいて前記評価領域を設定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記所定の制御は、焦点調節制御、露出調節制御、色調節制御、ホワイトバランス調節制御の少なくとも一つを含むことを特徴とする請求項１１に記載の画像処理装置。
13. 前記指定手段は、ユーザーによるタッチ操作を検出する手段を備えて構成されることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 請求項１乃至１３のいずれか１項に記載の画像処理装置と、
    被写体像を光電変換して画像を生成する撮像手段を有することを特徴とする撮像装置。
15. 画像内の位置を指定可能な指定手段を備えた画像処理装置の制御方法であって、
    画像に対して、画像の特徴情報に基づいて被写体領域に分割し、当該分割する被写体領域ごとに複数のカテゴリの中からいずれかを割り当てるための第１および第２の処理ステップを有し、
    前記第１の処理ステップは、前記指定手段による指定に応じて比較的解像度の低い画像に対して行われ、次いで前記第２の処理ステップは、前記第１の処理ステップの後の前記指定手段による指定に応じて、前記第１の処理ステップよりも解像度の高い画像に対して行われることを特徴とする画像処理装置の制御方法。
16. 請求項１５に記載の画像処理装置の制御方法をコンピュータに実行させるように構成されていることを特徴とする画像処理装置の制御プログラム。
17. 請求項１６に記載の画像処理装置の制御プログラムを記憶していることを特徴とするコンピュータで読取可能な記憶媒体。

Images