JP6800644B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置に関するものであり、特に画像処理装置におけるズーム動作に関するものである。

ビデオカメラやスチルカメラ等の撮像装置には、光学系のズーム倍率を変化させるズーム操作を行うためのズーム操作部が備えられている。ビデオカメラでは、一般的にズームレバーが採用され、ズームレバーを押下すると電動でズームレンズが動作し、ズームインやズームアウトをしながら動画を撮像することができる。一方、外付けのレンズを有するカメラでは、一般的にズームリングが採用され、ズームリングを手動で回転させるとズームインやズームアウトをしながら動画を撮像することができる。更に、スマートフォンなどのカメラ機能付き携帯電話では、タッチパネル上で２本の指を押し広げるように動かすピンチアウト操作をすることで、ユーザの指に合わせて画像を拡大または縮小する電子ズームをしながら動画を撮像することができる。

しかしながら、これらの操作を行う際に、ズーム速度が不均一となってしまうことがある。例えば、ズームレバーを押下している途中で指が離れてしまうと、途中の期間だけズーム動作がなされない動画となってしまうことがある。また、ズームリングを手動で回転させる際は、回転速度が安定せず、ズーム速度が不均一な動画となってしまう場合がある。さらに、ピンチアウトを均一の速度でゆっくりと行うことは容易ではなく、やはりズーム速度が不均一な動画となってしまう場合がある。

そこで、ズーム速度が不均一な動画に対して、ズーム速度を安定化し、滑らかな動画を生成する技術が開示されている。特許文献１では、ズーム速度が不均一な動画に対して、各フレーム画像を拡大又は縮小することにより、ズーム速度が安定した滑らかな動画を生成する技術が開示されている。

特開２０１１−４０９４５号公報

ただし、各フレーム画像を拡大または縮小することにより、画像の表示に用いられる領域の広さが変更され、それらの領域に含まれる被写体に違いが生じる。そのため、撮像時には最適だった画像の明るさが、拡大または縮小することによって画像が最適地よりも明るく、あるいは、暗くなる場合があり、画像の明るさを調整するためのゲイン量の調整が必要な場合となる。

しかしながら、画像を明るくするためのゲインアップの程度が大きいと、画像に含まれるノイズ成分が増加してしまうという課題が生じる。反対に、画像を暗くするためにゲインダウンを行うと、本来ならば飽和により画素の上限に達しているべき領域が、上限値よりも低い画素値となってしまうという課題が生じる。

本発明は、ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して拡大または縮小の処理を行う拡大縮小手段と、前記複数の画像の処理後のズーム倍率の変化を表す補正ズーム倍率のカーブを複数生成する補正ズーム倍率のカーブの生成手段と、前記複数の補正ズーム倍率のカーブから選択する補正ズーム倍率のカーブの選択手段と、前記画像の処理後の測光値を処理前の測光値に戻すためのゲイン量、または、前記画像に対して前記拡大または縮小の処理を行うとき、処理前と処理後との輝度を算出する算出手段と、を有し、前記複数の画像の処理後のズーム倍率の変化は、処理前よりも滑らかになり、前記選択手段は、前記ゲイン量、または、前記処理前と前記処理後との前記画像の輝度に基づいて、前記複数の補正ズーム倍率のカーブから１つ選択し、前記拡大縮小手段は、前記選択した補正ズーム倍率のカーブに基づいて、拡大または縮小の処理を行うことを特徴とする画像処理装置を提供する。

本発明によれば、ズーム動作しながら撮像した動画を、ズーム速度の安定性を改善しつつ、ゲイン量の調整による画質の悪化を防ぐことができる。

本発明におけるデジタルカメラの構造を示す図である。 第１の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。 本発明におけるズーム倍率の時間変化を示す図である。 本発明における測光エリアを示す図である。 本発明におけるゲイン量の時間変化を示す図である。 第２の実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。 第２の実施形態における輝度分布の例を示す図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、デジタルカメラに限定されるわけでなく、ズーム動作を行って撮像された動画を取得可能で、画像に対して拡大および縮小処理を行うことができる画像処理装置であれば、本発明を適用できる。また、以下では、ズームイン（望遠側へのズーム動作）の場合について説明するが、ズームアウト（広角側へのズーム動作）の場合にも適用することができる。また、ここでは、動画撮像時にユーザがズームリングを操作することによってズームレンズが駆動された場合の例について説明を行うが、これに限定されるわけではない。上述のように、ズームレバーの操作によってズームレンズの駆動を行う場合や、ピンチアウトの操作によって画像を拡大または縮小処理する電子ズームを行う場合にも、本発明を適用することができる。

（第１の実施形態）
デジタルカメラ１００は、静止画および動画を撮像することができ、かつ、撮像中、ズーム動作が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。図１は、本発明におけるデジタルカメラ１００の構造を示すブロック図である。デジタルカメラ１００に構成される各部分は、図１を参照しながら、以下で説明する。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。ユーザによる指令も、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、予めの設定に基づいて、画像処理の指令を出す。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の合焦位置を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。本実施形態では、光学系１０３によるズーム動作は、前述したように、操作部１１０に含まれるズームリングをユーザが操作することによって行われる。光学系１０３には、ズームレンズの位置を検知するセンサが設けられており、このセンサの出力が制御部１０１に送信される。そのため、ユーザがズームリングを操作することでズーム動作を行った場合であっても、このセンサの出力に基づいて、制御部１０１は光学系１０３のズーム倍率を把握することができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、動画を撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。特に、画像処理部１０７が、撮像部１０４または後述する内蔵メモリ１０９に保存されている画像に対して、電子ズームで拡大処理または縮小処理をすることができる。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。また、操作部１１０は、光学系１０３に付属しているズームリングなども含む。ユーザによってズームリングの操作が行われると、このズームリングに連結された機構によって、制御部１０１を介さずに、光学系１０３に含まれるズームレンズの位置が変更される。

図２は本実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。制御部１０１が、ユーザがズームリングを動かしながら撮像した動画を内蔵メモリ１０９から読み出すと、制御部１０１は、図２のフローチャートに示す処理を始める。動画の撮像時には、動画のフレームごとに制御部１０１が検知したズーム倍率の情報が、動画ともに内蔵メモリ１０９に格納されるものとする。なお、図２に示す処理は、撮像の直後に行ってもよいし、撮像した動画の再生時に行ってもよい。

ステップＳ２０１において、内蔵メモリ１０９に保存されている撮像時の撮像ズーム倍率を取得する。なお、撮像時に光学系１０３による光学ズームのみならず、画像処理部１０７において電子ズームが行われた場合は、光学ズームによるズーム倍率と電子ズームによるズーム倍率を掛け合わせたズーム倍率を撮像ズーム倍率としてフレームごとに取得する。

ステップＳ２０２において、ズーム動作期間を取得する。図３は、ズーム倍率の時間変化を示す図である。以下では、図３（ａ）を参照しながら説明する。図３（ａ）は、撮像ズーム倍率と時間との関係を示す一例である。折線３０１で示した動作では、ユーザが時刻ｔ０から時刻ｔ１までの期間、および、時刻ｔ３から時刻ｔ４までの期間で、ズーム動作を行い、ズーム倍率が変化している。ユーザが、時刻ｔ１から時刻ｔ３までの期間では、ズーム動作を行っていないため、撮像ズーム倍率が一定に保たれている。ここで、時刻ｔ１から時刻ｔ３までの時間の長さが、予め定められた閾値より大きい場合には、ユーザが意図的にズームリングを回していないものと判断し、この時間はズーム動作期間から除外する。逆に、時刻ｔ１から時刻ｔ３までの時間の長さが、予め定められた閾値以下の場合、ユーザがズームリングを持ち直していることなどによる一時的なズームの停止と判断し、時刻ｔ０から時刻ｔ４の全体の期間を、ズーム動作期間として取得する。なお、ここで、誤動作などユーザが意図しない微小なズームの変動による影響をなくすため、予め別の閾値を定め、ズーム動作期間の間に生じた撮像ズーム倍率の変動が、この別の閾値以上の時のみズーム動作期間として扱うようにしてもよい。

ステップＳ２０３で、図３（ｂ）、（ｃ）、（ｄ）および（ｅ）で示したように、制御部１０１は、折線３０１で示した撮像ズーム倍率の変化を滑らかにするための複数の補正ズーム倍率のカーブ３０２乃至３０５を生成する。補正ズーム倍率のカーブ３０２乃至３０５は、具体的には、単位時間内における速度変化の量が所定範囲を超えている場合に、この単位時間内における速度変化の量を所定範囲に収めるようにするための直線、あるいは、曲線である。補正ズーム倍率のカーブ３０２は、ズーム動作期間の最後の時刻ｔ４に達する際の撮像ズーム倍率の変化率を、ズーム動作期間全体に適用した場合の補正カーブ（実際は直線）である。補正ズーム倍率のカーブ３０３は、ズーム動作期間の最初の時刻ｔ１と最後の時刻ｔ４までの全期間を一定の変化率とした補正カーブ（実際は直線）である。補正ズーム倍率のカーブ３０４は、ズーム動作期間の最初の時刻ｔ１直後の撮像ズーム倍率の変化率を、ズーム動作期間全体に適用した場合の補正カーブ（実際は直線）である。補正ズーム倍率のカーブ３０５は、ズーム動作期間の撮像ズーム倍率の変化率を、二次関数で近似したことによって得られる補正カーブである。補正ズーム倍率のカーブは、図３（ｂ）、（ｃ）、（ｄ）および（ｅ）で示した例に限らず、撮像ズーム倍率の変化を滑らかにするものであればよい。なお、ここで４本の補正ズーム倍率のカーブを生成すると説明したが、これは一例にすぎず、より多くの補正ズーム倍率のカーブを生成してもよい。

ステップＳ２０４は、ＲＡＷ画像における測光エリアを設定する。測光は、後述するステップＳ２０８での拡大縮小処理の後の画像のゲイン量を算出するために行われるので、測光エリアは、後述するステップＳ２０８での拡大縮小の処理後の画像に相当するエリアに応じて設定する。ステップＳ２０８での拡大縮小の処理後の画像の記録エリアに相当するエリアの撮像画像全体のエリアに対する比率が小さくなるほど、撮像画像全体のエリアに対する測光エリアの比率も小さくなる。

図４は、上記の測光エリアを示す図である。図４（ａ）は、ＲＡＷ記録エリアと動画フレーム記録エリアと測光エリアとが同じである場合を示す図である。図４（ａ）に示したブロックおよび数値は、実際に測光演算をするときにブロック分割を行い各ブロックの平均輝度値に対する加重加算の重み付け係数を表している。この場合、ＲＡＷ記録エリアの画像を最大限に動画フレームに利用されているが、記録された動画フレームの画像を縮小すると、空白領域が出てしまう。そのため、図４（ｂ）に示したように、ＲＡＷ記録エリアより狭いエリアを動画フレーム記録エリアに設定することがしばしば行われる。

図４（ｂ）は、拡大縮小処理をしないとき（補正ズーム倍率と撮像ズーム倍率とが等しいとき）の測光エリアを示す。図４（ｂ）では、動画フレーム記録エリアと測光エリアとが同じであるが、これに限らず、動画フレームの記録エリアの一部に測光エリアに設定することもある。たとえば、主要被写体の部分に、測光エリアを設定してよい。

図４（ｃ）は、補正ズーム倍率が撮像ズーム倍率より大きいとき（後述するステップＳ２０８で拡大処理をするとき）の測光エリアを示している。このときの測光エリアは、図４（ｂ）と比べ、狭くなることがわかる。

図４（ｄ）には、図４（ｃ）と比べて、測光エリアがさらに狭くなる場合を示す。これは、図４（ｄ）のときの補正ズーム倍率が、図４（ｃ）よりも大きいことを意味する。

ステップＳ２０５では、ステップＳ２０４で制御部１０１が決定した測光エリアに基づいてフレームごとに測光値を取得し、補正前の焦点距離に対する測光値と比較することでゲイン量を算出する。一例としては、所定のフレーム間隔、例えば図３（ａ）の横軸での１目盛分の５フレームごとに上述した測光値を取得し、対応するフレームのズーム倍率の調整前後の測光値から時刻ｔにおけるゲイン量を下記の式で求める。
Ｇ（ｔ）＝Ｙ（ｔ）／Ｙ´（ｔ）・・・ （式１）

（式１）では、Ｙ（ｔ）はズーム倍率の調整前の画像の記録エリアから得られた測光値を、Ｙ´（ｔ）はズーム倍率の調整後の画像の記録エリアから得られた測光値を表す。（式１）は、ゲイン処理でＧ（ｔ）をかけることによって、ズーム倍率調整後の記録エリアの輝度をズーム倍率調整前の記録エリアの輝度に戻すことを意味する。各時刻でのＧ（ｔ）に基づいて、たとえば、線形に補間して、Ｙ（ｔ）が記録されていない時刻のＧ（ｔ）を算出する。さらにゲイン量およびゲイン量の変化量（補正ズーム倍率のカーブの切線の傾き）に閾値を設けることで補正ズーム倍率のカーブを調整することもできる。後述するカーブ５０４および５０５のように、前述のステップＳ２０２で取得したズーム動作期間よりも長い期間において、補正ズーム倍率のカーブの調整を行うこともできる。

なお、Ｙ（ｔ）の値としては、実際のズーム倍率の調整前の測光値でなく、予測されるズーム倍率調整前の期待測光値Ｙｅ（ｔ）を用いてもよい。ズーム倍率の調整前の測光値は、撮像時最適になるように調整を行うため、一定なレベルを保つはずである。したがって、予測されるズーム倍率調整前の期待測光値は、一定の範囲内になる。これを考慮し、ズーム倍率の調整前の測光値Ｙｅ（ｔ）とズーム倍率調整後の測光値Ｙ´（ｔ）とを用いて、Ｇ（ｔ）の値を予測することができる。

ステップＳ２０６では、ステップＳ２０３で生成した全ての補正焦点距離カーブに対してステップＳ２０４乃至Ｓ２０５の処理が完了したか否かを判定し、完了していない場合にはステップＳ２０４へ、完了した場合にはステップＳ２０７へ処理を進む。

図５は、ここまでの処理で制御部１０１が算出した補正ズーム倍率のカーブごとのゲイン量の時間変化を示す図である。図５のカーブ５０２乃至５０５は、それぞれ図３の補正ズーム倍率のカーブ３０２乃至３０５に対応する。図５での×１は等倍ゲイン（ゲイン処理せず）、×２は２倍のゲインアップ、×１／２は１／２倍のゲインダウンを表す。

ステップＳ２０７は、ステップＳ２０５で算出したゲイン量に基づいて、ステップＳ２０３で複数生成した補正ズーム倍率カーブから１つを選択する。選択方法は、図２（ｂ）に示したフローチャートを用いて、説明する。

ステップＳ２１１では、それぞれのゲイン量のカーブにおけるゲイン量の平均値を下記の式により、制御部１０１が算出する。

（式２）はゲイン量Ｇ（ｔ）が×１（ゲイン処理せず）よりも大きい区間に対してゲイン量の総和を求め、総和の演算における項数Ｎで除算することを意味する。

ステップＳ２１２では、制御部１０１が、ステップＳ２０５で測光値を算出したフレームの画像に対して、図４のように７×５に分割したブロックごとに輝度積分値を算出する。

ステップＳ２１３は、制御部１０１が、ステップＳ２１２で算出した輝度積分値が所定値（たとえば１０ｂｉｔで１０００）以上である飽和ブロックの数をカウントする。

ステップＳ２１４は、Ｓ２０３で生成したすべての補正ズーム倍率のカーブに対してステップＳ２１１乃至Ｓ２１３の処理が完了したか否かを判定し、完了していない場合にはＳ２１１へ、完了した場合にはＳ２１５へ進む。

ステップＳ２１５は、ゲインダウン除外判定を行う。具体的な一例として、制御部１０１が、ステップＳ２１３でカウントした飽和ブロック数が所定数（例えば４個）以上あるか否かを判定し、所定数以上の飽和ブロックがある場合には飽和領域が少なからず存在することからゲインダウンを避けるようにする。

また、直接、選択するカーブにゲインダウンが含まれるものを除外する。たとえば、図５では、カーブ５０５がゲインダウンを含んでいるため、ここでは制御部１０１の処理より、カーブ５０５除外されることになる。以上のような処理により、飽和領域をゲインダウンすることによる階調減少を抑えることが可能となる。

ステップＳ２１６は、制御部１０１が、上述する選択するカーブの中からゲイン量が最小のカーブを選択する。具体的には、ステップＳ２１１で算出したゲイン量の平均値が最小のものをカーブ５０２〜５０４から選択する（５０５はステップＳ２１５で除外されているため）。本実施形態では、カーブ５０４のゲイン量が最も小さいため、制御部１０１が、カーブ５０４に対応する補正ズーム倍率のカーブであるカーブ３０４を選択する。なお、ゲイン量の平均値が最小のものを選択するのは、一例にすぎず、ゲイン量の最大値が最小のものまたはゲイン量の最小値が最小のものを選択してもよい。

ここで、ゲイン処理による画質の劣化を避けるために、予めゲイン量の閾値を定める。制御部１０１が生成したすべての補正ズーム倍率カーブが、予め定められた閾値以上または以下の平均ゲイン量を有する場合、制御部１０１は、ゲイン処理あるいは補正ズーム倍率の調整を行わないようにしてもよい。なお、平均ゲイン量でなく、ゲイン量の最小値または最大値に対して上記の判断を行ってもよい。

補正ズーム倍率のカーブの選択を終えたら、図２（ａ）のステップＳ２０８に戻り、画像処理部１０７が、各々の画像に対して、補正ズーム倍率に従い、拡大縮小処理を行う。

また、本実施形態では、ズーム動作が行われた付近の期間のみ画像データなどを読み出してもよい。これにより、読み出すデータ量を必要最小限に抑えることができる。さらにズーム動作期間中、露出を通常時よりも少し低くし、記録用動画のフレーム画像はガンマ処理で低輝度部を明るくすることによって、飽和の抑えられたＲＡＷデータを用いて補正を行うことができる。

また、本実施形態では、ゲイン量を算出し、ゲイン量に基づいて、補正ズーム倍率のカーブを選択するが、これに限られるものではない。たとえば、拡大または縮小の処理の処理前と処理後との画像の輝度をそれぞれ算出し、その差分に基づいて、補正ズーム倍率のカーブを選択するように本発明を実施することも可能である。

本実施形態によれば、ズーム動作を行いながら撮像した画像に対して拡大縮小処理をすることで、拡大縮小の倍率の変化を滑らかにしながら、ゲイン処理による画質の悪化を防ぐことができる。

（第２の実施形態）
第２の実施形態は、第１の実施形態と異なり、算出した画像の輝度分布に基づいて、補正ズーム倍率のカーブを選択する。図６は、本実施形態における動画のズームの安定性を改善するための処理を示すフローチャートである。以下では、図６を用いて、第２の実施形態を説明する。なお、第１の実施形態と同様なところは省く。

ステップＳ６０１乃至Ｓ６０３での処理は、第１の実施形態のステップＳ２０１乃至Ｓ２０３での処理と同様である。

ステップＳ６０４では、第１の実施形態のステップＳ２１２と同様に、制御部１０１が、各々の画像に対して、図４（ａ）に示したような分割したブロックごとに、輝度積分値を算出する。

ステップＳ６０５では、第１の実施形態のステップＳ２１３と同様に、制御部１０１が、輝度積分値が所定値以上の飽和ブロックの数をカウントする。

ステップＳ６０６は、制御部１０１が、輝度積分値および飽和ブロック数に基づいて補正ズーム倍率のカーブを選択する。まず、制御部１０１は、ステップＳ６０４で画像処理部１０７が算出した輝度積分値を用いて、処理対象の画像の周辺部と中央部との輝度どちら高いかを判定する。画像処理部１０７は、予め各々の画像に対して、周辺部と中央部との領域を設定する。一例としては、最外周のブロックを周辺部と、それ以外のブロックを中央部としてよい。以下では、周辺部の輝度を周辺輝度と、中央部の輝度を中央輝度と呼ぶ。図７は、輝度分布を示す図である。中央輝度より周辺輝度が高い場合の輝度分布を第１の分布と呼び、図７（ａ）に示す。中央輝度より周辺輝度が低い場合の輝度分布を第２の分布と呼び、図７（ｂ）に示す。

次に、下記の表１に示したような判断方法で、画像処理部１０７は、Ｓ６０５で制御部１０１がカウントした飽和ブロックの数を用いて判断し、処理対象の画像に対して拡大または縮小の処理を行う。

上述した処理の理由を以下で述べる。第１の分布の場合、拡大処理を行うとすると元の画像に対して補正後の画像（点線）は輝度値が小さくなることから、ゲインアップを行う必要がある。逆に第２の分布の場合、拡大処理を行うとすると元の画像に対して補正後の画像は測光値が大きくなることからゲインダウンを行う必要がある。また、縮小処理を行うとすると上述したものとは逆の関係となる。

つまり、第１の分布かつ拡大処理を行うとき、および、第２の分布かつ縮小処理を行うときは、ゲインアップを行う必要があり、第１の分布かつ縮小処理を行うとき、および、第２の分布かつ拡大処理を行うときは、ゲインダウンを行う必要がある。ここで、第１の実施形態で説明したように、飽和ブロックの数が所定数以上の場合には、ゲインダウンを回避することが望ましい。したがって、飽和ブロックが多い場合にはゲインダウンを避けるため、第１の分布であれば拡大処理を、第２の分布であれば縮小処理を優先的に選択し、ゲインアップを優先して行うようにする。逆に飽和領域が少ないのならば、ゲインアップによるノイズ成分の増幅を避けるために、第１の分布であれば縮小処理を、第２の輝度分布であれば拡大処理を優先的に選択するようにして、ゲインダウンを優先して行うようにする。

上記のように、画像の輝度分布から、制御部１０１が、拡大処理をするか、拡大処理をするか、を判断する。一例としては、制御部１０１が、ステップＳ６０３で、第１の実施形態の図３に示したような補正ズーム倍率のカーブを生成したとする。制御部１０１が、輝度分布と飽和ブロックの数に基づいて拡大処理を優先すると判断した場合、ゲインアップが行われる比率が高いカーブ３０４を選択すればよい。制御部１０１が、輝度分布と飽和ブロックの数に基づいて縮小処理を優先すると判断した場合、ゲインダウンが行われる比率が高いカーブ３０２を選択すればよい。

第２の実施形態によれば、輝度分布に基づいて補正ズーム倍率のカーブを選択し、倍率の変化が滑らかな画像を生成するとともに、ゲイン処理による画質の悪化を防ぐことができる。さらに、第１の実施形態のように、各々の画像のゲイン量を算出する必要がないため、処理負荷を減らすことができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

また、以上の説明では、ズーム動作が光学ズーム動作であるということをもとに説明するが、これに限定するわけでない。たとえば、ユーザが手動で、動画の撮像中、タッチパネルを操作することで、電子ズームを行うことができる。こうした電子ズームでの動作のムラを調整しようとするとき、本発明を用いることもできる。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (11)

1. ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して拡大または縮小の処理を行う拡大縮小手段と、
   前記複数の画像の処理後のズーム倍率の変化を表す補正ズーム倍率のカーブを複数生成する補正ズーム倍率のカーブの生成手段と、
   前記複数の補正ズーム倍率のカーブから選択する補正ズーム倍率のカーブの選択手段と、
   前記画像の処理後の測光値を処理前の測光値に戻すためのゲイン量、または、前記画像に対して前記拡大または縮小の処理を行うとき、処理前と処理後との輝度を算出する算出手段と、を有し、
   前記複数の画像の処理後のズーム倍率の変化は、処理前よりも滑らかになり、
   前記選択手段は、前記ゲイン量、または、前記処理前と前記処理後との前記画像の輝度に基づいて、前記複数の補正ズーム倍率のカーブから１つ選択し、
   前記拡大縮小手段は、前記選択した補正ズーム倍率のカーブに基づいて、拡大または縮小の処理を行うことを特徴とする画像処理装置。
2. 前記複数の画像に対して拡大または縮小の処理を行うときの処理後の画像に応じるエリアのそれぞれに対して、処理後の測光値を処理前の測光値に戻すためのゲイン量を算出し、
   前記補正ズーム倍率のカーブごとに、前記算出したゲイン量の平均値を求め、
   前記選択手段は、
   前記ゲイン量の平均値が最小の補正ズーム倍率のカーブを選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像に対して拡大または縮小の処理を行うときの処理後の画像に応じるエリアのそれぞれに対して、処理後の測光値を処理前の測光値に戻すためのゲイン量を算出し、
   前記補正ズーム倍率のカーブごとに、前記算出したゲイン量の最小値または最大値を求め、
   前記選択手段は、
   前記ゲイン量の最小値または最大値が最小の補正ズーム倍率のカーブを選択することを特徴とする請求項１または２項に記載の画像処理装置。
4. 予めゲイン量の閾値を定め、
   前記選択手段は、
   前記選択したカーブにおける前記ゲイン量の最小値または平均値が前記ゲイン量の閾値より大きく、または、前記ゲイン量の最大値または平均値が前記ゲイン量の閾値より小さくなるように、
   選択することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して拡大または縮小の処理を行う拡大縮小手段と、
   前記複数の画像の処理後のズーム倍率の変化を表す補正ズーム倍率のカーブを複数生成する補正ズーム倍率のカーブの生成手段と、
   前記複数の補正ズーム倍率のカーブから選択する補正ズーム倍率のカーブの選択手段と、
   前記画像の処理前の輝度分布を算出する算出手段と、を有し、
   前記複数の画像の処理後のズーム倍率の変化は、処理前よりも滑らかになり、
   前記選択手段は、前記処理前の前記画像の輝度分布に基づいて、前記複数の補正ズーム倍率のカーブから１つ選択し、
   前記拡大縮小手段は、前記選択した補正ズーム倍率のカーブに基づいて、拡大または縮小の処理を行うことを特徴とする画像処理装置。
6. 前記画像を複数のブロックに分割し、各々の前記ブロックの輝度積分値を算出し、算出した各々の前記ブロックの輝度積分値に基づいて、前記輝度分布を算出することを特徴とする請求項５に記載の画像処理装置。
7. 前記選択手段は、
   予め定められた所定値以上の前記輝度積分値を有する前記ブロックの数と、
   前記画像の周辺部と中央部との輝度とに基づいて、
   前記補正ズーム倍率のカーブを選択することを特徴とする請求項６に記載の画像処理装置。
8. 前記ズーム動作は、手動によるズーム動作であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記選択手段は、
   前記複数の補正ズーム倍率のカーブにおいて、ゲインダウンが含まれるものを選択しないことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して拡大または縮小の処理を行う拡大縮小工程と、
    前記複数の画像の処理後のズーム倍率の変化を表す補正ズーム倍率のカーブを複数生成する補正ズーム倍率のカーブの生成工程と、
    前記複数の補正ズーム倍率のカーブから選択する補正ズーム倍率のカーブの選択工程と、
    前記画像の処理後の測光値を処理前の測光値に戻すためのゲイン量または、前記画像に対して前記拡大または縮小の処理を行うとき、処理前と処理後との輝度を算出する算出工程と、を有し、
    前記複数の画像の処理後のズーム倍率の変化は、処理前よりも滑らかになり、
    前記選択工程において、前記ゲイン量、または、前記処理前と前記処理後との前記画像の輝度に基づいて、前記複数の補正ズーム倍率のカーブから１つ選択し、
    前記拡大縮小工程において、前記選択した補正ズーム倍率のカーブに基づいて、拡大または縮小の処理を行うことを特徴とする画像処理方法。
11. ズーム動作を行いながら撮像した複数の画像の少なくとも一部の画像に対して拡大または縮小の処理を行う拡大縮小工程と、
    前記複数の画像の処理後のズーム倍率の変化を表す補正ズーム倍率のカーブを複数生成する補正ズーム倍率のカーブの生成工程と、
    前記複数の補正ズーム倍率のカーブから選択する補正ズーム倍率のカーブの選択工程と、
    前記画像の処理前の輝度分布を算出する算出工程と、を有し、
    前記複数の画像の処理後のズーム倍率の変化は、処理前よりも滑らかになり、
    前記選択工程において、前記画像の処理後の測光値を処理前の測光値に戻すためのゲイン量、または、前記処理前の前記画像の輝度分布に基づいて、前記複数の補正ズーム倍率のカーブから１つ選択し、
    前記拡大縮小工程において、前記選択した補正ズーム倍率のカーブに基づいて、拡大または縮小の処理を行うことを特徴とする画像処理方法。

Images