JPWO2013069564A1 - 撮像装置およびその制御方法 - Google Patents

Abstract

超解像処理が必要な場合にのみ，超解像処理が行われた画像データが確実に生成されるようにする。
ズーム倍率がＺ_１〜Ｚ_２の光学ズーム適用変倍範囲であればズームレンズによって拡大された画像データが記録メディアに記録される。ズーム倍率がＺ_２〜Ｚ_３の電子ズーム適用変倍範囲であれば画像データに超解像処理が行われ，超解像画像データと超解像処理されていない画像データとを，ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成したものが電子ズーム処理されて記録される。ズーム倍率がＺ_３を超えると超解像画像データを電子ズーム処理したものが記録される。

Description

この発明は，撮像装置およびその制御方法に関し，特に光学ズーム機能と電子ズーム機能の両方を備える撮像装置およびその制御方法に関する。

ズーム・スイッチを操作すると光学ズームに引続いて電子ズームに移行し，光学ズームの最大倍率を超える拡大画像を表示装置に表示するものが知られている。段階的に変化する光学ズームの倍率の間において電子ズーム画像を表示するものもある（特許文献１，２）。

電子ズーム画像は光学ズーム画像と比べて一般に解像感が悪い。電子ズーム画像において解像感（たとえば輪郭部分の鮮明さ）を保つために，ズーム倍率に応じて画像輪郭補正を行うものもある（特許文献３，４，５）。

特開２００６−３２５７６号公報 特開２００５−６２６３３号公報 特開２００５−２００６１号公報 特開平１１−１６８６５３号公報 特開平３−２１８１７３号公報

特許文献３〜５は，画像データに対して行われる輪郭補正処理の強さや輪郭補正処理する周波数帯域を電子ズームの倍率に応じて変更している。しかしながら，たとえば電子ズーム画像に適する輪郭補正処理を，電子ズームを行っていない，十分な解像感を有する画像データにまで行うと，アーチファクトやボケの発生など逆に画質特性の劣化が生じるおそれがある。

この発明は，画像補正処理，特に後述する超解像処理が必要な場合にのみ，超解像処理が行われた画像データが生成されるようにすることを目的とする。

この発明はまた，ズーム操作の全範囲にわたって解像感のよい画像を表す画像データを生成できるようにすることを目的とする。

第１の発明による撮像装置は，光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段，ならびにズーム倍率が上記電子ズーム適用変倍範囲にあるときに，生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段を備えている。

第１の発明は上述した撮像装置の制御に適する方法も提供する。第１の発明による方法は，光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，および上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって，ズーム倍率が上記電子ズーム適用変倍範囲であるときに，生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する。

ズーム操作手段を用いて被写体像のズーム操作が開始されると，まずズームレンズによる光学的ズーミング（焦点距離の変更）が行われる。撮像装置が備えるズームレンズが望遠端に位置するときのズーム倍率（光学最大ズーム倍率，ズームレンズの最大焦点距離）までは光学的ズーミングのみが行われる。光学最大ズーム倍率を超えるズーム倍率にまで至るズーム操作が行われると，画像データを画素補間処理によって電子的に変倍する電子ズーム処理が始まる。ズームレンズの最大ズーム倍率を超えるズーム倍率によるズーミングが継続する。

この明細書において，超解像処理とは，画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する処理を行うものである。すなわち，超解像処理とは，処理対象の画像データによって表される画像において視認される画像の解像感を向上させる画像処理であって，少なくともノイズ低減（抑制，除去）処理および輪郭強調処理を含む画像処理を意味する。たとえば，平滑化フィルタを用いた平滑化処理によるノイズ低減処理と，画像中の輪郭成分の輝度値のゲインを上げる輪郭強調処理との組合わせである。画像データを超解像処理することで，ズーム処理後の画像を，超解像処理されていない画像と比べて解像感が上昇したもの（より輪郭がはっきりし，さらにはノイズの目立たない画像）とすることができる。

第１の発明によると，ズーム倍率が電子ズーム適用変倍範囲にあるときに，超解像画像データと超解像処理されていない画像データとを，ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成が行われる。電子ズーム適用変倍範囲において比較的小さいズーム倍率では超解像処理されていない画像データの重み（比率）が大きい重付け合成画像データを，ズーム倍率が大きくなるにしたがって次第に超解像処理された画像データの重みが大きくされた重付け合成画像データを生成することができる。上述したように，電子ズーム適用変倍範囲ではズーム倍率が大きいほど画像の解像感は悪くなる。ズーム倍率が大きくなるにしたがって次第に超解像処理された画像データの重みを大きくすることによって，ズーム操作の全範囲にわたって解像感の悪化を抑え比較的解像感が一定した画像を撮影者に視認させることができる。また，光学ズーム適用変倍範囲から電子ズーム適用変倍範囲に切換わるタイミングにおいて，いきなり超解像処理された画像データの重みが大きい重付け合成画像データを生成しないことで，解像感の急激な変化も緩和される。

好ましくは，上記撮像装置は，ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し，ズーム倍率が電子ズーム適用変倍範囲であれば上記重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する記録制御手段を備える。記録手段に記録された画像データを表示装置における画像表示に用いることができる。重付け合成画像データを電子ズーム処理することによってズーム倍率に変倍してもよいし，重付け合成する前の超解像画像データと超解像処理されていない画像データを電子ズーム処理することによってズーム倍率に変倍し，その後に重付け合成してもよい。ズーム倍率が光学最大ズーム倍率に至るまで（光学ズーム適用変倍範囲）であれば，光学的に変倍された超解像処理されていない画像データが記録手段に記録される。他方，ズーム倍率が光学最大ズーム倍率を超え，上述したように画像データに対する電子ズーム処理を行うべきズーム倍率にあるときに（電子ズーム適用変倍範囲），超解像画像データを含む画像データが記録手段に記録される。

上述したように，ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データが記録手段に記録される。一実施態様では，ズーム倍率が上記光学ズーム適用変倍範囲にあれば超解像処理せず，ズーム倍率が上記電子ズーム適用変倍範囲にあるときに画像データを超解像処理するように上記超解像処理手段を制御する超解像処理制御手段がさらに備えられる。光学ズーム適用変倍範囲においては超解像処理に撮像装置の資源が費やされず，画像表示に至るまでの時間が長くなることもない。

他の実施態様では，上記重付け合成手段は，ズーム倍率が上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第１のズーム倍率までの範囲にあるときに，超解像画像データと超解像処理されていない画像データとを重付け処理するものであり，上記記録制御手段は，ズーム倍率が上記光学最大ズーム倍率から第１のズーム倍率までの範囲であれば重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が上記第１のズーム倍率を超える場合には上記超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する。

超解像処理手段に程度の異なる２段階の超解像処理を行わせてもよい。第１の発明による他の実施態様では，上記超解像処理手段は，超解像処理の程度が異なる第１，第２の超解像処理を実行するものであり，上記重付け合成手段は，ズーム倍率が，上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第１のズーム倍率までの範囲であれば，第１の超解像処理による超解像画像データと超解像処理されていない画像データを上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって重付け合成し，上記第１のズーム倍率を超える第２のズーム倍率から上記第２のズーム倍率を超える第３のズーム倍率までの範囲であれば，第１の超解像処理による超解像画像データと，第１の超解像処理よりも程度の強い第２の超解像処理による超解像画像データとを，上記ズーム倍率が大きいほど第２の超解像処理による超解像画像データの重付けが大きくなる重付け処理によって重付け合成する。上記記録制御手段は，ズーム倍率が上記光学最大ズーム倍率から第１のズーム倍率までの範囲であれば第１の超解像処理による超解像画像データと超解像処理されていない画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が上記第１のズーム倍率から第２のズーム倍率までの範囲であれば第１の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が第２のズーム倍率から第３の倍率までの範囲であれば第１の超解像処理による超解像画像データと第２の超解像処理による超解像画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が第３のズーム倍率を超える場合には第２の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する。

超解像処理（超解像画像データの合成）を始めるズーム倍率は，電子ズーム適用変倍範囲の最低ズーム倍率（光学ズーム適用変倍範囲と電子ズーム適用変倍範囲の境界）であってもよい。もっとも，電子ズーム適用変倍範囲の最低ズーム倍率から超解像処理を必ずしも始めなくてもよい。一実施態様において，上記撮像装置は，ズーム倍率が所定のズーム倍率以下であれば上記電子ズーム適用変倍範囲であっても超解像画像データを合成せず，ズーム倍率が上記所定のズーム倍率より大きいときに画像データを合成するように上記重付け合成手段を制御する重付け合成制御手段をさらに備える。ズーム倍率が次第に大きくされたとき，光学ズーム適用変倍範囲と電子ズーム適用変倍範囲の境界を超えて，電子ズーム適用変倍範囲における上記所定のズーム倍率となったときに超解像画像データが合成される。電子ズーム適用変倍範囲であってもズーム倍率が小さい範囲であれば，電子ズーム処理が行われても画像の解像感がさほど悪化しないこともあるからである。

上記所定のズーム倍率は，あらかじめ決められた基準空間周波数における空間周波数応答が所定の値となるズーム倍率である。たとえば，あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答のＮ％（Ｎは任意の正の値）応答となるズーム倍率を用いることができる。また，あらかじめ決められる基準空間周波数応答Ｎ％になる空間周波数が基準空間周波数以下になるズーム倍率を，上記所定のズーム倍率として用いてもよい。

第１の発明による他の実施態様では，上記超解像処理手段は，画像データによって表される画像をその輪郭成分と非輪郭成分とに分離する分離手段と，上記分離手段によって分離された輪郭成分に対してノイズ低減処理および強調処理を行う輪郭成分処理手段と，ノイズ低減処理および強調処理が行われた輪郭成分と上記非輪郭成分と合成する合成手段を含む。輪郭成分を超解像処理の対象とすることで超解像処理の処理時間の短縮が図られる。また，偽輪郭の発生も抑制することができる。

第２の発明による撮像装置は，光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段，生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段，ならびにズーム倍率が，あらかじめ決定される基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば，そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し，ズーム倍率が，上記空間周波数応答が上記所定の値となるズーム倍率より大きい場合に，上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する記録制御手段を備える。たとえば，あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答のＮ％（Ｎは任意の正の値）応答となるズーム倍率を，上記空間周波数応答が所定の値となるズーム倍率として用いることができる。また，あらかじめ決められる基準空間周波数応答Ｎ％になる空間周波数が基準空間周波数以下になるズーム倍率を用いてもよい。

第２の発明による撮像装置を制御する方法は，光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，ならびに上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって，生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成し，ズーム倍率が，あらかじめ決定される基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば，そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し，ズーム倍率が，上記空間周波数が上記所定の値となるズーム倍率より大きい場合に，上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する。

第２の発明によると，画像の解像感を表す空間周波数応答が，超解像処理されていない画像データを記録手段に記録するか，上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データを記録手段に記録するかの判断基準として用いられる。撮像装置の特性（ズームレンズの光学特性，撮像手段の特性，電子ズーム時の画像処理特性等）およびズーム倍率によって上記空間周波数応答は定まる。また，ズーム倍率が大きくなるにつれて空間周波数応答は低下する。あらかじめ決定される基準空間周波数について上記空間周波数応答が所定の値，たとえばＮ％応答（Ｎは任意の正の値）となるズーム倍率（以下，「Ｎ％応答ズーム倍率」という）を用いて，ズーム倍率が上記Ｎ％応答ズーム倍率以下であれば，そのときの画像データは空間周波数応答がＮ％以上となるから，許容できる解像感を持つと考えて超解像処理されていない画像データが記録手段に記録される。他方，ズーム倍率が，上記Ｎ％応答ズーム倍率より大きければ，そのときの画像データは空間周波数応答はＮ％未満となるから，許容できる解像感に達しないと考えて上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データが記録手段に記録される。ズーム操作の全範囲にわたって解像感のよい画像を撮影者に視認させることができる。上述したように，あらかじめ決められる基準空間周波数応答Ｎ％になる空間周波数が基準空間周波数以下になるズーム倍率を用いてもよい。

第１実施例のディジタル・カメラの電気的構成を示すブロック図である。 第１実施例のディジタル・カメラの動作の流れを示すフローチャートである。 画像処理の流れを複数の画像を用いて示す。 ズーム倍率と，超解像処理された画像（超解像処理オン画像）と超解像処理されていない画像（超解像処理オフ画像）の合成処理との関係を示す。 第２実施例のディジタル・カメラの動作の流れを示すフローチャートである。 ディジタル・カメラの空間周波数応答を示すグラフである。 第３実施例を示すもので，ズーム倍率と，超解像処理された画像（超解像処理オン画像）と超解像処理されていない画像（超解像処理オフ画像）の合成処理との関係を示す。 第４実施例を示すもので，ズーム倍率と，超解像処理された画像（超解像処理オン画像）と超解像処理されていない画像（超解像処理オフ画像）の合成処理との関係を示す。

以下，この発明を適用したディジタル・カメラについての実施例を，図面を参照して説明する。

図１は第１実施例のディジタル・カメラ１の電気的構成を示すブロック図である。

ディジタル・カメラ１の全体の動作はＣＰＵ２によって統括される。

ＣＰＵ２が実行する制御プログラム，制御に必要な各種データ，カメラ設定値等がメモリ14に記憶されている（ＲＯＭ領域）。メモリ14はまた，ＣＰＵ２の作業用領域，画像データの一時記憶領域としても利用される（ＲＡＭ領域）。

操作器25はモード選択ダイアル，シャッタレリーズボタン，ズームボタン等を含む。操作器25に含まれるモード選択ダイアルによって撮像モードが設定されると，被写体像を表す光線束がズームレンズ３およびフォーカスレンズ４を介してＣＣＤ５の受光面に入射する。ＣＣＤ５から一定周期で被写体像を表す映像信号が出力される。ズームボタンを広角側または望遠側に操作すると，ズームレンズ３がモータ・ドライバ21によって制御されて光学的なズーミングが行われる。

ＣＣＤ５から出力した映像信号はアナログ／ディジタル変換回路６においてディジタル画像データに変換される。アナログ／ディジタル変換回路６から出力された画像データは画像入力コントローラ７に入力する。画像入力コントローラ７から出力された画像データは画像信号処理回路８に入力し，ここでガンマ補正，白バランス調整など所定の画像処理が行われた後，表示回路10に入力する。

画像信号処理回路８は，電子ズーム処理（画素補間処理）を行う機能も有している。電子ズームも上述したズームボタンの操作に応じて行われる。

表示回路10によって画像表示装置（たとえば液晶モニタ）11が制御されることにより，ズームレンズ３およびフォーカスレンズ４を通して撮像された被写体像（いわゆるスルー画像）が画像表示装置11の表示画面に表示される。

画像入力コントローラ７から出力された画像データはＡＥ（自動露出）／ＡＦ（自動合焦）検出回路12にも入力する。ＡＥ検出では入力した画像データにもとづいて被写体輝度が算出され，算出された輝度にもとづいて絞り（図示略）の絞り値およびシャッター（図示略）のシャッタ速度が算出され，絞りおよびシャッタが制御される。ＡＦ検出では入力した画像データのコントラスト等にもとづいてフォーカスレンズ４のレンズ位置が算出される。算出されたレンズ位置となるようにモータドライバ22によってフォーカスレンズ４が制御される。

モード選択ダイアルにおいて撮像モードが設定されているときにシャッタレリーズボタンが押されると，被写体像を表す画像信号がＣＣＤ５から出力され，画像信号はアナログ／ディジタル変換回路６によってディジタル画像データに変換され，画像入力コントローラ７を介して画像信号処理回路８に入力し，ここで所定の画像処理が行われる。画像信号処理回路８から出力された画像データはメモリ14に一時的に記憶される。メモリ14から読み出された画像データは画像圧縮／伸長処理回路９に入力し，圧縮される。圧縮された画像データがメディア・コントローラ15によってメモリ・カードなどの記録メディア16に記録される。

モード選択ダイアルにおいて再生モードが設定されると，記録メディア16に記録されている圧縮画像データがメディア・コントローラ15によって読出され，画像圧縮／伸張処理回路９に与えられる。伸張された画像データがメモリ14に記憶される。メモリ14に記憶された画像データに基づく画像が表示回路10によって制御される画像表示装置11に表示される。

ディジタル・カメラ１はさらに超解像処理回路13を備えている。超解像処理回路13は画像データに対するノイズ低減処理および輪郭強調処理を行う。たとえば，平滑化フィルタを用いた平滑化処理によるノイズ低減処理と，画像中の輪郭成分の輝度値のゲインを上げる輪郭強調処理とが超解像処理回路13において実行される。超解像処理回路13による画像処理を含むディジタル・カメラ１の動作については後述する。

図２は，ディジタル・カメラ１の動作の流れを示すフローチャートである。図３は図２に示すフローチャートにおける画像処理の流れを画像例によって示している。図４はズームボタンを用いたズーム処理によるズーム倍率と，後述する超解像処理回路13によって超解像処理された画像（超解像処理オン画像）と超解像処理されていない画像（超解像処理オフ画像）の合成処理との関係を示している。以下，図３および図４を適宜参照しつつ，図２に示すフローチャートを説明する。

上述のように，操作器25に含まれるモード選択ダイアルが撮像モードに設定されると，被写体像が撮像される（ステップ31）。

ズームボタンによって被写体像のズーミングが行われる。ズーム倍率がズームレンズ３の望遠端（tele端）に位置するときのズーム倍率（光学最大ズーム倍率）にまで達していない場合，すなわち，図４を参照して，現在のズーム倍率が，ズームレンズ３の広角端（wide端）に位置するときのズーム倍率Ｚ_１と望遠端（tele端）に位置するときの光学最大ズーム倍率Ｚ_２の間であれば，特段の処理は行われない。撮像によって得られた画像データはメモリ14（シャッタレリーズボタンが押された場合には記録メディア16）に記録される（ステップ32でNO，ステップ38）。上述したように，メモリ14に記録された画像データによって表される画像は画像表示装置11に表示することができる。望遠端（tele端）まで達しないズーム倍率では上述した画像信号処理回路８による電子ズーム処理は行われない。現在（現時点）のズーム倍率は，操作器25に含まれるズームボタンの押下時間にしたがってＣＰＵ２によって検出される。

ズーム倍率がズームレンズ３が望遠端に位置するときの光学最大ズーム倍率Ｚ_２を超えると（ステップ32でYES ），ズームレンズ３による光学ズームに加えて電子ズーム処理が行われる。以下の処理に進む。

はじめに電子ズーム領域（現在のズーム倍率に応じて拡大および縮小する範囲）内の画像データの切出し処理が行われる（ステップ33）。図３を参照して，撮像領域全体を表す画像Ｉ_１に包含される電子ズーム領域51を表す画像Ｉ_２（以下，切出し画像Ｉ_２という）を表す画像データが，画像Ｉ_１を表す画像データから切出される。

切出し画像Ｉ_２を表す画像データは２つに分岐し（コピーされ），そのうち一方の切出し画像Ｉ_２を表すデータが超解像処理回路13に与えられてここで超解像処理（ノイズ低減処理と輪郭強調処理の組合わせの画像処理）が行われる（ステップ34）。超解像処理された画像（超解像処理オン画像）Ｉ_３が生成される。

現在のズーム倍率が重付け合成範囲であるかどうかが判断される（ステップ35）。

図４を参照して，現在のズーム倍率が，上述したズームレンズ３が望遠端にあるときの光学最大ズーム倍率Ｚ_２を所定値以上超えるズーム倍率Ｚ_３以上であるとき，超解像処理オン画像そのものが表示処理の対象とされる。超解像処理オン画像は撮像領域（元の被写体像）の画像サイズに拡大処理（補間処理）され（電子ズーム処理），拡大された超解像処理オン画像を表すデータがメモリ14に記録される（ステップ35でNO，ステップ37，ステップ38）。超解像処理されていない切出し画像（超解像処理オフ画像）Ｉ_２はメモリ14に記録されない。

他方，現在のズーム倍率がズーム倍率Ｚ_２〜Ｚ_３の間（重付け合成範囲）にあれば，ズーム倍率に応じて重付けされた超解像処理オン画像Ｉ_３および超解像処理オフ画像Ｉ_２が合成される（ステップ35でYES ，ステップ36）。図４を参照して，超解像処理オン画像Ｉ_３の重付けの大きさ（合成比率）はズーム倍率がＺ_２からＺ_３に向かって大きくなるにしたがって比例的に増加する（一点鎖線参照）。ここでは重付けの大きさは比例的な増加としているが，非線形な増加であってもよい。他方，超解像処理オフ画像Ｉ_２の重付けの大きさはズーム倍率がＺ_２からＺ_３に向かって大きくなるにしたがって比例的に減少する（実線参照）。重付けの大きさは非線形な減少であってもよい。図４に示す重付け合成範囲およびその範囲におけるズーム倍率と重付けの大きさ（合成比率）の関係を示すデータ，光学ズームが適用される変倍範囲，電子ズームが適用される変倍範囲はメモリ14に記憶され，これが上述した重付け合成処理を行うべきかどうかの判断等に用いられる。

ズーム倍率Ｚ_２をしきい値として光学ズーム画像と超解像処理された電子ズーム画像とを単純に切換えて表示すると，視認される画像の解像感の連続性が保てない。ここで図４に示すように，ズーム倍率Ｚ_２からＺ_３の間においては重付け合成画像を表示し，かつズーム倍率が大きくなるにしたがって超解像処理オン画像の重みを次第に大きくする（超解像処理オフ画像の重みは次第に小さくする）ことで，解像感の突然の変動が抑制される。ズーム操作中に連続性のある解像感をもつズーム画像を撮影者に視認させることができる。また，ズーム倍率が大きくなるにしたがって悪化する解像感が，重付け合成画像において超解像処理オン画像の重みを次第に大きくすることで補償されるから，ズーム操作の全範囲にわたって比較的解像感が一定した画像を撮影者に視認させることができる。

重付け合成処理が行われた場合（図３に示す画像Ｉ_４）も，合成画像が拡大処理（電子ズーム処理）されて，拡大された合成画像（図３の画像Ｉ_５）を表すデータがメモリ14に記録される（ステップ37，ステップ38）。

図５は第２実施例のディジタル・カメラの動作の流れを示すフローチャートである。第１実施例のディジタル・カメラ１のフローチャート（図２）と同一処理には同一符号を付し，重複説明を省略する。第２実施例および後述する他の実施例のディジタル・カメラのハードウェア構成は第１実施例（図１）と同じである。

上述した第１実施例における超解像処理回路13による超解像処理は，撮像によって得られた画像データを処理対象としている。第２実施例では超解像処理の前にあらかじめ輪郭抽出処理を行い，抽出された輪郭部分のみを超解像処理回路13の処理対象とする。

図５を参照して，切出し画像について超解像処理回路13において輪郭抽出処理（輪郭成分分離処理）が行われ（ステップ41），輪郭成分を表わす画像データ（ステップ42）および非輪郭成分を表わす画像データ（ステップ43）が生成される。

超解像処理回路13は，輪郭成分の画像データのみを処理対象として超解像処理を行う（ステップ34）。現在のズーム倍率が重付け合成範囲内（図４：ズーム倍率Ｚ_２〜Ｚ_３）であれば，超解像処理オン画像と超解像処理オフ画像の重付け合成が行われる（ステップ35でYES，ステップ36）。現在のズーム倍率が重付け合成範囲を超えていれば（ズーム倍率Ｚ_３以上），重付け合成は行われない（ステップ35でNO）。

超解像処理された輪郭成分の画像データまたは重付け合成された輪郭成分の画像データと，非輪郭成分の画像データとが合成される（ステップ44）。画像拡大処理後，合成された画像データがメモリ14に記録される（ステップ37，38）。

輪郭成分の画像データのみが超解像処理回路13において超解像処理されるので，第１実施例と比較して超解像処理回路13における処理時間を短縮することができる。また輪郭成分のみを超解像処理することができるので，画像全体を超解像処理する場合と比べて偽輪郭が発生しないまたは発生しにくい利点もある。

上述した第１実施例および第２実施例では，ズームレンズ３が望遠端（tele端）に位置するときの光学最大ズーム倍率Ｚ_２を，重付け合成処理を開始するズーム倍率（重付け合成範囲の最小ズーム倍率）としている。しかしながら，電子ズーム処理が行われても，ズーム倍率が小さい状態では十分な解像度が保たれていることもある。以下に説明するように，第３実施例では，ズームレンズが望遠端（tele端）に位置するときの光学最大ズーム倍率Ｚ_２を重付け合成処理を開始するズーム倍率とするのに代えて，空間周波数応答を考慮して，重付け合成処理を開始するズーム倍率を決定する。

図６は横軸を空間周波数とし，縦軸を空間周波数応答とする，ディジタル・カメラ１の空間周波数応答の特性を示すグラフである。空間周波数応答はディジタル・カメラ１の特性（ズームレンズ３の光学特性，ＣＣＤ２の特性，電子ズーム時の画像処理特性等）とズーム倍率とによって定まる。図６には，ズーム倍率がＺ_１，Ｚ_２，Ｚ_３およびＺ_Ｎ（Ｚ_１＜Ｚ_２＜Ｚ_３＜Ｚ_Ｎ）であるときのそれぞれについての空間周波数応答の特性を示すグラフが示されている。

図６を参照して，いずれのズーム倍率であっても，画像の空間周波数が高いほど空間周波数応答は小さくなることが分かる。

図６には，ズーム倍率がＺ_１，Ｚ_２，Ｚ_３およびＺ_Ｎであるときのそれぞれについて，空間周波数応答が５０％応答となる空間周波数Ｆ_１，Ｆ_２，Ｆ_３，Ｆ_Ｎ（Ｆ_１＞Ｆ_２＞Ｆ_３＞Ｆ_Ｎ）が示されている。ズーム倍率が大きいほど５０％応答となる空間周波数は低くなることが分かる。

図７はズーム倍率と重付け合成との関係を示す図に，空間周波数応答が５０％応答になる空間周波数を示す曲線（細かい破線参照）を追加して示すものである。図７に示すように，空間周波数応答が５０％応答になる空間周波数はズーム倍率が大きくなるにしたがって低くなる。

図７を参照して，たとえば，５０％応答になる空間周波数として空間周波数Ｆ_３を基準とすることを考える。基準空間周波数Ｆ_３について５０％応答以上の空間周波数応答を持たせる場合，ズーム倍率は光学最大ズーム倍率Ｚ_２よりも大きなズーム倍率Ｚ_Ｃ以下であればよい（空間周波数応答が５０％応答になる空間周波数を示す曲線上の点Ｃを参照）。

空間周波数Ｆ_３よりも高い空間周波数Ｆ_２を基準空間周波数とし，基準空間周波数Ｆ_２について５０％応答以上の空間周波数応答を持たせる場合，ズーム倍率は光学最大ズーム倍率Ｚ_２よりも大きく，かつ上記ズーム倍率Ｚ_Ｃよりも小さいズーム倍率Ｚ_Ｂ以下であればよい（点Ｂ参照）。

さらに，空間周波数Ｆ_２よりも高い空間周波数Ｆ_１を基準空間周波数とし，基準空間周波数Ｆ_１について５０％応答以上の空間周波数応答を持たせる場合，ズーム倍率は光学最大ズーム倍率Ｚ_２よりも小さいズーム倍率Ｚ_Ａ以下である必要がある（点Ａ参照）。

第３実施例（図７）では，重付け合成を開始するズーム倍率として，ズームレンズ３が望遠端にあるときの光学最大ズーム倍率Ｚ_２に代えて，空間周波数応答が５０％応答になる空間周波数（基準空間周波数）があらかじめ決定され，その基準空間周波数について上記空間周波数応答が５０％応答となるズーム倍率を表すデータがメモリ14にあらかじめ記憶される。検出されるズーム倍率が上記空間周波数応答が５０％応答となるズーム倍率以上であるときに超解像処理（重付け合成）が行われる。

検出されたズーム倍率が電子ズーム適用変倍範囲にあるときに超解像処理（重付け合成）を行い，光学ズーム適用変倍範囲にあるときには超解像処理（重付け合成）を行わないようにするのであれば，比較的低い空間周波数を基準空間周波数として決定し（たとえば，図７のＦ_２，Ｆ_３），その基準空間周波数について空間周波数応答が５０％応答となるズーム倍率（Ｚ_Ｂ，Ｚ_Ｃ）を表すデータをメモリ14にあらかじめ記憶すればよい。光学ズーム適用変倍範囲から超解像処理を行うことももちろん可能である。この場合には，比較的高い空間周波数を基準空間周波数として決定し（たとえば，図７のＦ_１），光学最大ズーム倍率Ｚ_２よりも小さいズーム倍率Ｚ_Ａ（基準空間周波数Ｆ_１について空間周波数応答が５０％応答となるズーム倍率）を，超解像処理（重付け合成）を開始するズーム倍率としてメモリ14に記憶しておけばよい。

図８は第４実施例を示すもので，ズームボタンを用いたズーム処理によるズーム倍率と，超解像処理された画像（超解像処理オン画像）と超解像処理されていない画像（超解像処理オフ画像）の合成処理との関係の他の例を示している。

超解像処理は，ノイズ低減処理に用いられるフィルタのフィルタ係数，および輪郭強調処理に用いられるゲイン値を変えることで，その強さ（程度）を調整することができる。第４実施例では程度の異なる２つの超解像処理が用いられる。

図８を参照して，たとえば，現在のズーム倍率がズームレンズ３が望遠端に位置するときの光学最大ズーム倍率Ｚ_２からズーム倍率Ｚ_３までの範囲（重付け合成範囲Ｉ）にあれば，程度の弱い超解像処理（超解像処理（弱））が超解像処理回路13において行われる。超解像処理オフ画像（実線）と超解像処理オン（弱）画像（一点鎖線）を重付け合成したものが，拡大処理されてメモリ14に記録される。

現在のズーム倍率がＺ_３からＺ_４までの範囲にあれば，程度の弱い超解像処理オン画像が拡大処理されてメモリ14に記録される。

現在のズーム倍率がＺ_４〜Ｚ_５の範囲にあれば（重付け合成範囲II），超解像処理回路13は，程度の弱い超解像処理を行った画像（超解像処理オン（弱）画像）（一点鎖線）と，程度の強い超解像処理を行った画像（超解像処理オン（強）画像）（二点鎖線）の２つの超解像処理画像を生成し，これらを重付け合成する。超解像処理オン（強）画像の重付けの大きさはズーム倍率がＺ_４からＺ_５に向かって大きくなるにしたがって比例的に増加する。他方，超解像処理オン（弱）画像の重付けの大きさはズーム倍率がＺ_４からＺ_５に向かって大きくなるにしたがって比例的に減少する。超解像処理オン（弱）画像と超解像処理オン（強）画像を重付け合成したものが，拡大処理されてメモリ14に記録される。

現在のズーム倍率がＺ_５以上であれば，超解像処理オン（強）画像が拡大処理されてメモリ14に記録される。

１ ディジタル・カメラ（撮像装置）
２ ＣＰＵ
３ ズームレンズ
５ ＣＣＤ（撮像手段）
８ 画像信号処理回路（電子ズーム処理手段）
13 超解像処理回路
16 記録メディア
25 操作器

Claims (13)

1. 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，
   上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，
   ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，
   ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，
   上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段，ならびに
   ズーム倍率が上記電子ズーム適用変倍範囲にあるときに，生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段を備える，
   撮像装置。
2. ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し，ズーム倍率が電子ズーム適用変倍範囲であれば上記重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する記録制御手段をさらに備える，
   請求項１に記載の撮像装置。
3. ズーム倍率が上記光学ズーム適用変倍範囲にあれば超解像処理せず，ズーム倍率が上記電子ズーム適用変倍範囲にあるときに画像データを超解像処理するように上記超解像処理手段を制御する超解像処理制御手段をさらに備える，
   請求項１または２に記載の撮像装置。
4. 上記超解像処理制御手段は，上記電子ズーム適用変倍範囲の最低ズーム倍率以上のときに画像データを超解像処理するように上記超解像処理手段を制御する，請求項３に記載の撮像装置。
5. ズーム倍率が所定のズーム倍率以下であれば上記電子ズーム適用変倍範囲であっても超解像画像データを合成せず，ズーム倍率が上記所定のズーム倍率より大きいときに超解像画像データを合成するように上記重付け合成手段を制御する重付け合成制御手段をさらに備える，
   請求項１に記載の撮像装置。
6. 上記所定のズーム倍率は，あらかじめ決められる基準空間周波数における空間周波数応答が所定の値となるズーム倍率である，
   請求項５に記載の撮像装置。
7. 上記重付け合成手段は，
   ズーム倍率が上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第１のズーム倍率までの範囲にあるときに，超解像画像データと超解像処理されていない画像データとを重付け処理するものであり，
   上記記録制御手段は，
   ズーム倍率が上記光学最大ズーム倍率から第１のズーム倍率までの範囲であれば重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が上記第１のズーム倍率を超える場合には上記超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する，
   請求項２に記載の撮像装置。
8. 上記超解像処理手段は，超解像処理の程度が異なる第１，第２の超解像処理を実行するものであり，
   上記重付け合成手段は，
   ズーム倍率が，上記光学最大ズーム倍率から上記光学最大ズーム倍率を超える第１のズーム倍率までの範囲であれば，第１の超解像処理による超解像画像データと超解像処理されていない画像データを上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって重付け合成し，上記第１のズーム倍率を超える第２のズーム倍率から上記第２のズーム倍率を超える第３のズーム倍率までの範囲であれば，第１の超解像処理による超解像画像データと，第１の超解像処理よりも程度の強い第２の超解像処理による超解像画像データとを，上記ズーム倍率が大きいほど第２の超解像処理による超解像画像データの重付けが大きくなる重付け処理によって重付け合成するものであり，
   上記記録制御手段は，
   ズーム倍率が上記光学最大ズーム倍率から第１のズーム倍率までの範囲であれば第１の超解像処理による超解像画像データと超解像処理されていない画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が上記第１のズーム倍率から第２のズーム倍率までの範囲であれば第１の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が第２のズーム倍率から第３の倍率までの範囲であれば第１の超解像処理による超解像画像データと第２の超解像処理による超解像画像データを重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録し，ズーム倍率が第３のズーム倍率を超える場合には第２の超解像処理による超解像画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する，
   請求項２に記載の撮像装置。
9. 上記超解像処理手段は，
   画像データによって表される画像をその輪郭成分と非輪郭成分とに分離する分離手段と，
   上記分離手段によって分離された輪郭成分に対してノイズ低減処理および強調処理を行う輪郭成分処理手段と，
   ノイズ低減処理および強調処理が行われた輪郭成分と上記非輪郭成分と合成する合成手段を含む，
   請求項１から８のいずれか一項に記載の撮像装置。
10. 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，
    上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，
    ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，
    ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，
    上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段，
    生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する重付け合成手段，ならびに
    ズーム倍率が，あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば，そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し，ズーム倍率が，上記空間周波数応答が上記所定の値となるズーム倍率より大きい場合には，上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する記録制御手段を備える，
    撮像装置。
11. 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，および上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって，
    ズーム倍率が上記電子ズーム適用変倍範囲にあるときに，生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成する，
    撮像装置の制御方法。
12. ズーム倍率が光学ズーム適用変倍範囲であれば光学的にそのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し，ズーム倍率が電子ズーム適用変倍範囲であれば上記重付け合成した画像データを電子的にそのズーム倍率に変倍したものを記録手段に記録する，
    請求項１１に記載の撮像装置の制御方法。
13. 光像を光学的に変倍可能なズームレンズを通じて被写体を撮像し，被写体像を表す画像データを出力する撮像手段，上記撮像手段によって得られる画像データを電子的に変倍する電子ズーム手段，ズームレンズおよび電子ズーム手段のズーム倍率を変更する操作を行うためのズーム操作手段，ズーム倍率がズームレンズが望遠端に位置するときの光学最大ズーム倍率に至るまでの光学ズーム適用変倍範囲であればズームレンズのみを用いて，ズーム倍率が光学最大ズーム倍率を超える電子ズーム適用変倍範囲であれば電子ズーム手段を併用して画像データを変倍するズーム制御手段，ならびに上記画像データに対し，ノイズの強調を抑制しつつ輪郭を強調する超解像処理を行い，超解像画像データを生成する超解像処理手段を備える撮像装置の制御方法であって，
    生成された超解像画像データと超解像処理されていない画像データとを，上記ズーム倍率が大きいほど超解像画像データの重付けが大きくなる重付け処理によって合成し，
    ズーム倍率が，あらかじめ決められる基準空間周波数について上記撮像装置の特性およびズーム倍率によって定まる空間周波数応答が所定の値となるズーム倍率以下であれば，そのズーム倍率に変倍された超解像処理されていない画像データを記録手段に記録し，ズーム倍率が，上記空間周波数応答が上記所定の値となるズーム倍率より大きい場合には，上記超解像画像データと超解像処理されていない画像データを重付け合成した画像データをそのズーム倍率に変倍したものを記録手段に記録する，
    撮像装置の制御方法。