JP4752652B2

JP4752652B2 - 撮像装置、撮像画像表示方法、及び、プログラム

Info

Publication number: JP4752652B2
Application number: JP2006193467A
Authority: JP
Inventors: 広城渥美; 一記喜多
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2006-07-14
Filing date: 2006-07-14
Publication date: 2011-08-17
Anticipated expiration: 2026-07-14
Also published as: JP2008022386A

Description

本発明は、光学ズームと電子ズームとを備えた撮像装置、撮像画像表示方法、及び、プログラムに関するものである。

従来、デジタルカメラ、デジタルビデオカメラ等の撮像装置においては、光学的に画像を拡大する光学ズームと電子的に画像を拡大する電子ズーム（デジタルズーム）が用いられている（例えば下記特許文献１参照）。

ここで、光学ズームを使用する場合、広角側では、近くからでも対象物を小さくして広い範囲が写せるほか、広大な風景の遠近感（パースペクティブ）の強調やデフォルメをした撮影ができる。また、被写界深度が広くなるため、近景から遠景まで広い範囲にピントを合わせる描写ができる。逆に、望遠側では、遠くからでも被写体を大きく写せるほか、近景と遠景の大きさの差が少なくなって密集感が増し、パースペクティブが少なくなる「遠近感の圧縮効果」が得られる。また、絞り量にもよるが、被写界深度が狭くなるため、背景のボケを大きくして、主要な被写体を背景から浮かび上がらせるような描写ができる。

一方、光学ズームによる遠近感の強調や圧縮といった撮影技法は、映画の撮影においても多用されている。例えば、英国のヒッチコック（Alfred Hitchcock）監督の映画「Ｖｅｒｔｉｇｏ」（邦題：『めまい』、１９５８年）の中では、高所恐怖症の主人公が螺旋階段を登るシーンで、見下ろした螺旋階段がストーンと落下するような映像を挿入し、クラクラするような「めまい」の感覚を表現している。図１９は、その「めまいカット」のシーンを示したものである。

前記撮影技法を用いた撮影は、図２０（ａ）、同図（ｂ）に示したように、Ｔｒａｃｋ（レール）やＤｏｌｌｙ（カメラの台車）等を利用して、カメラを同時にトラックアップ（前進移動）させながら、急にズームアウトさせて（一般には、トラックバック（後進）＆ズームインさせて）行われている。つまり、急激なズーム・アウト（またはズーム・イン）により遠近感を変化させるとともに、前景の被写体の位置や画角、被写体範囲が一致するように、同時にカメラを前進（または後進）させて撮影距離を変えながら撮影が行われる。なお、前記「めまいカット」は、図２０（ｃ）に示したように、実際にはミニチュア模型で撮影されたと言われている。
特開平５−１９１７０３号公報

ところで、前述したような光学ズームの特性を生かした撮影技法（「Ｔｒａｃｋｕｐ＆Ｚｏｏｍｏｕｔ」）では、撮影中に同じ画角範囲をピッタリ維持しながら移動したり、移動しながら手ブレなくズーム操作を行ったりすることが不可欠であり、また大がかりな準備も必要となる。係ることから、デジタルカメラ等に光学ズームが設けられていたとしても、ユーザが動画撮影を行うとき（特に手持ち撮影時）においては、上記撮影技法を用いることは極めて困難であった。

本発明は、かかる従来の課題に鑑みてなされたものであり、光学ズームの特性を生かした撮影技法を用いた撮影を簡単に行えるようにすることを目的とする。

前記課題を解決するために請求項１の発明にあっては、撮像手段と、この撮像手段が逐次撮像する撮像範囲内の画像を表示する表示手段と、前記撮像手段の撮像画角を光学的に変化させる光学ズーム手段と、前記撮像手段の撮像範囲を制御することで撮像画角を変化させる電子ズーム手段と、ズームを指示する指示手段と、前記光学ズーム手段による現在のズーム倍率と前記電子ズーム手段による現在のズーム倍率から全体のズーム倍率を算出する倍率算出手段と、前記指示手段によるズーム指示の直前の前記倍率算出手段によって算出された全体のズーム倍率を固定する倍率固定手段と、前記指示手段によるズームの指示に従って、前記光学ズーム手段によるズーム倍率を増減させると同時に、前記倍率固定手段によって算出された全体のズーム倍率に基づいて、その増減分を相殺するように電子ズーム手段によるズーム倍率を増減させ、撮像範囲における被写体範囲の大きさを略同一に維持するズーム制御手段と、を備えたものとした。

また、請求項２の発明にあっては、上記請求項１記載の発明において、前記撮像範囲を任意に設定する設定手段と、この設定手段により設定された撮像範囲における垂直方向又は水平方向の所定の画素数分の画素値を加算する画素加算手段と、この画素加算手段により加算される画素値の画素加算数を、前記ズーム制御手段により制御された電子ズーム倍率に基づき制御する加算数制御手段と、を更に備えたものとした。

また、請求項３の発明にあっては、撮像部と、前記撮像部の撮像画角を光学的に変化させる光学ズーム部と、前記撮像手段の撮像範囲を制御することで撮像画角を変化させる電子ズーム部とを備える撮像装置の撮像画像表示方法であって、この撮像部にて逐次撮像される撮像範囲内の画像を表示部に表示させる表示ステップと、ズームの指示を検出する指示検出ステップと、前記光学ズーム部による現在のズーム倍率と前記電子ズーム部による現在のズーム倍率から全体のズーム倍率を算出する倍率算出ステップと、前記指示検出ステップによるズーム指示の直前の前記倍率算出ステップによって算出された全体のズーム倍率を固定する倍率固定ステップと、前記指示検出ステップによるズームの指示に従って、前記光学ズーム部によるズーム倍率を増減させると同時に、前記倍率固定ステップによって算出された全体のズーム倍率に基づいて、その増減分を相殺するように電子ズーム部によるズーム倍率を増減させ、撮像範囲における被写体範囲の大きさを略同一に維持するズーム制御ステップと、を含むこととした。

また、請求項４の発明にあっては、撮像部と、前記撮像部の撮像画角を光学的に変化させる光学ズーム部と、前記撮像手段の撮像範囲を制御することで撮像画角を変化させる電子ズーム部とを備える撮像装置が有するコンピュータを、この撮像部にて逐次撮像される撮像範囲内の画像を表示部に表示させる表示制御手段、ズーム指示を検出する指示検出手段、前記光学ズーム部による現在のズーム倍率と前記電子ズーム部による現在のズーム倍率から全体のズーム倍率を算出する倍率算出手段、前記指示検出手段によるズーム指示の直前の前記倍率算出手段によって算出された全体のズーム倍率を固定する倍率固定手段、前記指示検出手段によるズームの指示に従って、前記光学ズーム部によるズーム倍率を増減させると同時に、前記倍率固定手段によって算出された全体のズーム倍率に基づいて、その増減分を相殺するように電子ズーム部によるズーム倍率を増減させ、撮像範囲における被写体範囲の大きさを略同一に維持するズーム制御手段、として機能させるものとした。

本発明によれば、光学ズームの特性を生かした撮影技法を用いた撮影を簡単に行うことが可能となる。

以下、本発明の一実施の形態を図にしたがって説明する。本実施の形態は、光学ズーム機能と電子ズーム（以下、デジタルズーム）機能とを備えたデジタルカメラに関するものである。
（実施形態１）

図１は、本実施の形態におけるデジタルカメラの全体構成を示すブロック図である。図に示すように、デジタルカメラは、撮影光学系１と、撮影光学系１により結像された被写体の光学像を電気信号に変換するイメージセンサ２、イメージセンサ２から出力された撮像信号を処理するＤＳＰ（Digital Signal Processor、デジタル信号処理回路）３を有している。

前記撮影光学系１は、光軸上に配置された焦点レンズ５、ズームレンズ６、絞り７、メカニカルシャッタ８から構成され、各々が、制御回路１０から送られる制御信号に従いドライバブロック９における各駆動回路（図で焦点レンズ駆動やズームレンズ駆動等）が生成する駆動信号によって適宜駆動される。

制御回路１０は、主としてＣＰＵ１１と、ＣＰＵ１１にデータバス１２を介してそれぞれ接続されたインタフェース１３、音声入出力回路１４、入力回路１５、メモリカード・インタフェース１６、ＵＳＢコントローラ１７、ハードディスク・インタフェース１８といった周辺回路から構成されている。

前記ＤＳＰ３は制御回路１０に接続され、また画像データバス１９を介して前記インタフェース１３にも接続されており、ＣＰＵ１１によって制御される。前記インタフェース１３には、画像データバス１９を介してバッファメモリ２０と、画像ＣＯＤＥＣ（Coder & Decoder、符号器／復号器）２１、動画像ＣＯＤＥＣ２２、表示駆動回路２３が接続され、表示駆動回路２３にＬＣＤ（液晶表示器）２４が接続されている。また、前記制御回路１０内のデータバス１２には、音声ＣＯＤＥＣ（Coder & Decoder、符号器／復号器）２７、プログラム・メモリ２８、不揮発性の内蔵メモリであるデータ・メモリ２９が接続されている。

前記ＤＳＰ３によって処理された画像データはバッファメモリ２０に順次記憶されるとともに、表示駆動回路２３によってＬＣＤ２４にスルー画像として表示される。

そして、静止画撮影時に前記ＤＳＰ３によって処理された画像データは、画像ＣＯＤＥＣ２１によってＪＰＥＧ規格等に準じた圧縮符号化画像データ、もしくはＲＡＷデータなど非圧縮の符号化画像データなどに符号化される。符号化された画像データは、ＥＸＩＦ、ＪＰＥＧなどのファイル形式で前記データ・メモリ２９に記録されたり、前記メモリカード・インタフェース１６を介してフラッシュメモリカードなどの着脱自在な画像メモリ媒体２５に記録されるか、前記ハードディスク・インタフェース１８を介して小型のＨＤＤ（Hard Disk Drive：ハードディスク記録装置）２６に記録される。

また、動画撮影時に前記ＤＳＰ３によって処理された画像データは、動画像ＣＯＤＥＣ２２によってＭＰＥＧ４やＨ．２６４／ＡＶＣなどの圧縮符号化方式で圧縮符号化され、ＡＶＩやＭＰ４などのファイル形式で前記データ・メモリ２９や画像メモリ媒体２５又はＨＤＤ２６に記録され、画像メモリ媒体２５等に記録された静止画像や動画像は、画像ＣＯＤＥＣ２１や動画像ＣＯＤＥＣ２２によって復号された後、ＬＣＤ２４に画面表示される。

前記音声ＣＯＤＥＣ２７は、ＭＩＣ３０から入力し、アンプ３１、Ａ／Ｄ変換器３２を経て前記音声入出力回路１４に入力した音声データを符号化する。音声ＣＯＤＥＣ２７により符号化された音声データは、例えば音声付きの動画撮影時においては、動画像ＣＯＤＥＣ２２により圧縮符号化された動画データと重畳されて動画ファイルとして記録される。また、前記音声ＣＯＤＥＣ２７は、音声付きの動画像の再生時には、動画データに重畳されている音声データを復号する。復号された音声データは、音声入出力回路１４、Ｄ／Ａ変換器３３、アンプ３４、スピーカ３５を介して出力される。

前記ＵＳＢコントローラ１７にはＵＳＢ端子３６が接続されており、記録された静止画像や動画像の画像データファイルは、画像メモリ媒体２５とは別にＵＳＢなど外部入出力インタフェースを介して、必要に応じてＰＣ（パーソナル・コンピュータ）やプリンタに転送可能となっている。なお、転送した画像データファイルは、ＰＣ内の大容量ＨＤＤ装置に蓄積記録されたり、さらにはＣＤ−ＲやＤＶＤなどディスク媒体等に保存記録されたり、あるいは、ＰＣ内の画像編集ソフトなどを用いて撮影画像や録画済みの映像を編集されたり、モニターに再生表示されたり、プリンタで印刷されたりする。

前記入力回路１５には操作入力部３７が接続されている。操作入力部３６は電源キーと、静止画撮影モード、動画撮影モード、再生モードの動作モードの切り替えを行う動作モード切替キー、ＭＥＮＵキー、レリーズ（シャッター）ボタン、ズームキー等の複数の操作キー、ユーザが変更可能な各種機能における設定内容の選択や変更等に使用されるカーソルキーを含み、ユーザによるキー操作に応じたキー入力信号を生成する。生成されたキー入力信号は、入力回路１５を介してＣＰＵ１１に出力される。

また、本実施の形態において、前記操作入力部３６には、ユーザがズームキーの操作によってズーム倍率を変化させる間に、後述するように画角を固定（ロック）したり、画角の固定を解除（ロック解除）したりすることを可能とするための画角ロックボタンが含まれている。なお、レリーズボタンは、半押しと全押しの２段階操作が可能な所謂ハーフシャッター機能を有するとともに、動画撮影時には録画開始／終了ボタンとしても機能する。

また、前記制御回路１０には、ＣＰＵ１１の指令に基づきストロボ（キセノン管等の発光管）３８を駆動するためのストロボ駆動回路３９と、被写体の明るさを検出するための測光センサや被写体までの距離を計測するための測距センサを含むセンサ回路４０から出力される各センサの検出信号を処理しＣＰＵ１１へ出力する検出回路４１が接続されている。さらに、制御回路１０には、ニッケル水素電池等の充電可能な電池４２の電力を各部に供給するための電源制御回路４３が接続されている。

前記プログラム・メモリ２８には、ＣＰＵ１１に前述した各部を制御させるための各種プログラム（ＡＥ、ＡＦ、ＡＷＢ等の制御用プログラムを含む）、及びＣＰＵ１１が使用する各種データが格納されている。特に、ＣＰＵ１１を本発明の第１のズーム制御手段、第２のズーム制御手段、モード設定手段、設定手段、調整設定手段、表示制御手段、領域設定、領域制御手段、加算数制御手段として機能させ、ＣＰＵ１１に後述する制御を行わせるためのプログラムが格納されている。

また、前記データ・メモリ２９には、前述した静止画像や動画像の画像データファイル以外にも、デジタルカメラの動作を規定するとともに、必要に応じてユーザにより変更または設定された各種の設定データが保持されている。さらにデータ・メモリ２９は、ＣＰＵ１１の作業用メモリとしても使用される。

・イメージセンサ
図２は、前述した撮像部２、ＤＳＰ３の詳細を示したシステム構成図、図３は、前記イメージセンサ２の詳細を示した回路図である。
イメージセンサ２は、主として感光部２０１と、垂直走査回路２０２、タイミング発生回路２０３、ＣＤＳ／ＡＤＣ回路（図でＣＤＳ／ＡＤ変換）２０４、デジタル画素加算回路２０６、デジタル信号読出し回路２０７、水平走査回路２０８、並列／直列変換回路（Ｐ／Ｓ）２０９から構成される。

本実施の形態のイメージセンサ２は、ＣＭＯＳ（Complementary Meta1 0xide Semiconductor：相補型金属酸化膜半導体）イメージセンサであり、より詳しくは一般的なＡＰＳ（Active Pixel Sensor：増幅型画素センサ）型である。

前記感光部２０１は、図４（ａ）に示したように、フォトダイオード２５１を含む単位画素回路２５２からなり、単位画素回路２５２毎にＦＤ（Floating Dihsion）アンプ２５３を内蔵することにより、暗電流とｋＴＣ雑音を低減できるようにした構成である。

図４（ｂ）は上記の単位画素回路２５２の構造図、同図（ｃ）は単位画素回路２５２の動作を示した図である。前記フォトダイオード２５１で光電変換された信号電荷はＦＤ（Floating Dihsion）アンプ２５３で一旦増幅され、垂直走査回路２０２からの行アドレス選択信号と水平走査回路２０８からの列選択信号によりＸＹアドレス方式で選択された画素毎の撮像信号が、出力から順次電圧または電流として取り出される。つまり、ＣＣＤ（Charge Coupled Device：電荷結合素子）のように順番に取り出さなくとも、任意の画素や領域の撮像信号だけを、任意の順序で取り出すことができ、これにより後述するようにデジタルズーム処理で所定領域のみを切り出して読み出す場合には、撮像信号を高速で読み出せるようになっている。

前記デジタル画素加算回路２０６は、各画素に隣接する同色（フィルタ）の複数の画素の撮像信号同士をデジタル信号で加算する回路（本発明の画素加算手段）であり、デジタルズーム時に、選択領域内の画素データを任意の行列毎に所定の複数画素分加算された撮像信号の読出しが可能であるとともに、スルー画像や動画撮影において、高速レートでも、画像データ量の小さい撮像信号に変換して出力できるようになっている。

前述したように選択読出しされた選択領域の撮像信号、さらに画素加算された撮像信号は、列回路（図３に破線で示した部分）のＣＤＳ／ＡＤＣ回路２０４、すなわちＣＤＳ回路（Correlated Double Sampling：相関二重サンプル回路）２０４ａ、及びＡ／Ｄ変換回路２０４ｂから水平走査回路２０８の列選択信号により選択され列信号として順次出力され、並列／直列変換回路２０９によって直列のデジタル撮像信号に変換された後、ＤＳＰ３に高速フレームレートで転送出力される。

なお、ＣＤＳ／ＡＤＣ回路２０４、デジタル画素加算回路２０６は列信号線毎に並列に並んだ前記列回路にそれぞれ設けられており、これによりフォトダイオード２５１をリセットする前と後の信号を減算して固定パターンノイズを除去できるとともに、デジタル信号での撮像信号の出力が容易となっている。なお、Ａ／Ｄ変換回路２０４ｂには積分型や巡回型、逐次型などが使用できる。

図５は、ＣＤＳ／ＡＤＣ回路２０４及びデジタル画素加算回路２０６の具体的構成を示した回路図である。並列に並んだ列回路に設けるＣＤＳ／ＡＤＣ回路２０４には、各種の方式が開発されているが、本実施の形態では、いわゆる、「ＣｏｌｕｍｎＡＤＣ方式」のＣＤＳ／ＡＤＣ回路を用いて、列毎に並列処理するＡ／Ｄ変換器２０４ｂにより、画素の固定パターンノイズ（ＦＰＮ）を抑圧しながらデジタル信号に変換する。ＣｏｌｕｍｎＡＤＣ方式のＣＤＳ回路２０４ａでは、固定パターンノイズを抑圧するために、粗精度と高精度の２段階のクランプ（Ｃｌａｍｐ）回路を用いる。クランプは、信号のあるレベルを基準電圧に置き換える動作で、クランプ回路は例えば、キャパシタとスイッチで構成され、キャパシタの出力側がスイッチにより基準電圧にセットされる。

図６に示した信号読み出し時の動作タイミングチャートにあるように、まず、列回路のＡ１とＡ２のクランプスイッチＳ１、Ｓ２を同時に閉じてから、Ｓ１を先に開くと、点Ｖｉｎの電圧が、Ａ１の閾値電圧にＳ１スイッチングのバラツキが加算された電圧に粗い精度でクランプされるが、Ｓ２は閉じたままなので、その電圧がＡ２入力の閾値電圧になる。

その後、Ｓ２を開くと、Ａ２にもスイッチングのバラツキを含む電圧がクランプされ、クランプ動作が完了する。Ｓ２スイッチングのバラツキ成分はＡ２の利得で割った分かＶｉｎ側のバラツキに還元されるので、Ｖｉｎ側から見るとクランプ精度が向上して、クランプ回路で発生する縦筋状の固定パターンノイズ（ＦＰＮ）の発生が抑えられる。

次に、行読出し線（転送ゲート線ＴＧ）にパルスが立ち上がると、画素信号が列信号線に現れるので、スイッチＳ４を閉じてサンプリングする。サンプリング完了後、スイッチＳＳを開いて、ランプ波形（順次電圧が上昇する階段状波形）をしたＡ／Ｄ変換用の基準信号をスイッチＳ４から加えると、ランプ波形に応じてＶｉｎの電圧がやがてクランプ回路の閾値を越えてＡ２の出力が反転し、反転する電圧までの１０ビットカウンタの値がデジタルの画素信号値としてラッチに記憶され、Ａ／Ｄ変換処理が終了する。

また、画素加算については、図５に示したように、前記ＣＤＳ／ＡＤＣ回路２０４を含む列回路の後に、列加算回路（垂直加算回路）などのデジタル演算回路２０６ａを設け、行アドレス選択された画素の信号を列信号線から読み出し、ＣＤＳ／ＡＤＣ回路２０４でノイズ除去されデジタル変換されたデジタル並列信号を、タイミング信号でラッチ回路にラッチし、同じく選択された同じ列で異なる行の画素のデジタル並列信号を、同様に別のタイミング信号で別のラッチ回路にラッチして、ラッチ回路の出力同士をデジタル演算回路２０６ａ（列加算回路）でデジタル加算する。

また、水平信号線からの信号出力部に、行加算回路（水平加算回路）などのデジタル演算回路２０６ｂを設け、列加算された信号同士をタイミング信号で選択して水平信号線に読み出し、ラッチ回路にラッチして、ラッチ回路の出力同士をデジタル演算回路２０６ｂ（行加算回路）でデジタル加算する。

カラー撮像の場合には、例えば、Ｂａｙｅｒ配列等の千鳥状に２画素周期で交互に並んだＲＧＢ各色カラーフィルタに対応する各画素から、列方向に（一つ飛ばしで）隣接する同色フィルタの画素同士を、Ｒ画素はＲ画素同士で、Ｇ画素はＧ画素同士で、Ｂ画素はＢ画素同士で、列方向に複数加算し、また、行方向に（一つ飛ばしで）隣接する同色フィルタの値数の画素を行方向に加算して読み出すことで同色の画素の信号同士が複数画素分加算できる。

また、加算された撮像信号のデジタル信号は所定の符号化を行うとともに、並列／直列変換回路で順次シリアル（直列）のデジタル信号に変換されて出力され、ＤＳＰ３に転送される。

・ＤＳＰ（デジタル信号処理回路）
前記ＤＳＰ３は、イメージセンサ２から出力されたシリアル（直列）の撮像信号が入力する直列／並列変換回路（Ｓ／Ｐ）３０１と、バッファメモリ３０２、ＷＢ／カラー補正回路３０３、リサイズ／補間処理回路３０４、カラー補間回路３０５、輪郭補正回路３０６、ガンマ補正回路３０７、カラーマトリクス回路３０８から構成されている。

イメージセンサ２からＤＳＰ３に入力した撮像信号は直列／並列変換回路（Ｓ／Ｐ）３０１によりパラレル（並列）のデジタル信号に変換され、バッファメモリ３０２にフレーム毎に画像データとして蓄積され、蓄積された画像データは、ＷＢ／カラー補正回路３０３によってホワイトバランス調整やカラーバランス調整を行われる。係る段階の画像データは、撮像素子の前面に設けられ、モザイク状の「ベイヤー（Ｂａｙｅｒ）配列」や、水平／垂直に２画素単位の繰り返し周期で千鳥配列されたＧｒｅｅｎ市松Ｒ／Ｂ色差線順次方式など、ＲＧＢ原色フィルタなどカラーフィルタ配列にしたがって、画素毎には一つの色成分しか持たないが、カラー補間回路３０５により、他の色差成分の画素値が、近隣周辺の画素値から画素補間（Pixel Signal lnterpolation）して求められ（カラー補間処理）、各画素毎にＲＧＢ各色差成分毎の階調値を持つデジタル画像データに変換される。

また、上記カラー補間を行う前には、必要に応じて、リサイズ／補間処理回路３０４が、撮像画像サイズを異なる画像サイズに変換する解像度変換処理（Resolution Conversion）を行う。例えば、スルー画像や再生画像をファインダやモニタに表示する為に表示駆動回路２３内の表示メモリ（ＶｉｄｅｏＲＡＭでもよい）２３ａに書き込む為に、所定の画像サイズ（ＶＧＡサイズなど）に変換するリサイズ（Resize）、もしくは、補間処理（lnterpolation）を行う。

あるいは、撮影記録時に、所望の記録画像サイズで記録する為に、設定記録画像サイズの画像に縮小／拡大処理や、リサイズ／補間処理もしくは解像度変換処理を行う。リサイズや補間処理を行った場合に、画像がぼけたり解像感が落ちたりしやすいので、合わせて、各種のアンシャープネス・フィルタ（Unsharpness Filtering）など輪郭強調フィルタ演算や画像鮮鋭化フィルタ処理なども行う。

さらに、ＤＳＰ３では、ガンマ補正回路３０７により階調補正されたＲＧＢ系のデジタル画像信号は前述したバッファメモリ２０に一時記憶された後、ＬＣＤ２４など電子ファインダに再生表示されるか、カラーマトリクス回路３０８でＲＧＢ系からＹＵＶ系／ＹＣｂＣｒ系など所定の色空間の画像信号に変換され、前述した画像ＣＯＤＥＣ２１や動画像ＣＯＤＥＣ２２により、ＪＰＥＧ静止画像データやＭＰＥＧ４やＨ．２６４動画像データなどに圧縮／符号化処理される。

そして、スルー画像や再生画像を前記ＬＣＤ２４に表示する場合には、前記表示駆動回路２３は、その表示メモリ２３ａに所定サイズで更新書き込みされた画像データを定期的に繰り返し読み出してＬＣＤ２４に繰り返し更新表示される。

一方、前記リサイズ／補間処理回路３０４では、単に間引き（Decimation）や平均化を行うとギザギザやデジタルノイズ、偽信号が発生したり画質が劣化しやすいので、「最近傍法」（各画素値をその最も近い近傍の画素の画素値から求める）や「線形補間法」（周りの４〜８画素の周囲画像や６４画素など近傍の画素値から求める）などを用いて、各画素をその周辺近傍の画素から補間演算したり、幾何学変換処理したりする二次元フィルタ演算処理を行う。

以下に、上述した構成からなるデジタルカメラの本発明に係る動作を説明する。図７は、動画撮影モードが設定されているときのＣＰＵ１１による制御（動画撮影制御）の内容を示すフローチャートである。

動画撮影モードが設定されているときＣＰＵ１１は、動画撮影中であるか否かを随時判別している（ステップＳＡ１）。ここで動画撮影モードの設定直後や録画停止中であったときには（ステップＳＡ１でＮＯ）、イメージセンサ２により撮像可能な最大画像サイズである撮像フル画像サイズ（Ｘ_Ｆ、Ｙ_Ｆ）と表示メモリ２３ａの書込み画像サイズ（Ｘ_ｄ、Ｙ_ｄ）とに応じて、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）を設定する（ステップＳＡ２）。また、動画撮影中であれば（ステップＳＡ１でＹＥＳ）、撮像フル画像サイズ（Ｘ_Ｆ、Ｙ_Ｆ）と、その時点で設定されている動画像の記録画像サイズ（Ｘ_Ｒ、Ｙ_Ｒ）に応じて、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）を設定する（ステップＳＡ３）。なお、ここで設定される限度（ＤＺmax）は、後述するステップＳＡ１０，ＳＡ１１のデジタルズーム処理（１）、（２）で使用されるパラメータである。

引き続き、測光処理及びホワイトバランス調整処理を行い（ステップＳＡ４）、視野（撮像範囲）の中央をデジタルズームの中央位置に設定する（ステップＳＡ５）。なお、設定した中央位置はデータ・メモリ２９に記憶する。その後、図８に示したズーム設定処理に移行し、係る処理において、ズームモード（通常ズーム・モード、又は画角ロック・モード）の設定や、ユーザのズーム操作（ズーム・イン／アウト操作）に応じた光学ズーム倍率（ＯｐＺ）とデジタルズーム倍率（ＤＺ）の設定を行う（ステップＳＡ６）。なお、詳細については後述する。

次に、上記ズーム設定処理で設定した上記の光学ズーム倍率（ＯｐＺ）に従いズームレンズ６を駆動する光学ズーム処理を行った後（ステップＳＡ７）、視野中央をフォーカス検出領域とし、被写体距離に応じて焦点レンズ５を駆動するＡＦ処理を行う（ステップＳＡ８）。

そして、録画停止中には（ステップＳＡ９でＮＯ）、図９に示したデジタルズーム処理（１）へ移行し、上記ズーム設定処理で設定したデジタルズーム倍率（ＤＺ）に基づき、前述したイメージセンサ（ＣＭＯＳイメージセンサ）２の領域選択読出し機能、および画素加算機能を用いた画像データの読み出しを行い、前記表示メモリ２３ａの書込み画像サイズ（Ｘ_ｄ、Ｙ_ｄ）以上の画像サイズ（Ｘ’，Ｙ’）の画像データを取得する（ステップＳＡ１０）。なお、詳細については後述する。

その後、直ちにステップＳＡ１３へ進み、上記デジタルズーム処理（１）で取得した画像データに対し、撮像画像サイズ（Ｘ’，Ｙ’）と、表示メモリ２３ａの書込みサイズ（Ｘ_ｄ，Ｙ_ｄ）に応じたリサイズ率（ＩＰ_ｘ＝Ｘ_ｄ／Ｘ’、ＩＰ_ｙ＝Ｙ_ｄ／Ｙ’）でのリサイズ／補間処理を行いスルー画像用の画像データを取得する。しかる後、取得した画像データに基づくスルー画像をＬＣＤ２４に表示させるとともに、ズーム倍率や、後述する画角のロック範囲（必要時のみ）をスルー画像に重ねて表示させる（ステップＳＡ１４）。なお、ズーム倍率や画角のロック範囲の表示は、例えばＯＳＤ表示によって行う。

また、ステップＳＡ９の判別結果がＹＥＳであって動画撮影中である場合には、図１０な示したデジタルズーム処理（２）へ移行し、ズーム設定処理で設定したデジタルズーム倍率（ＤＺ）に基づき、前述したイメージセンサ（ＣＭＯＳイメージセンサ）２の領域選択読出し機能、および画素加算機能を用いた画像データの読み出しを行い、そのとき設定されている記録画像サイズ（Ｘ_Ｒ，Ｙ_Ｒ）と等しい画像サイズ（Ｘ’，Ｙ’）の画像データを取得する（ステップＳＡ１１）。なお、詳細については後述する。

その後、上記デジタルズーム処理（２）で取得した画像データ（リサイズ／補間処理前の画像データ）を動画像ＣＯＤＥＣ２２に出力して圧縮符号化し、符号化後の動画データをデータ・メモリ２９や画像メモリ媒体２５等に記録した後（ステップＳＡ１２）、前述したリサイズ／補間処理（ステップＳＡ１３）、スルー画像や、ズーム倍率、画角のロック範囲の表示処理（ステップＳＡ１４）を行う。

しかる後、必要に応じてユーザのキー操作に応じたその他のキー処理（録画の開始／停止／終了など）を行った後（ステップＳＡ１５）、ステップＳＡ１へ戻る。以後、上述した処理を繰り返す。

・ズーム設定処理
次に、前述したステップＳＡ６におけるズーム設定処理の詳細を図８のフローチャートに従い説明する。係る処理に際してＣＰＵ１１は、まず、ユーザによるズーム操作（ズーム・イン／アウト操作）の有無を判断する（ステップＳＢ１）。ここで、ズーム操作がなければ（ステップＳＢ２でＮＯ）、さらに、ユーザによる画角ロック操作の有無、画角ロック解除操作の有無、ロック範囲の設定操作の有無を順に判断し、いずれの操作もなければ（ステップＳＢ２，ＳＢ５，ＳＢ７が全てＮＯ）、その他のキー処理（録画の開始／停止／終了など）を行ってから（ステップＳＢ９）、前述した図７のメインルーチンへ戻る。

また、ユーザによって所定のキー操作によるロック範囲の設定操作があったときには（ステップＳＢ７でＹＥＳ）、ステップＳＢ３で設定するロック倍率Ｚ_ｌｏｃｋの計算に用いる比率（α）、ズームレンズ６による光学ズーム倍率（ＯｐＺ）と、デジタルズーム機能による現在のデジタルズーム倍率（ＤＺ）とによって確保される全体ズーム倍率（Ｚ＝ＯｐＺ×ＤＺ）に対する比率（α）を設定操作に応じて設定（記憶）し（ステップＳＢ８）、そのまま前述した図７のメインルーチンへ戻る。

ここで、画角のロック範囲とは、ズームキーの操作によってズーム倍率を変化させる間に固定（維持）すべき範囲、つまり撮像画像に収めるべき被写体範囲であり、ロック範囲の設定操作は、例えばカーソルキー操作によるロック範囲の段階的な増減操作や選択操作である。また、設定する比率（α）は、例えば１を基準値とした０．５〜２．０の範囲の値である。

また、ユーザによる画角ロック操作（前述した画角ロックボタンの押下）があったときには（ステップＳＢ２でＹＥＳ）、現在の全体ズーム倍率（Ｚ）、すなわちズームレンズ６による現在の光学ズーム倍率（ＯｐＺ）と、デジタルズーム機能による現在のデジタルズーム倍率（ＤＺ）とによって確保されるズーム倍率（ＯｐＺ×ＤＺ）に、前記比率（α）を乗じたズーム倍率（α×Ｚ）を取得し、その倍率をロック倍率Ｚ_ｌｏｃｋとして設定（記憶）した後（ステップＳＢ３）、画像ロックの有無を示すフラグ（ＦＬＡＧ_ｌｏｃｋ）をオン状態とすることにより、ズームモードとして、予め用意されている画角ロック・モード（第２のモード）を設定し（ステップＳＢ４）、そのまま前述した図７のメインルーチンへ戻る。

また、ユーザによる画角ロック解除操作（画角ロック・モードが設定されている状態での画角ロックボタンの押下）があったときには（ステップＳＢ５でＹＥＳ）、前記フラグ（ＦＬＡＧ_ｌｏｃｋ）をオフ状態とする、つまり画角ロック・モードを解除することにより、ズームモードを通常ズーム・モード（第１のモード）に設定し（ステップＳＢ６）、そのまま前述した図７のメインルーチンへ戻る。

一方、ステップＳＢ１の判別結果がＹＥＳであって、ユーザによるズーム操作があったときには、以下の処理により光学ズーム倍率（ＯｐＺ）とデジタルズーム倍率（ＤＺ）を設定する。なお、本実施の形態において、設定可能なズーム倍率の範囲は、光学ズーム倍率（ＯｐＺ）が１倍〜５倍、デジタルズーム倍率（ＤＺ）が１倍〜４．５倍であり、双方により得られる全体ズーム倍率（Ｚ）は１倍〜２２．５倍（ＯｐＺ×ＤＺ）である。

まず、ズーム操作があったときズームモードが通常ズーム・モードであった場合には（ステップＳＢ１０でＮＯ）、ズーム操作に応じて全体ズーム倍率（Ｚ）を増減設定する（ステップＳＢ１１）。次に、このときの全体ズーム倍率（Ｚ）が１未満であれば（ステップＳＢ１２でＹＥＳ）、光学ズーム倍率（ＯｐＺ）及びデジタルズーム倍率（ＤＺ）をそれぞれ最小値（ＯｐＺ_ｍｉｎ、ＤＺ_ｍｉｎ）に設定し（ステップＳＢ１３）、図７のメインルーチンへ戻る。

また、全体ズーム倍率（Ｚ）がデジタルズーム倍率（ＤＺ）の設定範囲内（１≦Ｚ≦ＤＺ_ｍａｘ）であれば（ステップＳＢ１４でＮＯ）、デジタルズーム倍率（ＤＺ）を優先するように、光学ズーム倍率（ＯｐＺ）を最小値に保持したまま（ＯｐＺ＝ＯｐＺ_ｍｉｎ）、デジタルズーム倍率（ＤＺ）を設定範囲内で増減させて（ＤＺ＝Ｚ／ＯｐＺ_ｍｉｎ）、全体ズーム倍率（Ｚ）を確保する（ステップＳＢ１５）、図７のメインルーチンへ戻る。

また、全体ズーム倍率（Ｚ）がデジタルズーム倍率（ＤＺ）の最大値を超える（Ｚ＞ＤＺ_ｍａｘ）場合には（ステップＳＢ１４でＹＥＳ）、デジタルズーム倍率（ＤＺ）を最大値に保持したまま（ＤＺ＝ＤＺ_ｍａｘ）、光学ズーム倍率（ＯｐＺ）を増減させて（ＯｐＺ＝Ｚ／ＤＺ_ｍａｘ）、全体ズーム倍率（Ｚ）を確保する（ステップＳＢ１６）。

そして、光学ズーム倍率（ＯｐＺ）が最大値を超えていなれば（ステップＳＢ１７でＹＥＳ）、そのまま図７のメインルーチンへ戻り、光学ズーム倍率（ＯｐＺ）が最大値を超えていれば（ステップＳＢ１７でＹＥＳ）、光学ズーム倍率（ＯｐＺ）を最大値（ＯｐＺ＝ＯｐＺ_ｍａｘ）とした後（ステップＳＢ１８）、図７のメインルーチンへ戻る。

つまり通常ズーム・モードでは、全体ズーム倍率（Ｚ）が、最低倍率を含む低倍率側の範囲のあるときにはデジタルズームを優先し、かつ最高倍率含む高倍率側の範囲のあるときには光学ズームを優先して使用しながら、ズーム操作に応じて画角を増減させる制御を行う。

これにより、先に説明した図７のステップＳＡ１４で表示するスルー画像や、動画撮影中にステップＳＡ１１で記録する画像データにおいては、ズーム操作に応じて被写体の大きさが変化することとなる。つまり、従来からの一般的なズーム動作が行われる。

これに対して、ズーム操作があったときズームモードが画角ロック・モードであった場合には（ステップＳＢ１０でＹＥＳ）、まず、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）を増減設定する（ステップＳＢ１９）。さらに、ここで設定した光学ズーム倍率（ＯｐＺ）が最小値未満である場合には（ステップＳＢ２０でＹＥＳ）、光学ズーム倍率（ＯｐＺ）を最小値（ＯｐＺ＝ＯｐＺ_ｍｉｎ）に修正し（ステップＳＢ２１）、また光学ズーム倍率（ＯｐＺ）が最大値を超えていれば（ステップＳＢ２０でＮＯ、ＳＢ２２でＹＥＳ）、光学ズーム倍率（ＯｐＺ）を最大値（ＯｐＺ＝ＯｐＺ_ｍａｘ）に修正する（ステップＳＢ２３）。

引き続き、増減後の光学ズーム倍率（ＯｐＺ）と、ステップＳＢ２で設定したロック倍率（Ｚ_ｌｏｃｋ）とを用いて次式
ＤＺ＝Ｚ_ｌｏｃｋ／ＯｐＺ
によって、全体ズーム倍率（Ｚ）として上記ロック倍率（Ｚ_ｌｏｃｋ）が確保できるデジタルズーム倍率（ＤＺ）を演算し、それをズーム制御値として設定する（ステップＳＢ２４）。

さらに、ここで設定したデジタルズーム倍率（ＤＺ）が最小値未満であれば（ステップＳＢ２５でＹＥＳ）、デジタルズーム倍率（ＤＺ）を最小値（ＤＺ＝ＤＺ_ｍｉｎ）に修正し、かつそれに応じて光学ズーム倍率（ＯｐＺ）を次式
ＯｐＺ＝Ｚ_ｌｏｃｋ／ＤＺ_ｍｉｎ
により修正し（ステップＳＢ２６）、図７のメインルーチンへ戻る。

また、デジタルズーム倍率（ＤＺ）が最大値を超えていれば（ステップＳＢ２５でＮＯ、ＳＢ２７でＹＥＳ）、デジタルズーム倍率（ＤＺ）を最大値（ＤＺ＝ＤＺ_ｍａｘ）に修正し、かつそれに応じて光学ズーム倍率（ＯｐＺ）を次式
ＯｐＺ＝Ｚ_ｌｏｃｋ／ＤＺ_ｍａｘ
により修正し（ステップＳＢ２７）、図７のメインルーチンへ戻る。

以上のように画角ロック・モードでは、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）を増減すると同時に、その増減分を相殺するようにデジタルズーム倍率（ＤＺ）を増減することにより、全体ズーム倍率（Ｚ）すなわち画角を、それ以前（画角ロック・モードによるズーム操作の直前）の画角等に維持する制御を行う。つまり全体ズーム倍率（Ｚ）を同一（又は略同一）とする範囲内で、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）とデジタルズーム倍率（ＤＺ）との組合せを任意の組合せに変化させる。

これにより、先に説明した図７のステップＳＡ１４で表示するスルー画像や、動画撮影中にステップＳＡ１１で記録する画像データにおいては、ズーム操作に応じ、主たる被写体の大きさが略同一のままで、背景部分の大きさ（及びボケ度合）のみが大きく変化することとなる。つまり、光学ズームのみによりズーム・イン／アウトを行う間に、主たる被写体を画面内に同じ大きさにフレーミングするように被写体距離を変化（撮影位置を前後）させる場合と同様の、光学ズームの特性を利用した遠近感の変化を生じさせることができる。

図１１（ｂ）に、以上のズーム設定処理が行われることにより変化するスルー画像（記録画像）の例を示す。上から１番目の画像が画角ロックが行われる直前の画像であり、２番目以降の画像が、画角ロック後におけるズーム・イン／アウト操作による変化を示した画像である。また、２番目以降の画像に１点鎖線の枠線Ａにより示された範囲が、その時点で設定されている画角のロック範囲（被写体範囲）である。そして、図７のステップＳＡ１４においては、画角ロック状態で、かつ前述した全体ズーム倍率（Ｚ）に対する前記比率（α）が１を超える値に設定されているとき、図示したように上記枠線Ａを表示させる。

したがって、動画撮影モードにおいては、例えばズーム操作によって画面内おける主たる被写体の大きさを所望する大きさに調整し、その時点でいったん画角ロック操作を行った後、急激にズーム・アウト操作すると、周りの風景がどんどん遠ざかっていくような、あるいは、らせん階段が急にストーンと落ちていくような、先に述べた「めまいカット」（図１９参照）のように、「Ｔｒａｃｋｕｐ＆Ｚｏｏｍｏｕｔ」などの光学ズームの特性を生かした撮影技法による映像と同様の、遠近感が変化していくような映像シーンが、カメラを前進や後進移動しなくても、小型カメラで手持ちでも容易に撮影できる。

また、全体ズーム倍率（Ｚ）に対する前記比率（α）、つまり画角のロック範囲を所定のキー操作により設定できるため、上記撮影技法を用いる場合における描写表現の幅を拡げることができる。

さらに、画角ロック・モードでの動作中にはスルー画像上に枠線Ａを表示させるため、画角のロック範囲（被写体範囲）が容易に識別できるとともに、通常ズーム・モードの状態にあるか、画角ロック・モードの状態にあるかも容易に区別することができる。なお、画角のロック範囲は、枠線Ａの表示に限らず他の方法（画角のロック範囲を除く領域の輝度を低下させる等の方法）により表示してもよい。

なお、本実施の形態のズーム設定処理では、画角ロック・モードにおいて制御目標とするロック倍率（Ｚ_ｌｏｃｋ）を、画角ロック操作が行われた時点の全体ズーム倍率（Ｚ）に前記比率（α）を乗じた倍率としたが、全体ズーム倍率（Ｚ）をそのまま制御目標として使用してもよい。

また、デジタルズーム倍率（ＤＺ）を制御するときの制御目標は、全体ズーム倍率（Ｚ）やロック倍率（Ｚ_ｌｏｃｋ）でなくともよく、画角ロック操作時の全体ズーム画角（θ_ｌｏｃｋ）や被写体範囲（Ｙ_ｌｏｃｋ）としてもよい。

すなわち全体ズーム倍率（Ｚ）の代わりに、固定ロック操作時の全体ズーム画角（θ_ｌｏｃｋ）や被写体範囲（Ｙ_ｌｏｃｋ）等を記憶しておいて、それらが一定になるように、デジタルズーム倍率（ＤＺ）をより精密に制御できするようにしてもよい。その場合、

焦点距離ｆ＝Ｙ’／２ｔａｎ（θ／２）より、レンズ画角θ'＝２ｔａｎ^−１（Ｙ’／２ｆ）となるので、
固定画角の比率（α）とデジタルズーム倍率（ＤＺ）を考慮した全体ズーム画角（θ）は、
θ＝２ｔａｎ^-１｛α×Ｙ’／２×ｆ×ＤＺ｝、
（ｆ：焦点距離、Ｙ’：撮像面サイズ（イメージ・サークルの直径））
となるので、
θ_ｌｏｃｋ＝２ｔａｎ^-１｛α×Ｙ’／２×ｆ_ｌｏｃｋ×ＤＺ_ｌｏｃｋ｝
（ｆ_ｌｏｃｋ：固定ロック操作時の焦点距離、ＤＺ_ｌｏｃｋ：デジタルズーム倍率）
である。

そして、光学ズーム（ＯｐＺ）の増減に応じて、焦点距離（ｆ）＝ＯｐＺ×ｆ_ｍｉｎが増減される際、全体画角（θ’）が略一定に維持される（θ＝θ_ｌｏｃｋ）ように、デジタルズーム倍率（ＤＺ）を、
ＤＺ＝（α×Ｙ'）／{２×ｆ×ｔａｎ（θ_ｌｏｃｋ／２）｝、または、
＝（α×Ｙ'）／{ＯｐＺ×ｆ_ｍｉｎ×２ｔａｎ（θ_ｌｏｃｋ／２）｝
となるように制御すればよい。

または、上式より、ｔａｎ（θ／２）＝ｔａｎ（θ_ｌｏｃｋ／２）が満たされるように、
｛（α／ＤＺ）×Ｙ’／２ｆ｝＝｛（α／ＤＺ_ｌｏｃｋ）×Ｙ’／２ｆ_ｌｏｃｋ｝、
から、固定ロック操作時の焦点距離（ｆ_ｌｏｃｋ）と、デジタルズーム倍率（ＤＺ_ｌｏｃｋ）とを記憶しておき、焦点距離（ｆ）、または、光学ズーム倍率（ＯｐＺ）の増減に応じて、デジタルズーム倍率（ＤＺ）が、
ＤＺ＝ＤＺ_ｌｏｃｋ×（ｆ_ｌｏｃｋ／ｆ）＝ＤＺ_ｌｏｃｋ×｛ｆ_ｌｏｃｋ／（ＯｐＺ×ｆ_ｍｉｎ）｝、
となるように制御してもよい。

さらに、撮影距離が変動する場合にも対応できるように、主要被写体の撮影距離（Ｌ）が検出できる場合には、前記制御目標を被写体範囲としてもよい。

つまり、次のような固定ロック操作時の際のＡＦ枠で合焦する主要被写体の被写体範囲（＝撮影される被写体の大きさ）（Ｙ_ｌｏｃｋ）を算出して記憶し、それが一定になるように、デジタルズーム倍率（ＤＺ）を制御してもよい。

すなわち、被写体範囲（Ｙ）は、

Ｙ＝（α／ＤＺ）×Ｌ×Ｙ’／ｆ、
（Ｌ:撮影距離、Ｙ’：撮像面サイズ（イメージ・サークルの直径）、ｆ：焦点距離）
となるので、
固定ロック操作時点の被写体範囲（Ｙ_ｌｏｃｋ）は、
Ｙ_ｌｏｃｋ＝（α／ＤＺ_ｌｏｃｋ）×Ｌ_ｌｏｃｋ×Ｙ’／ｆ_ｌｏｃｋ、
（Ｌ_ｌｏｃｋ、ｆ_ｌｏｃｋ、ＤＺ_ｌｏｃｋ：ロック操作時点の撮影距離、焦点距離、デジタルズーム倍率）

光学ズーム（ＯｐＺ）の増減に応じて、焦点距離（ｆ）＝ＯｐＺ×ｆ_ｍｉｎが増減される際、上記の被写体範囲（Ｙ）が略一定（Ｙ＝Ｙ_ｌｏｃｋ）に維持されるように、
Ｙ＝（α／ＤＺ）×Ｌ×Ｙ’／ｆ＝Ｙ_ｌｏｃｋを満たすためには、
ＤＺ＝（α×Ｌ×Ｙ’）／（ｆ×Ｙ_ｌｏｃｋ）＝（α×Ｌ×Ｙ’）／（ＯｐＺ×ｆ_ｍｉｎ×Ｙ_ｌｏｃｋ）
となるように、デジタルズーム倍率（ＤＺ）を制御すればよい。

または、上式から、Ｙ／Ｙ_ｌｏｃｋ＝１の条件を満たす為には、
（α×Ｌ×Ｙ’）／（ｆ×ＤＺ）＝（α×Ｌ_ｌｏｃｋ×Ｙ’）／（ｆ_ｌｏｃｋ×ＤＺ_ｌｏｃｋ）、
（ＤＺ／ＤＺ_ｌｏｃｋ）＝（Ｌ／Ｌ_ｌｏｃｋ）／（ｆ／ｆ_ｌｏｃｋ）、
すなわち、ロック操作時のｆ_ｌｏｃｋ、ＤＺ_ｌｏｃｋを記憶しておいて、デジタルズーム倍率（ＤＺ）が、
ＤＺ＝ＤＺ_ｌｏｃｋ×（Ｌ／Ｌ_ｌｏｃｋ）×（ｆ_ｌｏｃｋ／ｆ）、
＝ＤＺ_ｌｏｃｋ×（Ｌ／Ｌ_ｌｏｃｋ）×｛ｆ_ｌｏｃｋ／（ＯｐＺ×ｆ_ｍｉｎ）｝、
となるように制御してもよい。

また、画角ロック・モードが設定されているとき、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）を増減させるようにしたが、光学ズーム倍率（ＯｐＺ）を自動的に連続して変化させ、その間の電子ズーム倍率（ＤＺ）を、全体ズーム倍率（Ｚ）を、それ以前（光学ズーム倍率の変化を開始する直前）の画角等に維持する制御を行うようにしてもよい。

例えばズームキーを望遠又は広角といったズーム方向のみを指示するためのキーとして使用させ、ズームキーによりズーム方向が指示されたとき、それに応答して、指示されたズーム方向に向けて光学ズーム倍率（ＯｐＺ）を自動的に最小倍率または最大倍率まで連続的に変化させてもよい。また、任意の操作キーに予めズーム開始を指示する機能を割り当てておき、ズーム開始が指示されたとき、それに応答して光学ズーム倍率（ＯｐＺ）を自動的にいったん最小倍率または最大倍率まで変化させた後、最大倍率または最小倍率まで変化させてもよい。

その場合でも、光学ズームの特性を生かした撮影技法による映像と同様の映像シーンが、カメラを前進や後進移動しなくても、小型カメラで手持ちでも容易に撮影できる。

また、前述した通常ズーム・モードでは、全体ズーム倍率（Ｚ）が、最低倍率を含む低倍率側の範囲のあるときにはデジタルズームを優先し、かつ最高倍率含む高倍率側の範囲のあるときには光学ズームを優先して使用するようにしたが、これとは逆に、全体ズーム倍率（Ｚ）が最低倍率を含む低倍率側の範囲のあるときには光学ズームを優先し、かつ全体ズーム倍率（Ｚ）が最高倍率を含む高倍率側の範囲のあるときにはデジタルズームを優先して使用するようにしたりしてもよい。

・デジタルズーム処理（１）、（２）
次に、前述したステップＳＡ１０におけるデジタルズーム処理（１）、及びステップＳＡ１１におけるデジタルズーム処理（２）の詳細について説明する。

図９はデジタルズーム処理（１）の内容を示すフローチャートである。デジタルズーム処理（１）では、前述したズーム設定処理（図８）で設定したデジタルズーム倍率（ＤＺ）に基づきスルー画像として表示する画像データを以下のように読み出す。図１２は、そのときの全体ズーム倍率（Ｚ）と光学ズーム倍率（ＯｐＺ）とデジタルズーム倍率（ＤＺ）との関係（但し、通常ズーム・モード時の関係）と、デジタルズーム倍率（ＤＺ）に対する画素加算数および選択領域を示した図である（画角ロック・モード時も同様）。

以下説明すると、図９に示したようにＣＰＵ１１は、まず、画素加算数の切替ステップ段数（ｉ）、及び初期の画素加算数、すなわち水平および垂直方向の加算数（ｍ，ｎ）の初期値（ｍ_（ｉ），ｎ_（ｉ））を、例えば、ｉ＝３、ｍ_（ｉ）＝ｍ_（３）、ｎ_（ｉ）＝ｎ_（３）に設定した後（ステップＳＣ１）、前述したステップＳＡ５で設定したデジタルズ−ムの中央位置（Ｘ_Ｃ，Ｙ_Ｃ）をデータ・メモリ２９から読み込む（ステップＳＣ２）。

引き続き、前述した感光部２０１から撮像信号を読み出すときの画素加算数（ｍ，ｎ）を予め設定する。つまり画素加算における水平および／または垂直方向の加算数（ｍ，ｎ）を、デジタルズーム倍率（ＤＺ）に応じて、ＤＺが低倍率になるほど加算数が大きく、高倍率になるほど加算数が小さくなるように、段階的に切り替えて加算数の自動調整を行う（ステップＳＣ３〜ＳＣ９）。

これにより、低倍率で表示画角が広い時には、加算処理によって撮像信号のデータ量を、１／（ｍ×ｎ）に小さくするとともに、画素加算効果によって、撮像感度を上げ画質の劣化を補う。また、高倍率で画角が狭い時には、加算数を減らすことにより、高精細の解像度を優先させるとともに、画角（＝選択領域）を狭くすることでデータ量を所定以下に抑える。
なお、上記の加算読出しにおける各段階の加算数（ｍ_（ｉ），ｎ_（ｉ））は、スルー表示の画質が劣化しないように、選択領域の加算読出し画像サイズ（Ｘ’，Ｙ’）が、少なくとも表示メモリ２３ａヘ書込みする（ＶＧＡサイズ＝６４０×４８０など）所定の画像サイズ（Ｘ_ｄ，Ｙ_ｄ）以上となる加算数の切替条件、すなわち、
Ｘ’＝Ｘ／ｍ＝ＩＮＴ（Ｘ_Ｆ／ＤＺ）／ｍ ≧Ｘ_ｄ、
かつ、
Ｙ’＝Ｙ／ｎ＝ＩＮＴ（Ｙ_Ｆ／ＤＺ）／ｎ ≧Ｙ_ｄ、
が満足される範囲とする。

すなわち、デジタルズーム時の加算数（ｍ_（ｉ），ｎ_（ｉ））に応じて、デジタルズーム倍率（ＤＺ）が次式で表されるデジタルズーム倍率限度ＤＺ_Ｌ（ｉ）以内となるように、
ＤＺ≦ＤＺ_Ｌ（ｉ）、
但し、
ＤＺ_Ｌ（ｉ）＝ＩＮＴ｛Ｘ_Ｆ／ｍ_（ｉ）｝／Ｘ_ｄ、またはＩＮＴ｛Ｙ_Ｆ／ｎ_（ｉ）｝／Ｙ_ｄ
となる範囲内で、デジタルズーム倍率を可変するように制御すれば、スルー表示での画質劣化が抑えられるので、それを超える高倍率が選択された場合には、選択領域の加算読出し画像サイズ（Ｘ’，Ｙ’）が、表示書込み用画像サイズ（Ｘ_ｄ，Ｙ_ｄ）未満になる場合には、各デジタルズーム倍率限度に達する度に、加算数（ｍ_（ｉ），ｎ_（ｉ））を、順次小さい加算数（ｍ_{（ｉ−１）}，ｎ_{（ｉ−１）}）、（ｍ_{（ｉ−２）}，ｎ_{（ｉ−２）}）、・・・等に段階的に切り替える。

例えば、Ｘ_Ｆ＝２,８８０、Ｙ_Ｆ＝２,１６０、Ｘ_ｄ＝６４０、Ｙ_ｄ＝４８０のとき、初期の加算数をｍ＝ｎ＝３からはじめる場合には、
ＤＺ_Ｌ（３）＝１．５、ＤＺ_Ｌ（２）＝２．２５、ＤＺ_Ｌ（１）＝４．５となるので、
ＤＺ＝１〜１．５倍のとき、ｍ＝ｎ＝３として、（３×３）の加算読出しを行い、
ＤＺ＝１．５〜２．２５倍のとき、ｍ＝ｎ＝２として、（２×２）の加算読出しを行い、
ＤＺ＝２．２５〜４．５倍のとき、ｍ＝ｎ＝１として、（１×１）の加算なし読出しを行うようにする。

引き続き、そのときのデジタルズーム倍率（ＤＺ）と前記中央位置（Ｘ_Ｃ，Ｙ_Ｃ）に応じて、感光部２０１における選択読出し領域の画像サイズ（ヨコＸ×タテＹ）と、読出し範囲（Ｘ_１〜Ｘ_２，Ｙ_１〜Ｙ_２）、つまり（ヨコ）×１／（ＤＺ）、（タテ）×１／（ＤＺ）の大きさの部分領域（選択領域）を設定する（ステップＳＣ１０）。

すなわち、感光部２０１の有効領域の大きさ（画素数）を（Ｘ_Ｆ，Ｙ_Ｆ）とすると、選択する部分領域の大きさ（画素数）（Ｘ，Ｙ）は、
Ｘ＝ＩＮＴ（Ｘ_Ｆ／ＤＺ）、Ｙ＝ＩＮＴ（Ｙ_Ｆ／ＤＺ）、

また、視野中央（もしくは選択ＡＦ枠など）の画素位置を（Ｘ_Ｃ，Ｙ_Ｃ）とすると、選択する部分領域の範囲（例：左上からの画素座標）（Ｘ_１〜Ｘ_２）、（Ｙ_１〜Ｙ_２）は、
Ｘ_１＝Ｘ_Ｃ−Ｘ／２、Ｘ_２＝Ｘ_Ｃ＋Ｘ／２、Ｙ_１＝ＹＣ−Ｙ／２、Ｙ_２＝Ｙ_Ｃ＋Ｙ／２、
ただし、Ｘ_１＜０のとき、Ｘ_１＝０、Ｘ_２＝Ｘ、または、
Ｘ_２＞Ｘ_Ｆのとき、Ｘ_１＝Ｘ_Ｆ−Ｘ、Ｘ_２＝Ｘ_Ｆ、
および、Ｙ_１＜０のときＹ_１＝０、Ｙ_２＝Ｙ、または、
Ｙ_２＞Ｙ_ＦのときＹ_１＝Ｙ_Ｆ−Ｙ、Ｙ_２＝Ｙ_Ｆ、
として、上下左右の端から超えるときには、各端からはみ出さないようにずらせて、設定された部分領域の大きさ（Ｘ，Ｙ）を確保する。

そして、前述したイメージセンサ２の領域選択読出し機能を利用して、上記のように設定した読出し範囲（Ｘ_１〜Ｘ_２，Ｙ_１〜Ｙ_２）の画像信号を、加算数（ｍ，ｎ）に従って加算して（又は加算なしで）読出し、画像サイズ（Ｘ’，Ｙ’）＝（Ｘ／ｍ，Ｙ／ｎ）の画像信号をＤＳＰ３（バッファメモリ３０２）に読み込み（ステップＳＣ１１）、前述した図７のメインルーチンへ戻る。

図１３及び図１４は、以上のデジタルズーム処理（１）、及びそれに続く図７のリサイズ／補間処理（ステップＳＡ７）による処理内容の具体例を示した図である。

例えばＸＦ＝２,８８０、ＹＦ＝２,１６０、Ｘｄ＝６４０、Ｙｄ＝４８０であれば、デジタルズーム倍率ＤＺ＝１．２倍のとき、デジタルズーム処理（１）では、
Ｘ＝ＩＮＴ（Ｘ_Ｆ／ＤＺ）＝（２，８８０／１．２）＝２，４００、Ｙ＝ＩＮＴ（Ｙ_Ｆ／ＤＺ）＝（２，１６０／１．２）＝１，８００、
の大きさの撮像領域を選択読出しし、かつ、ＤＺ≦ＤＺ_Ｌ（３）＝１．５なので、加算数ｍ＝３、ｎ＝３で加算読出しすることにより、
Ｘ’＝Ｘ／ｍ＝（２，４００／３）＝８００、Ｙ’＝Ｙ／ｎ＝（１，８００／３）＝６００、
すなわち（８００×６００）画素の（３×３）加算読出し画像を得る。

また、続くリサイズ／補間処理では、（８００×６００）画素の（３×３）加算読出し画像を元に、表示用書込みサイズの（６４０×４８０）画素に合わせて、
ＩＰ_ｘ＝Ｘ_ｄ／Ｘ’＝６４０／８００＝１／１．２５、および、ＩＰ_ｙ＝Ｙ_ｄ／Ｙ’＝４８０／６００＝１／１．２５、
に相当するリサイズ／補間処理（１／１．２５×１／１．２５）を行って、（６４０×４８０）画素の画像を表示メモリ２３ａに書き込む。

図１１の左側部分に、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）が変化する間における撮像可能な全被写体像の変化と、実際に撮像される選択読出し領域（図で実線）の変化を示す。なお、図に破線で示した範囲が、前述したズーム設定処理によって維持される画角のロック範囲である。

一方、図１０は、デジタルズーム処理（２）の内容を示すフローチャートである。係る処理では、前述したズーム設定処理で設定したデジタルズーム倍率（ＤＺ）に基づき、以下のように動画像として記録する画像データを読み出す。

ＣＰＵ１１は、まず、ユーザにより設定されている記録画像サイズ（Ｘ_Ｒ，Ｙ_Ｒ）に応じて、あらかじめ、画素加算する加算数の上限値を、
ｍ_max＝ＩＮＴ（Ｘ_Ｆ／Ｘ_Ｒ）、または、ｎ_max＝ＩＮＴ（Ｙ_Ｆ／Ｙ_Ｒ）
のように、つまりイメージセンサ２から読み出される撮像画像サイズが、設定記録画像サイズより大きくなるように設定する（ステップＳＤ１〜ＳＤ４）。

例えば、Ｘ_Ｆ＝２，８８０、Ｙ_Ｆ＝２，１６０で、設定記録画像サイズが、Ｘ_Ｒ＝１，２８０、Ｙ_Ｒ＝９６０のとき、加算数の限度は、
ｍ_max≦ＩＮＴ（２，８８０／１，２８０）＝２、ｎ_max≦ＩＮＴ（２，１６０／９６０）＝２となるので、ｍ_１＝ｎ_１＝１、ｍ_２＝ｎ_２＝２、とすると、
加算数ｍ_２の限度倍率ＤＺ_Ｌ（２）＝ＩＮＴ（２，８８０／２）／１，２８０＝１．１２５、
加算数ｍ_１の限度倍率ＤＺ_Ｌ（１）＝ＩＮＴ（２，８８０／１）／１，２８０＝２．２５、となるので、
初期加算数をｉ＝２、ｍ＝ｎ＝２からはじめたとき、
ＤＺ＝１〜１．１２５倍のとき、ｍ＝ｎ＝２（２×２加算読出し）、
ＤＺ＝１．１２５〜２．２５倍のとき、ｍ＝ｎ＝１（１×１加算なし読出し）
となるように、ＤＺ＝１．１２５にて、加算数を切り替える。

そして、前述したステップＳＡ５で設定したデジタルズ−ムの中央位置（Ｘ_Ｃ，Ｙ_Ｃ）をデータ・メモリ２９から読み込む（ステップＳＤ５）。

引き続き、選択領域の加算読出し画像サイズ（Ｘ’，Ｙ’）が、少なくとも、ユーザにより設定されている所望の動画記録の画像サイズ（Ｘ_Ｒ，Ｙ_Ｒ）以上となる条件、
Ｘ’＝Ｘ／ｍ＝ＩＮＴ（Ｘ_Ｆ／ＤＺ）／ｍ_（ｉ）≧Ｘ_Ｒ、かつ、
Ｙ’＝Ｙ／ｎ＝ＩＮＴ（Ｙ_Ｆ／ＤＺ）／ｎ_（ｉ）≧Ｙ、
が満足される範囲で、デジタルズーム倍率（ＤＺ）を可変するようにして、つまり、加算数（ｍ_{（ｉ−１）}，ｎ_{（ｉ−１）}）に応じて、デジタルズーム倍率（ＤＺ）が
ＤＺ≦ＤＺ_Ｌ（ｉ）、但し、ＤＺ_Ｌ（ｉ）＝ＩＮＴ｛Ｘ_Ｆ／ｍ_（ｉ）｝／Ｘ_Ｒ、または、ＩＮＴ｛Ｙ_Ｆ／ｎ_Ｌ（ｉ）｝／Ｙ_Ｒ
となる範囲内で、デジタルズーム倍率（ＤＺ）を可変するように制御すれば、記録される動画像の画質劣化が抑えられるので、それを超える高倍率を選択し、選択領域の加算読出し画像サイズが設定記録画像サイズ（Ｘ_Ｒ，Ｙ_Ｒ）未満になる場合には、加算数（ｍ_（ｉ），ｎ_（ｉ））を順次小さい加算数に切り替える。これにより、加算数を決定する（ステップＳＤ６〜ＳＤ１２）。

なお、表示書込み用画像サイズ（Ｘ_ｄ，Ｙ_ｄ）の代わりに、設定された記録画像サイズ（Ｘ_Ｒ，Ｙ_Ｒ）よりも小さな読出し画像サイズにならないように、画素加算数を切り替える以外は、図９の既説したデジタルズーム処理（１）とほぼ同様である。その際、拡大や伸張処理などを伴う画質が劣化しやすいリサイズや補間処理を行わない範囲内において、画素加算数を切り替えて、記録動画像の画質が劣化したり解像感が落ちない範囲で、読出し画像のデータ量を削減して、所要メモリ容量や信号処理量などを抑えるようにする。

すなわちステップＳＤ１３，ＳＤ１４においては、例えば、Ｘ_Ｆ＝２，８８０、Ｙ_Ｆ＝２，１６０で、設定記録画像サイズが、Ｘ_Ｒ＝１,２８０、Ｙ_Ｒ＝９６０であれば、
（例１）デジタルズーム倍率ＤＺ＝１．０倍のとき、選択読み出しする領域の大きさ（Ｘ，Ｙ）は、
Ｘ＝ＩＮＴ（Ｘ_Ｆ／ＤＺ）＝（２,８８０／１）＝２,８００、Ｙ＝ＩＮＴ（Ｙ_Ｆ／ＤＺ）＝（２,１６０／１）＝２,１６０、
ＤＺは、ＤＺ_Ｌ（２）＝１．１２５より小さい範囲内に入るので、加算数ｍ＝２、ｎ＝２として加算読出しし、
Ｘ’＝Ｘ／ｍ＝（２,８００／２）＝１，４４０、Ｙ’＝Ｙ／ｎ＝（２,１６０／２）＝１,０８０、
すなわち、１,４４０×１,０８０画素の（２×２）加算画像を得る。

（例２）同様に、デジタルズーム倍率ＤＺ＝２．０倍のとき、選択読み出しする領域の大きさ（Ｘ，Ｙ）は、
Ｘ＝（２,８８０／２）＝１,４４０、Ｙ＝（２,１６０／２）＝１,０８０、
ＤＺは、ＤＺ_Ｌ（２）＝１．１２５より大きいが、ＤＺ_Ｌ（１）＝２．２５よりは小さいので、加算数ｍ＝１、ｎ＝１として加算読出しして、
Ｘ’＝（１,４４０／１）＝１,４４０、Ｙ’＝（１,０８０／１）＝１,０８０、
すなわち、１,４４０×１,０８０画素の（１×１）加算画像を得る。

しかる後、前述した図７のメインルーチンへ戻る。

以上のようにデジタルズーム処理（１）、（２）では、表示書込み用画像サイズが確保できる範囲で、かつ動画撮影中にあっては設定された記録画像サイズが確保できる範囲で、デジタルズーム倍率（ＤＺ）に応じて、低倍率のときには加算数を上げ、また高倍率のときには段階的に加算数を下げることにより、スルー画像や記録する動画像における解像度や画質の向上を図ることができる。

さらに、本実施の形態では、イメージセンサ２として領域選択読出しと水平／垂直の画素加算読出しができる高速ＣＭＯＳイメージセンサを用い、所定領域の画素を所定の加算数で画素加算する処理を撮像信号の読み出し段階で行うことから、その処理を、イメージセンサ２から全画素分の撮像信号を読み出した後の画像処理段階で行う場合とは異なり、高解像度で高速フレームレートの場合でも、荒い間引きやフレームレートの低減などを行わなくでも、画質を劣化させたり解像感が段階的に落ちたりすることなく、スムーズで滑らかなデジタルズーム撮影や動画撮影が実現できる。

なお、前述したズーム設定処理で決定したデジタルズーム倍率（ＤＺ）を確保するには、上述したデジタルズーム処理（１）、（２）に限らず、これ以外の他の処理によって行うようにしてもよい。例えばイメージセンサ２から全画素分の撮像信号を読み出し、その撮像信号に基づく画像データから全体ズーム倍率（Ｚ）に応じた画角に対応する画像領域を単に切り出す処理によって行うようにしてもよい。また、イメージセンサ２はＣＭＯＳイメージセンサに限らずＣＣＤとしても構わない。

一方、ここでは、動画撮影モードが設定されているときの動作について説明したが、前述したズーム設定処理は、静止画撮影モードが設定されている場合に行ってもよい。その場合、ユーザは、必要に応じて画角ロック操作を行ってズームモードを画角ロック・モードに切り替えてからズーム操作を行えば、任意の倍率や画角を維持したまま光学ズーム倍率や焦点距離を変えることができ、同じ構図の被写体に対して遠近感の強調や圧縮、あるいは背景のボケ具合などを自由に可変調整して撮影でき、所望の構図を自由に選択して撮影できる。

（実施形態２）
以下、本発明の第２の実施形態について説明する。本実施の形態は、図１に示した構成において、前記操作入力部３６に、第１の実施の形態で説明した通常ズーム・モードにおけるズーム（以下、通常ズームと呼ぶ。）を行うための第１のズームキーと、画角ロック・モードにおけるズーム（以下、遠近感制御ズームと呼ぶ。）を行うための第２のズームキー、すなわち本発明における第１の操作手段、第２の操作手段とが独立して設けられているデジタルカメラに関するものである。

図１５は、本実施の形態において、静止画撮影モードが設定されているときのＣＰＵ１１による制御（静止画撮影制御）の内容を示すフローチャートである。

静止画撮影モードが設定されているときＣＰＵ１１は、まず、イメージセンサ２により撮像可能な最大画像サイズである撮像フル画像サイズ（Ｘ_Ｆ、Ｙ_Ｆ）と表示メモリ２３ａの書込み画像サイズ（Ｘ_ｄ、Ｙ_ｄ）とに応じて、(画質劣化しない)デジタルズーム倍率（ＤＺ）の限度（ＤＺmax）を設定する（ステップＳＥ１）。なお、ここで設定される限度（ＤＺmax）は、後述するステップＳＥ９のデジタルズーム処理（１）で使用されるパラメータである。

引き続き、測光処理及びホワイトバランス調整処理を行い（ステップＳＥ２）、ユーザによるＡＦ枠の選択があれば（ステップＳＥ３でＹＥＳ）、操作に応じてＡＦ枠を選択し、選択されたＡＦ枠（の中心）をデジタルズ−ムの中央位置（Ｘ_Ｃ，Ｙ_Ｃ）に設定し（ステップＳＥ４）、ユーザによるＡＦ枠の選択がなければ（ステップＳＥ３でＮＯ）、視野の中央をデジタルズームの中央位置（Ｘ_Ｃ，Ｙ_Ｃ）に設定する（ステップＳＥ５）。なお、設定した中央位置（Ｘ_Ｃ，Ｙ_Ｃ）はデータ・メモリ２９に記憶する。

その後、図１７に示す、第１の実施の形態とは異なるズーム設定処理に移行し、係る処理において、ユーザのズーム操作（ズーム・イン／アウト操作）に応じた光学ズーム倍率（ＯｐＺ）とデジタルズーム倍率（ＤＺ）の設定を行う（ステップＳＥ６）。なお、詳細については後述する。

次に、上記ズーム設定処理で設定した上記の光学ズーム倍率（ＯｐＺ）に従いズームレンズ６を駆動する光学ズーム処理を行った後（ステップＳＥ７）、選択されたＡＦ枠又は視野中央をフォーカス検出領域として焦点レンズ５を駆動するＡＦ処理を行う（ステップＳＥ８）。

そして、第１の実施の形態で既説した図９のデジタルズーム処理（１）へ移行し、上記ズーム設定処理で設定したデジタルズーム倍率（ＤＺ）に基づき、イメージセンサ２の領域選択読出し機能、および画素加算機能を用いた画像データの読み出しを行い、前記表示メモリ２３ａの書込み画像サイズ（Ｘ_ｄ、Ｙ_ｄ）以上の画像サイズ（Ｘ’，Ｙ’）の画像データを取得する（ステップＳＥ９）。

次に、上記デジタルズーム処理（１）で取得した画像データに対し、撮像画像サイズ（Ｘ’，Ｙ’）と、表示メモリ２３ａの書込みサイズ（Ｘ_ｄ，Ｙ_ｄ）に応じたリサイズ率（ＩＰ_ｘ＝Ｘ_ｄ／Ｘ’、ＩＰ_ｙ＝Ｙ_ｄ／Ｙ’）でのリサイズ／補間処理を行いスルー画像用の画像データを取得する（ステップＳＥ１０）。

しかる後、取得した画像データに基づくスルー画像をＬＣＤ２４に表示させるとともに、ズーム倍率や、後述する固定画角領域（必要時のみ）をスルー画像に重ねて表示させる（ステップＳＥ１１）。なお、ズーム倍率や固定画角領域の表示は、例えばＯＳＤ表示によって行う。

その後、図１６に示したように、レリーズボタンが半押しされなければ（ステップＳＥ１２でＮＯ）、その他のキー処理を行ってから（ステップＳＥ１３）、図１５のステップＳＥ２へ戻る。レリーズボタンが半押しされたら（ステップＳＥ１２でＹＥＳ）、測光処理を行うとともに、測光値と撮影条件とに応じて露出条件を設定する（ステップＳＥ１４）。ここで、レリーズボタンが全押しされなければ（ステップＳＥ１５でＮＯ）、ステップＳＥ１２へ戻る。

一方、レリーズボタンが全押しされたら（ステップＳＥ１５でＹＥＳ）、設定撮影条件と露出条件に従って、露出＆撮影処理（デジタルズーム倍率ＤＺに応じて、領域選択した画像を、加算なしで読み出して撮影）を行う（ステップＳＥ１６）。そして、設定記録画像サイズに応じて、（必要な場合のみ）撮影画像データのリサイズ／補間処理を行った後（ステップＳＥ１７）、撮影した画像データの符号化／圧縮符号化、撮影画像データのメモリへの記録、撮影画像のレビュー表示を行い（ステップＳＥ１８〜ＳＥ２０）、ステップＳＥ１へ戻る。以後、前述した処理を繰り返す。

・ズーム設定処理
次に、前述したステップＳＥ６における本実施の形態のズーム設定処理の詳細を図１７のフローチャートに従い説明する。係る処理に際してＣＰＵ１１は、まず、第２のズームキーによる遠近感制御ズーム操作の有無、第１のズームキーによる通常ズーム操作の有無、固定画角範囲の設定操作の有無を順に判断し、いずれの操作もなければ（ステップＳＦ１，ＳＦ１５，ＳＦ２２が全てＮＯ）、その他のキー処理を行ってから（ステップＳＦ２３）、図１５のメインルーチンへ戻る。

一方、ユーザにより固定画角範囲の設定操作があったときには（ステップＳＦ２２でＹＥＳ）、後述するステップＳＦ３で設定するロック倍率Ｚ_ｌｏｃｋの計算に用いる比率（α）であって、ズームレンズ６による現在の光学ズーム倍率（ＯｐＺ）と、デジタルズーム機能による現在のデジタルズーム倍率（ＤＺ）とによって確保される全体ズーム倍率（Ｚ＝ＯｐＺ×ＤＺ）に対する比率（α）を設定操作に応じて設定（記憶）し（ステップＳＦ２４）、ステップＳＦ１へ戻る。ここで、固定画角範囲とは、遠近感制御ズームによってズーム倍率を変化させる間に固定（維持）すべき範囲、つまり撮像画像に収めるべき被写体範囲であり、その設定操作は、例えばカーソルキー操作による固定画角範囲の段階的な増減操作や選択操作である。また、設定する比率（α）は、例えば１を基準値とした０．５〜２．０の範囲の値である。

また、通常ズーム操作があったときには（ステップＳＦ１５でＹＥＳ）、まず、現在のデジタルズーム倍率（ＤＺ）を維持したままで、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）のみを増減し（ステップＳＦ１５）、遠近感制御ズーム操作中であることを示すフラグ（ＦＬＡＧ）をオフ状態とする（ステップＳＦ１６）。

引き続き、増減後の光学ズーム倍率（ＯｐＺ）が設定可能な最小値（ＯｐＺ_ｍｉｎ）よりも小さければ（ステップＳＦ１８でＹＥＳ）、それを最小値（ＯｐＺ＝ＯｐＺ_ｍｉｎ）に修正し（ステップＳＦ１９）、また、増減後の光学ズーム倍率（ＯｐＺ）が設定可能な最大値（ＯｐＺ_ｍａｘ）よりも小さければ（ステップＳＦ１８でＮＯ、ステップＳＦ１８でＹＥＳ）、それを最大値（ＯｐＺ＝ＯｐＺ_ｍａｘ）に修正し（ステップＳＦ１９）、それぞれ図１５のメインルーチンへ戻る。

つまり通常ズーム操作があったときには、全体ズーム倍率（Ｚ）を、その時点のデジタルズーム倍率（ＤＺ）に応じた範囲内（ＤＺ×ＯｐＺ_ｍｉｎ≦Ｚ≦ＤＺ×ＯｐＺ_ｍａｘ）で変化させる。これにより、先に説明した図１５のステップＳＥ１１で表示するスルー画像においては、ズーム操作に応じて画角が変化することにより、被写体の大きさが変化することとなる。つまり、従来からの一般的なズーム動作が行われる。その場合におけるスルー画像の変化を図１８（ａ）に示す。

これに対して、遠近感制御ズーム操作があったときには（ステップＳＦ２でＹＥＳ）、まず、前述したフラグ（ＦＬＡＧ）の状態から、前回のズーム操作が通常ズーム操作であったか否かを確認する（ステップＳ３）。そして、通常ズーム操作であった場合には（ステップＳＦ３でＹＥＳ）、現在の全体ズーム倍率（Ｚ＝ＯｐＺ×ＤＺ）に前記比率（α）を乗じたズーム倍率（α×Ｚ）を取得し、その倍率をロック倍率Ｚ_ｌｏｃｋとして設定（記憶）した後（ステップＳＦ３）、前記フラグ（ＦＬＡＧ）をオン状態とする（ステップＳＦ４）。また、前回のズーム操作が通常ズーム操作でない場合、つまり前回も遠近感制御ズーム操作であった場合には（ステップＳＦ２でＮＯ）、そのままステップＳＦ５へ進む。

続くステップＳＦ５では、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）を増減設定する。ここで設定した光学ズーム倍率（ＯｐＺ）が最小値未満である場合には（ステップＳＦ６でＹＥＳ）、光学ズーム倍率（ＯｐＺ）を最小値（ＯｐＺ＝ＯｐＺ_ｍｉｎ）に修正し（ステップＳＦ７）、また光学ズーム倍率（ＯｐＺ）が最大値を超えていれば（ステップＳＦ６でＮＯ、ＳＦ８でＹＥＳ）、光学ズーム倍率（ＯｐＺ）を最大値（ＯｐＺ＝ＯｐＺ_ｍａｘ）に修正する（ステップＳＦ９）。

引き続き、増減後の光学ズーム倍率（ＯｐＺ）と、ステップＳＦ３で設定したロック倍率（Ｚ_ｌｏｃｋ）とを用いて次式
ＤＺ＝Ｚ_ｌｏｃｋ／ＯｐＺ
によって、全体ズーム倍率（Ｚ）として上記ロック倍率（Ｚ_ｌｏｃｋ）が確保できるデジタルズーム倍率（ＤＺ）を演算し、それをズーム制御値として設定する（ステップＳＦ１０）。

さらに、ここで設定したデジタルズーム倍率（ＤＺ）が最小値未満であれば（ステップＳＦ１１でＹＥＳ）、デジタルズーム倍率（ＤＺ）を最小値（ＤＺ＝ＤＺ_ｍｉｎ）に修正し、かつそれに応じて光学ズーム倍率（ＯｐＺ）を次式
ＯｐＺ＝Ｚ_ｌｏｃｋ／ＤＺ_ｍｉｎ
により修正する（ステップＳＦ１２）。

また、デジタルズーム倍率（ＤＺ）が最大値を超えていれば（ステップＳＦ１１でＮＯ、ＳＦ１３でＹＥＳ）、デジタルズーム倍率（ＤＺ）を最大値（ＤＺ＝ＤＺ_ｍａｘ）に修正し、かつそれに応じて光学ズーム倍率（ＯｐＺ）を次式
ＯｐＺ＝Ｚ_ｌｏｃｋ／ＤＺ_ｍａｘ
により修正する（ステップＳＦ１４）。

以上のように遠近感制御ズーム操作があったときには、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）を増減すると同時に、その増減分を相殺するようにデジタルズーム倍率（ＤＺ）を増減することにより、全体ズーム倍率（Ｚ）すなわち画角を、それ以前（遠近感ズーム操作の直前）の画角等に維持する制御を行う。つまり全体ズーム倍率（Ｚ）を同一（又は略同一）とする範囲内で、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）とデジタルズーム倍率（ＤＺ）との組合せを任意の組合せに変化させる。

これにより、先に説明した図１５のステップＳＥ１１で表示するスルー画像においては、ズーム操作に応じ、主たる被写体の大きさが略同一のままで、背景部分の大きさ（及びボケ度合）のみが大きく変化することとなる。つまり、光学ズームのみによりズーム・イン／アウトを行う間に、主たる被写体を画面内に同じ大きさにフレーミングするように被写体距離を変化（撮影位置を前後）させる場合と同様の、光学ズームの特性を利用した遠近感の変化を生じさせることができる。

その場合におけるスルー画像の変化を図１８（ｂ）に示す。図１８（ｂ）は、上から２番目の画像が、前回、通常ズーム操作があった直後の状態のスルー画像であり、各画像に１点鎖線の枠線Ａにより示された範囲が、その時点で設定されている固定画角範囲（被写体範囲）である。そして、図１５のステップＳＥ１１では、前述した全体ズーム倍率（Ｚ）に対する前記比率（α）が１を超える値に設定されている状態で、かつ遠近感制御ズーム操作があってから次に通常ズーム操作があるまでの間に、図示したように上記枠線Ａを表示させる。

したがって、静止画撮影モードによる撮影時には、任意の時点で遠近感制御ズーム操作を行うことにより、主要被写体が同じ範囲に写るように、任意の倍率や画角を維持したまま光学ズーム倍率や焦点距離を変えることができ、同じ構図の被写体に対して遠近感の強調や圧縮、あるいは背景のボケ具合などを自由に可変調整して撮影でき、所望の構図を自由に選択して撮影できる。

また、遠近感制御ズーム操作中にはスルー画像上に枠線Ａを表示させるため、固定画角範囲（被写体範囲）が容易に識別できる。なお、固定画角範囲は、枠線Ａの表示に限らず他の方法（固定画角範囲を除く領域の輝度を低下させる等の方法）により表示してもよい。

また、前述したズーム設定処理で決定したデジタルズーム倍率（ＤＺ）を、上述したデジタルズーム処理（１）によって確保し、表示書込み用画像サイズが確保できる範囲で、デジタルズーム倍率（ＤＺ）に応じて、低倍率のときには加算数を上げ、また高倍率のときには段階的に加算数を下げることにより、スルー画像における解像度や画質の向上を図ることができる。

なお、本実施の形態では、通常ズーム操作があったとき、現在のデジタルズーム倍率（ＤＺ）を維持したままで、ズーム操作に応じて光学ズーム倍率（ＯｐＺ）のみを増減させるようにしたが、現在の全体ズーム倍率（Ｚ）に応じてデジタルズーム倍率（ＤＺ）も増減させるようにしてもよい。

その場合、第１の実施の形態における通常ズーム・モードでの制御と同様、全体ズーム倍率（Ｚ）が最低倍率を含む低倍率側の範囲のあるときにはデジタルズームを優先し、かつ全体ズーム倍率（Ｚ）が最高倍率を含む高倍率側の範囲のあるときには光学ズームを優先して使用するようにしたり、逆に、全体ズーム倍率（Ｚ）が最低倍率を含む低倍率側の範囲のあるときには光学ズームを優先し、かつ全体ズーム倍率（Ｚ）が最高倍率を含む高倍率側の範囲のあるときにはデジタルズームを優先して使用するようにしたりしてもよい。

また、本実施の形態のズーム設定処理では、遠近感制御ズームを行うとき、制御目標とするロック倍率（Ｚ_ｌｏｃｋ）を、遠近感制御ズームが行われた時点の全体ズーム倍率（Ｚ）に前記比率（α）を乗じた倍率としたが、全体ズーム倍率（Ｚ）をそのまま制御目標として使用してもよい。さらに、第１の実施の形態で述べたように、制御目標は、全体ズーム倍率（Ｚ）やロック倍率（Ｚ_ｌｏｃｋ）でなくともよく、画角ロック操作時の全体ズーム画角（θ_ｌｏｃｋ）や被写体範囲（Ｙ_ｌｏｃｋ）としたり、さらには主要被写体の撮影距離（Ｌ）が検出できる場合には被写体範囲としてもよい。

また、第１の実施の形態と同様、前述したズーム設定処理で決定したデジタルズーム倍率（ＤＺ）を確保するには、上述したデジタルズーム処理（１）に限らず、これ以外の他の処理によって行うようにしてもよい。例えばイメージセンサ２から全画素分の撮像信号を読み出し、その撮像信号に基づく画像データから全体ズーム倍率（Ｚ）に応じた画角に対応する画像領域を単に切り出す処理によって行うようにしてもよい。また、イメージセンサ２はＣＭＯＳイメージセンサに限らずＣＣＤとしても構わない。

一方、ここでは、静止画撮影モードが設定されているときの動作について説明したが、前述したズーム設定処理は、動画撮影モードが設定されている場合に行ってもよい。その場合、ユーザは、第１のズームキーによる通常ズーム操作によって画面内おける主たる被写体の大きさを所望する大きさに調整した後、今度は第２のズームキーによる遠近感制御ズーム操作によって急激にズーム・アウトを行うことにより、先に述べた「めまいカット」（図１９参照）のように、「Ｔｒａｃｋｕｐ＆Ｚｏｏｍｏｕｔ」などの光学ズームの特性を生かした撮影技法による映像と同様の、遠近感が変化していくような映像シーンを、カメラを前進や後進移動しなくても、小型カメラで手持ちでも容易に撮影できる。

さらに、以上説明した第１及び第２の実施の形態では、本発明をデジタルカメラに適用する場合について説明したが、本発明は電子ズーム機能を有しているものであれば、光学ズームの有無に関係なくデジタルビデオカメラ、カメラ付き携帯電話端末、カメラ付きＰＤＡ等の他の撮像装置にも採用することができる。

各実施の形態に共通するデジタルカメラのブロック図である。イメージセンサ及びＤＳＰの詳細を示したシステム構成図である。同イメージセンサの詳細を示した回路図である。（ａ）はイメージセンサの単位画素回路、（ｂ）は単位画素回路の構造、（ｃ）は単位画素回路の動作を示した説明図である。ＣＤＳ／ＡＤＣ回路及びデジタル画素加算回路の具体的構成を示した回路図である。信号読み出し時の動作タイミングチャートである。第１の実施の形態における動画撮影モードでの動作を示すフローチャートである。ズーム設定処理を示すフローチャートである。デジタルズーム処理（１）を示すフローチャートである。デジタルズーム処理（２）を示すフローチャートである。本発明に係る動作内容を示す図である。デジタルズーム処理（１）、（２）による制御内容を示す説明図である。デジタルズーム処理（１）、（２）での動作内容を示す説明図である。図１３に続く説明図である。第２の実施の形態における静止画撮影モードでの動作を示すフローチャートである。図１３に続くフローチャートである。ズーム設定処理を示すフローチャートである。本発明に係る動作内容を示す図である。光学ズームの特性を生かした撮影技法による遠近感が変化していく映像シーンの例を示した図である。同撮影技法を用いた撮影方法を示した図である。

符号の説明

２イメージセンサ
３ＤＳＰ
１０制御回路
１１ＣＰＵ
２３ａ表示メモリ（ＲＡＭ）
２４ＬＣＤ
２５画像メモリ媒体
３７操作入力部

Claims

撮像手段と、
この撮像手段が逐次撮像する撮像範囲内の画像を表示する表示手段と、
前記撮像手段の撮像画角を光学的に変化させる光学ズーム手段と、
前記撮像手段の撮像範囲を制御することで撮像画角を変化させる電子ズーム手段と、
ズームを指示する指示手段と、
前記光学ズーム手段による現在のズーム倍率と前記電子ズーム手段による現在のズーム倍率から全体のズーム倍率を算出する倍率算出手段と、
前記指示手段によるズーム指示の直前の前記倍率算出手段によって算出された全体のズーム倍率を固定する倍率固定手段と、
前記指示手段によるズームの指示に従って、前記光学ズーム手段によるズーム倍率を増減させると同時に、前記倍率固定手段によって算出された全体のズーム倍率に基づいて、その増減分を相殺するように電子ズーム手段によるズーム倍率を増減させ、撮像範囲における被写体範囲の大きさを略同一に維持するズーム制御手段と、
を備えたことを特徴とする撮像装置。
前記撮像範囲を任意に設定する設定手段と、
この設定手段により設定された撮像範囲における垂直方向又は水平方向の所定の画素数分の画素値を加算する画素加算手段と、
この画素加算手段により加算される画素値の画素加算数を、前記ズーム制御手段により制御された電子ズーム倍率に基づき制御する加算数制御手段と、
を更に備えたことを特徴とする請求項１記載の撮像装置。
撮像部と、前記撮像部の撮像画角を光学的に変化させる光学ズーム部と、前記撮像手段の撮像範囲を制御することで撮像画角を変化させる電子ズーム部とを備える撮像装置の撮像画像表示方法であって、
この撮像部にて逐次撮像される撮像範囲内の画像を表示部に表示させる表示ステップと、
ズームの指示を検出する指示検出ステップと、
前記光学ズーム部による現在のズーム倍率と前記電子ズーム部による現在のズーム倍率から全体のズーム倍率を算出する倍率算出ステップと、
前記指示検出ステップによるズーム指示の直前の前記倍率算出ステップによって算出された全体のズーム倍率を固定する倍率固定ステップと、
前記指示検出ステップによるズームの指示に従って、前記光学ズーム部によるズーム倍率を増減させると同時に、前記倍率固定ステップによって算出された全体のズーム倍率に基づいて、その増減分を相殺するように電子ズーム部によるズーム倍率を増減させ、撮像範囲における被写体範囲の大きさを略同一に維持するズーム制御ステップと、
を含むことを特徴とする撮像画像表示方法。
撮像部と、前記撮像部の撮像画角を光学的に変化させる光学ズーム部と、前記撮像手段の撮像範囲を制御することで撮像画角を変化させる電子ズーム部とを備える撮像装置が有するコンピュータを、
この撮像部にて逐次撮像される撮像範囲内の画像を表示部に表示させる表示制御手段、
ズーム指示を検出する指示検出手段、
前記光学ズーム部による現在のズーム倍率と前記電子ズーム部による現在のズーム倍率から全体のズーム倍率を算出する倍率算出手段、
前記指示検出手段によるズーム指示の直前の前記倍率算出手段によって算出された全体のズーム倍率を固定する倍率固定手段、
前記指示検出手段によるズームの指示に従って、前記光学ズーム部によるズーム倍率を増減させると同時に、前記倍率固定手段によって算出された全体のズーム倍率に基づいて、その増減分を相殺するように電子ズーム部によるズーム倍率を増減させ、撮像範囲における被写体範囲の大きさを略同一に維持するズーム制御手段、
として機能させることを特徴とするプログラム。