WO2008023709A1

WO2008023709A1 - Imaging device

Info

Publication number: WO2008023709A1
Application number: PCT/JP2007/066207
Authority: WO
Inventors: Masayuki Ozaki; Yuichi Suzuki
Original assignee: Panasonic Corporation
Priority date: 2006-08-22
Filing date: 2007-08-21
Publication date: 2008-02-28
Also published as: US20100177214A1; JP4616392B2; US8072531B2; JPWO2008023709A1

Description

明細書

撮像装置

技術分野

[0001] 本発明は、撮像装置の合焦動作に関する。より詳しくは、被写体が喑いときでも高速な合焦動作を可能にする技術に関する。

背景技術

[0002] 近年、デジタルカメラの普及が著しい。写真撮影の初級者向け小型デジタルカメラでは、使用者の技量によらず、一定程度の品質の写真を撮影できることが望ましい。そのため、合焦は自動で行われることが通常であり、シャッターチャンスを逃さないために、合焦動作期間を極力短縮する必要がある。

[0003] 小型デジタルカメラは、光学ファインダを持たないものも多ぐ合焦動作期間もデジタルカメラ本体の背面に配されて!/、る液晶表示部で、被写体を視認し続けることになる。そのため、合焦動作期間においても、表示部に被写体の画像を違和感なく表示させる必要がある。

[0004] 自動合焦動作の方式は、アクティブ方式とパッシブ方式とに大きく分けられる。ァクティブ方式は、被写体に赤外線または超音波を照射して、被写体で反射した赤外線または超音波を受けて、被写体までの距離を測定する方式である。アクティブ方式は、小型銀塩カメラに多く採用されている。

[0005] 一方、パッシブ方式は、光学系で捕らえた画像に基づ!/、て距離を測定する方式である。パッシブ方式は、さらに、位相差検出方式とコントラスト検出方式とに分けられる。位相差検出方式は、銀塩カメラ、デジタルカメラを問わず、一眼レフカメラに多く採用されている。一方、小型デジタルカメラの多くは、コントラスト検出方式を採用してい

[0006] コントラスト検出方式では、光学系内のフォーカスレンズを徐々に光軸方向へ移動させながら、撮像素子から得られた画像のコントラストが極大になるフォーカスレンズの位置を合焦位置とする。コントラストは、撮像素子から得られた画像の高周波成分に基づ!/、て評価するのが一般的である。 [0007] 高周波成分の評価は、フレームごとに行われるので、合焦動作期間を短縮するためには、撮像素子の読出フレームレートを上げる必要がある。しかし、撮像素子の読出フレームレートを上げると、露光時間が短くなる。撮像素子における露光時間が短くなると、表示部に表示される画像が暗くなるとともに、コントラスト検出方式による自動合焦動作が不安定になるという問題が生じる。

[0008] 上記問題に関連したデジタルカメラが提案されている (特許文献 1参照)。特許文献 1に係るデジタルカメラは、被写体の輝度が第 1の閾値以上のときは撮像素子の読出フレームレートを高くし、被写体の輝度が第 2の閾値以下のときは撮像素子の読出フレームレートを低くする構成である。

[0009] これによつて、被写体が明るいときは、高い読出フレームレートによって高速な合焦動作を行い、被写体が喑いときは、低い読出フレームレートによって露光時間を長くすること力 Sでさる。

特許文献 1 :特開 2003— 262788号公報

発明の開示

発明が解決しょうとする課題

[0010] しかし、特許文献 1に記載のデジタルカメラでは、被写体が暗いときには高速に合焦動作を行うことができなレ、。

[0011] 本発明の目的は、被写体が暗い場合でも高速な合焦動作を行うことができる撮像装置を提供することである。

課題を解決するための手段

[0012] 本発明の撮像装置は、通常動作期間と合焦動作期間とを有し、複数の画素の画像信号を混合して読み出すことが可能な撮像素子と、前記画像信号を画像データに変換する第 1の信号処理部と、前記画像データを表示データに変換する第 2の信号処理部と、前記表示データに基づく画像を表示する表示部と、前記撮像素子の読出フレームレートを変更する読出フレームレート制御部と、前記撮像素子の画素混合数を変更する画素混合制御部とを備え、前記読出フレームレート制御部は、前記合焦動作期間においては、前記通常動作期間よりも高い読出フレームレートで前記撮像素子から前記画像信号を読み出すように制御し、前記画素混合制御部は、前記合焦動作期間においては、前記通常動作期間よりも大きい画素混合数で前記撮像素子力前記画像信号を読み出すように制御することを特徴とする。

発明の効果

[0013] 本発明によれば、被写体の明るさに応じて合焦動作期間の画素混合数を変更するので、被写体が暗いときには画素混合数を大きくすることで露光時間を長くしたのと同じ効果が得られる。よって、高速な合焦動作を行うことができる。

図面の簡単な説明

[0014] [図 1]図 1は、実施の形態 1であるデジタルカメラのブロック図である。

[図 2]図 2は、合焦動作の処理の一例を示すフローチャートである。

[図 3]図 3は、画像信号を混合して読み出す場合の画素の組み合わせの例を示した模式図である。

[図 4]図 4は、通常動作期間から合焦動作期間への遷移を示すタイミングチャートである。

[図 5]図 5は、合焦動作期間から通常動作期間への遷移を示すタイミングチャートである。

[図 6]図 6は、実施の形態 2における動作を説明するためのタイミングチャートである。符号の説明

[0015] 101 光学系

101a フォーカスレンズ

101b 光軸

102 CCD

103 AFE

104 信号処理 LSI

104a CPU

104b 信号処理部

104c 画素混合制御部

104d 合焦制御部

105 SDRAM 106 メモリカード

107 LCD

108 シャツタ釦

109 ノス

110 CCD駆動 IC

111 モータ駆動 IC

112 露出計

発明を実施するための最良の形態

[0016] 本発明の撮像装置は、上記構成を基本として、以下のような様々な態様をとることができる。

[0017] すなわち、本発明の撮像装置において、前記画素混合制御部は、前記合焦動作期間の直前のフレームの画素混合数を変更する構成とすることができる。このような構成により、被写体が暗いときには画素混合数を大きくすることで露光時間を長くしたのと同じ効果が得られる。

[0018] また、前記画素混合制御部は、前記合焦動作期間に続く所定数のフレームの画素混合数を変更する構成とすることができる。

[0019] また、前記読出フレームレート制御部は、前記合焦動作期間の直前のフレームにおいては、前記通常動作期間の読出フレームレートよりも高ぐ前記合焦動作期間の読出フレームレートよりも低い読出フレームレートで前記撮像素子から前記画像信号を読み出すように制御する構成とすることができる。このような構成とすることにより、被写体の画像を滑らかに連続表示することができる。

[0020] また、前記表示部は、前記撮像素子の読出フレームレートと同じ表示フレームレートで前記表示データに基づく画像を表示する構成とすることができる。このような構成とすることにより、被写体の画像を滑らかに連続表示することができる。

[0021] また、前記表示部は、前記合焦動作期間においても、前記通常動作期間の前記撮像素子の読出フレームレートと同じ表示フレームレートで前記表示データに基づく画像を表示する構成とすることができる。このような構成とすることで、合焦動作期間でも表示フレームレートが変化せず、表示フレームレートが変わることによる違和感の発生を回避すること力 Sできる。

[0022] また、被写体の明るさを検出する輝度検出部をさらに有し、前記画素混合制御部は、前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の画素混合数を変更する構成とすることができる。このような構成とすることで、被写体が暗い場合は画素混合数を多くして画像を明るくすることができる。

[0023] また、前記画素混合制御部は、前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の直前のフレームの画素混合数を変更する構成とすることができる。このような構成とすることで、通常動作期間の画素混合数と合焦動作期間の画素混合数との中間の画素混合数に設定することによって、画像の明るさが急激に変化することがなぐ滑らかに連続表示することができる。

[0024] また、前記画素混合制御部は、前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の画素混合数を連続的に変更する構成とすることができる。このような構成とすることで、合焦動作期間において画像の明るさの変動を少なくすること力 Sでき、滑らかに画像を連続表示することができる。

[0025] また、前記読出フレームレート制御部は、前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の読出フレームレートを変更する構成とすることができる。このような構成とすることで、被写体が暗い場合は読出フレームレートを下げて露光時間を長く確保し、被写体が明るい場合は読出フレームレートを上げて、より合焦動作期間を短縮することができる。

[0026] また、前記読出フレームレート制御部は、前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の直前のフレームの読出フレームレートを変更する構成とすること力できる。このような構成により、被写体が暗い場合は、合焦動作期間の直前のフレームの読出フレームレートを下げる。これによつて、露光時間を長く取ること力 Sできる。一方、被写体が明るい場合は、露光時間が短くてもよいので、合焦動作期間の直前のフレームの読出フレームレートを上げる。これによつて、より合焦動作期間を短縮することができる。

[0027] また、前記読出フレームレート制御部は、前記輝度検出部で検出された被写体の明るさが所定の明るさより暗い場合は、前記合焦動作期間の複数フレーム期間経過後に前記撮像素子から前記画像信号を読み出すように制御する構成とすることができる。このような構成により、読出フレームレートを下げたのと同じ効果が得られる。

[0028] また、前記画素混合制御部は、前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の画素混合数を変更する構成とすることができる。このような構成とすることで、被写体が暗い場合は画素混合数を多くして画像を明るくすることができる。

[0029] また、前記画素混合制御部は、前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の直前のフレームの画素混合数を変更する構成とすること力できる。このような構成とすることで、通常動作期間の画素混合数と合焦動作期間の画素混合数との中間の画素混合数に設定することによって、画像の明るさが急激に変化することがなぐ滑らかに連続表示することができる。

[0030] また、前記画素混合制御部は、前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の画素混合数を連続的に変更する構成とすること力 Sできる。このような構成とすることで、合焦動作期間において画像の明るさの変動を少なくすることができ、滑らかに画像を連続表示することができる。

[0031] また、前記読出フレームレート制御部は、前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の読出フレームレートを変更する構成とすること力できる。このような構成とすることで、被写体が暗い場合は読出フレームレートを下げて露光時間を長く確保し、被写体が明るい場合は読出フレームレートを上げて、より合焦動作期間を短縮することができる。

[0032] また、前記読出フレームレート制御部は、前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の直前のフレームの読出フレームレートを変更する構成とすることができる。このような構成により、被写体が暗い場合は、合焦動作期間の直前のフレームの読出フレームレートを下げる。これによつて、露光時間を長く取ることができる。一方、被写体が明るい場合は、露光時間が短くてもよいので、合焦動作期間の直前のフレームの読出フレームレートを上げる。これによって、より合焦動作期間を短縮することができる。

[0033] また、前記読出フレームレート制御部は、前記撮像素子から出力される画像信号に基づく画像の明るさが所定の明るさより暗い場合は、前記合焦動作期間の複数フレーム期間経過後に前記撮像素子から前記画像信号を読み出すように制御する構成とすること力 Sできる。このような構成により、読出フレームレートを下げたのと同じ効果が得られる。

[0034] (実施の形態 1)

[1.撮像装置の構成〕

図 1は、実施の形態におけるデジタルカメラのブロック図である。

[0035] 光学系 101は、被写体の像を CCD102 (CCD:Charge Coupled Device)上に結像する。光学系 101は、複数のレンズ群（図示せず）で構成されており、フォーカスレンズ 101aを含む。フォーカスレンズ 101aは、レンズ群を保持する鏡筒内を光軸 101b 方向に移動することによって、被写体の像を CCD102上に合焦させる。

[0036] CCD102は、結像した被写体の光学的画像を電気信号 (画像信号）に変換して出力する。 AFE (Analog Front End) 103は、アナログ信号である CCD102から出力される画像信号を、デジタル信号である画像データに変換して、バス 109を経由して S D RAMI 05 (Syncronous Dynamic Random Access Memory)に格内する。 AFE103 は、画像信号のノイズ成分を除去する CDS (Correlated Double Sampling)回路、画像信号の大きさを調整する AGC (Automatic Gain Control)アンプ、アナログ信号をデジタル信号に変換する A/Dコンバータ（いずれも図示せず）などを含む LSIであ

[0037] 信号処理 LSI104は、 CPU (Central Processing Unit) 104a,信号処理部 104b、画素混合制御部 104c、合焦制御部 104dで構成されている。 CPU104aは、信号処理1^1104内の1^0^[ (1¾&(1 Only Memory。図示せず）に記録された命令によって、信号処理 LSI104の全体の制御を行う。信号処理部 104bは、 AFE103によって SD RAM105に格納された画像データを、 LCD (Liquid Crystal Display) 107での表示に適した表示データに変換して、 LCD107に出力する。

[0038] 信号処理 LSI104は、 LCD107に表示データを出力している状態で、シャツタ釦 1 08が半押し操作されることによって、合焦動作期間を開始させる。また、信号処理 LS 1104は、シャツタ釦 108が全押し操作されることによって、撮影を行うように各部を制御する。信号処理部 104bは、 SDRAM105に格納された画像データが、シャツタ釦 108が全押し操作されることによって撮影された画像データである場合は、 SDRAM 105に格納されている画像データを記録データに変換して、メモリカード 106に記録するよう制御する。また、信号処理部 104bは、メモリカード 106に記録された記録データを表示用の画像データ（以下、表示データと称する）に変換して、表示データに基づく画像を LCD107に表示させる。

[0039] 信号処理部 104bは、シャツタ釦 108が半押し操作されることによって合焦動作期間が開始されると、 SDRAM105に格納された画像データの高周波成分の強度を求める。画像データの高周波成分は、フーリエ変換、ディスクリートコサイン変換、ゥエーブレット変換などによって、画像データを空間周波数データに変換することで得られ

[0040] 合焦制御部 104dは、信号処理部 104bから送られる高周波成分の情報に基づいて、モータ駆動 IC111に駆動信号を送って、フォーカスレンズ 101aを望遠側または広角側へ微小距離移動させる。フォーカスレンズ 101aの微小距離移動後、信号処理部 104bは、再度、 SDRAM105に格納された画像データの高周波成分の強度を求める。合焦制御部 104dは、以上の動作を繰り返して、フォーカスレンズ 101aを高周波成分の強度が極大になる合焦位置に移動させる。

[0041] CCD102は、複数の画素の画像信号を混合して読み出すことができる。また、 CC D102は、所定の画素に対して、その周辺画素の混合数 n (nは 1以上の整数）を選択する機能を有する。 CCD102から複数の画像信号を混合して読み出すと、各画素の画像信号は混合した画素数分大きくなるので、露光時間を長くしたのと同じ効果が得られる。

[0042] 画素混合制御部 104cは、 CCD102の画素混合数を変更する機能を有する。画素混合制御部 104cは、 CCD102の読出フレームレートを変更する機能も有する。画素混合制御部 104cは、露出計 112から CPU104aを介して送られる被写体の明るさの情報に基づいて画素混合数を計算し、 CCD駆動 IC110に駆動信号を送って、 C CD102において混合する画素数の変更を指示する。

[0043] 露出計 112は、被写体の明るさを検出して、明るさの情報を CPU104aに報知する〇

[0044] なお、 CCD102は、本発明の撮像素子の一例である。 AFE103は、本発明の第 1 の信号処理部の一例である。信号処理部 104bは、本発明の第 2の信号処理部の一例である。 LCD107は、本発明の表示部の一例である。画素混合制御部 104cは、本発明の読出フレームレート制御部と画素混合制御部の機能を包含する。露出計 1 12は、本発明の輝度検出部の一例である。

[0045] また、本発明の第 1の信号処理部に相当する AFE103と、本発明の第 2の信号処理部に相当する信号処理部 104bを含む信号処理 LSI104は、単一の LSIで構成されていてもよい。画素混合制御部 104cは、信号処理部 104bに含まれていてもよい。 CPU104aは、画素混合制御部 104cの機能を実行可能な構成としてもよい。

[0046] [2.撮像装置の動作〕

[2- 1.合焦動作〕

図 2は、合焦動作の処理の一例を示すフローチャートである。シャツタ釦 108が半押し操作されることによって、合焦動作が開始される（S201で YESの判定)。 CCD102 は、合焦動作期間も定期的に画像信号を出力する。 AFE103は、 CCD102から出力される画像信号を、 SDRAM105に更新格納している。

[0047] 次に、信号処理部 104bは、 AFE103から出力される現在の画像データの高周波成分の強度を求める（S202)。

[0048] 次に、合焦制御部 104dは、信号処理部 104bで求めた高周波成分の強度に基づき、モータ駆動 IC 111を制御して、フォーカスレンズ 10 laを望遠側に微小距離移動させる（S203)。

[0049] 次に、信号処理部 104bは、再度、 AFE103から出力される画像データの高周波成分の強度を求める（S204)。

[0050] 次に、信号処理部 104bは、フォーカスレンズ 101aの移動後の高周波成分の強度、フォーカスレンズ 101aの移動前の高周波成分の強度よりも大きい場合は（S205 で NOの判定）、 S203、 S204の処理を繰り返す。

[0051] 一方、信号処理部 104bは、フォーカスレンズ 101aの移動後の高周波成分の強度、フォーカスレンズ 101aの移動前の高周波成分の強度よりも小さい場合は（S205 で YESの判定）、合焦制御部 104dにレンズ移動命令を出力する。合焦制御部 104 dは、信号処理部 104bからの命令に基づき、モータ駆動 IC111を制御して、フォーカスレンズ 101aを広角側に微小距離移動させる（S206)。

[0052] 次に、信号処理部 104bは、再度、 AFE103から出力される画像データの高周波成分の強度を求める（S207)。

[0053] 次に、信号処理部 104bは、フォーカスレンズ 101aの移動後の高周波成分の強度が移動前の強度よりも大きい場合は（S208で NOの判定）、 S206、 S207の処理を繰り返す。

[0054] 信号処理部 104bは、フォーカスレンズ 101aの移動後の高周波成分の強度力フオーカスレンズ 101aの移動前の高周波成分の強度よりも小さくなると（S208で YES の判定）、一度、フォーカスレンズ 101aを望遠側に微小距離移動させて（S209)、処理を終了する。

[0055] 以上のように制御することで、画像データの高周波成分の強度が極大になるフォーカスレンズ 101aの合焦位置を求める。

[0056] [2- 2.画素混合動作〕

図 3は、画像信号を混合して読み出す場合の画素の組み合わせの例を示した模式図である。この例の場合、画素 30；!〜 306を中心にして上下左右及び斜め方向に 2 画素離れた周辺 8画素の画像信号が混合された後に読み出される。即ち、図 3において、画素 301を中心画素とした場合、画素 301から 2画素離れた画素 301a〜301 hの画像信号が、画素 301の画像信号に混合された後に、画素 301の画像信号として読み出される。画素 302〜306についても同様である。

[0057] 複数の画像信号を混合して読み出すと、各画素の画像信号のレベルは、混合した画素数分大きくなるので、露光時間を長くしたのと同じ効果が得られる。なお、図 3は、周辺 8画素の画像信号を混合した後に読み出す例であるが、画像信号の混合数 n (nは 1以上の整数)を変更することができる。

[0058] [3.撮像装置の動作の遷移〕

[3- 1.通常動作から合焦動作への遷移〕

図 4は、通常動作期間から合焦動作期間への遷移を示すタイミングチャートである。図 4 (a)は垂直同期信号を示す。図 4 (b)における tl〜t7は、読出フレームレート及び画素混合設定を行う期間を示す。また、図 4 (b)には、該当するフレームにおいて設定される読出フレームレートと画素混合数とを示している。図 4 (c)は、 CCD102から出力され、 SDRAM105に格納された画像データに基づく画像を模式的に示す。なお、図 4 (c)に示す画像は、画素混合の程度をドットの密度で示しており、画素混合数が多いほどドットの密度は低くなることを示している。図 4 (c)において、画像 31 は 2画素混合された画像、画像 32は 5画素混合された画像、画像 33は 8画素混合された画像を示す。図 4 (d)は、信号処理部 104bが画像データを表示データに変換する信号処理のタイミングを示す。図 4 (e)は、表示データを模式的に示す。図 4 (e) におレ、て、画像 21は合焦して!/、なレ、状態の画像を示す。

[0059] 図 4に示す遷移は、フレーム 1の途中であるタイミング S 1で、シャツタ釦 108が半押し操作されたものとする。フレーム 1からフレーム 3は通常動作期間、フレーム 4からフレーム 7は合焦動作期間である。通常動作期間では、 CCD102の読出フレームレートは 30fps (frame per second)である力合焦動作期間では、合焦を高速に行うために読出フレームレートを 60fpsに上げている。フレーム 7以降（図示せず)も、合焦動作が完了するまで合焦動作期間が継続する。

[0060] 読出フレームレートの設定は、図 4 (b)に示す期間 tl〜t7 (垂直同期期間）に行われ、次フレームから有効になる。フレーム 1とフレーム 2では、読出フレームレートを 30 fpsに設定している。フレーム 3では、フレーム 4以降の読出フレームレートを 60fpsにするために、読出フレームレートを 60fpsに設定している。フレーム 4以降の読出フレームレートは、引き続き 60fpsに設定されている。

[0061] フレーム 1とフレーム 2では、周辺 2画素の画像信号を混合して読み出している。合焦動作期間の直前のフレームであるフレーム 3では、周辺 5画素の画像信号を混合して読み出している。合焦動作期間であるフレーム 4からフレーム 7では、周辺 8画素の画像信号を混合して読み出している。

[0062] 合焦動作期間では、読出フレームレートが 60fpsに設定されることによって、露光時間を十分に確保することができない。特に、被写体が暗い場合には、 AFE103から出力される画像データの S/N比が劣化するので、合焦動作が不安定になる。そこで、複数の画素の画像信号を混合した後に読み出している。また、合焦動作期間の直前のフレームであるフレーム 3においても、複数の画素の画像信号を混合した後に読み出している。

[0063] 画素混合の設定は、図 4 (b)に示す期間 tl〜t7 (垂直同期期間）に行われ、次フレームから有効になる。フレーム 1では、混合数を 2画素に設定している。フレーム 2では、混合数を 5画素に設定している。また、フレーム 3以降は、混合数を 8画素に設定している。

[0064] また、一般に、 CCD102の画素数は、数百万画素から一千万画素程度であるのに対して、 LCD107の画素数は、数十万画素にとどまる。そのため、被写体の画像を L CD107に表示する場合は、通常動作期間、合焦動作期間に係わらず、 YC分離処理と縮小処理とを行って、表示データを生成する。

[0065] 図 4 (e)に示すように、表示データの生成処理は、 SDRAM105に画像データが格納された次のフレームで行われる。即ち、フレーム 2では、フレーム 1で SDRAM105 に格納された画像データを、表示データに変換する。フレーム 3も同様に変換処理される。

[0066] フレーム 3では、フレーム 2において 2画素混合処理されて読み出された画像データ（画像 31)を、表示データに変換する。フレーム 4では、フレーム 3において 5画素混合処理されて読み出された画像データ（画像 32)を、表示データに変換する。フレーム 5では、フレーム 4において 8画素混合処理されて読み出された画像データ（画像 33)を、表示データに変換する。このように、 2画素混合処理から 8画素混合処理に遷移する途中に、 5画素混合処理のフレームを揷入することで、画素混合数が極端に変化せず、被写体の画像をより滑らかに連続表示することができる。

[0067] [3- 2.合焦動作から通常動作への遷移〕

図 5は、合焦動作期間から通常動作期間への遷移を示すタイミングチャートである。図 5 (a)〜（e)の内容は、それぞれ図 4 (a)〜（e)の内容に対応している。図 5において、画像 22は合焦している状態の画像を示す。

[0068] 図 5において、フレーム 10におけるタイミング S2で合焦が確認されたものとする。画像の合焦が行われると、図 5 (e)に示すように画像 22にマーク 23を表示させるとともに、システム音 24を出力することで、使用者に対して合焦したことを報知する。図 5 (e )に示すマーク 23は、使用者がシャツタ釦 108の半押し操作を解除する力、、全押し操作に移行して撮影を行うまで、表示する。

[0069] フレーム 8力、らフレーム 11は合焦動作期間、フレーム 12からフレーム 14は通常動作期間である。合焦動作期間では、 CCD102の読出フレームレートは 60fpsに設定されているが、通常動作期間では 30fpsに下げる。

[0070] 読出フレームレートの設定は、図 5 (b)に示す期間 t8〜tl4 (垂直同期期間）に行われ、次フレームから有効になる。フレーム 8力もフレーム 10では、読出フレームレートを 60fpsに設定している。フレーム 11では、フレーム 10で合焦が確認できたので、フレーム 12以降の読出フレームレートを 30fpsにするために、読出フレームレートを 30 fpsに設定している。フレーム 12以降の読出フレームレートは、引き続き 30fpsに設定している。

[0071] また、フレーム 8からフレーム 11では、周辺 8画素の画像信号を混合して読み出している。通常動作期間であるフレーム 12からフレーム 14では、周辺 2画素の画像信号を混合して読み出している。

[0072] 合焦動作期間では、読出フレームレートが 60fpsになることによって、露光時間を十分に確保することができない。特に、被写体が暗い場合には、得られる画像データの S/N比が劣化するので、合焦動作が不安定になる。そこで、複数の画素の画像信号を混合した後に読み出している。

[0073] 画素混合の設定は、図 5 (b)に示す期間 t8〜tl4 (垂直同期期間）に行われ、次フレームから有効になる。フレーム 8からフレーム 10では、混合数を 8画素に設定しているが、フレーム 10で合焦が確認できたので、フレーム 11では、フレーム 12以降に 2 画素混合を行うために、混合数を 2画素に設定している。フレーム 12以降の混合数は、引き続き 2画素に設定されている。

[0074] 図 5 (e)に示すように、表示データの生成処理は、画像データが格納された次のフレームで行われる。例えば、フレーム 12では、フレーム 11において 8画素混合で読み出された画像データを表示データに変換する。

[0075] [4.実施の形態の効果〕以上のように本実施の形態では、合焦動作期間において、通常動作期間の画素混合数よりも大きい画素混合数で CCD102の画像信号を読み出すので、読出フレームレートが 60fpsに上がった合焦動作期間でも、露光時間を長くしたのと同じ効果が得られる。

[0076] これによつて、被写体が喑レ、場合でも高速な合焦動作を行うことができるとレ、う優れた効果を奏する。

[0077] [5.その他の構成〕

[5 - 1.画素混合〕

本実施の形態では、合焦動作期間の直前のフレームの画素混合数は、通常動作期間の画素混合数と合焦動作期間の画素混合数の中間値とした。これによつて、通常動作期間から合焦動作期間に遷移する場合に、画素混合数が極端に変化せず、被写体の画像をより滑らかに連続表示することができる。

[0078] 本実施の形態では、合焦動作期間から通常動作期間への遷移において、 8画素混合から 2画素混合に直接遷移するものとしたが、これに限らない。例えば、合焦動作期間の直後のフレームは、 5画素混合となるように制御してもよい。また、合焦動作期間の後の所定数のフレームは、 8画素混合から 2画素混合へ段階的に画素混合数を変更するように制御してもよい。これによつて、合焦動作期間から通常動作期間に遷移する場合に、画素混合数が極端に変化せず、被写体の画像をより滑らかに連続表示すること力 Sでさる。

[0079] [5 - 2.読出フレームレート〕

本実施の形態では、合焦動作期間の直前のフレームの読出フレームレートは通常動作期間の読出フレームレートと同じとした力合焦動作期間の直前のフレームの読出フレームレートを通常動作期間の読出フレームレートよりも高ぐ合焦動作期間の読出フレームレートよりも低くしてもよい。これによつて、通常動作期間から合焦動作期間に遷移する場合に、読出フレームレートが極端に変化せず、被写体の画像をより滑らかに連続表示することができる。

[0080] 〔5— 3·輝度検出〕

[5 - 3 - 1.画素混合〕合焦動作では、画像データのコントラストが極大になるフォーカスレンズ 101aの位置を合焦位置とする。そのため、被写体が明るい方が、合焦動作に有利である。そこで、露出計 112で検出された被写体の明るさの情報を利用して、被写体が暗い場合は画素混合数を多くして露光時間を長くしたのと同じ効果を得る。一方、被写体が明るい場合は、画素混合数を少なくして、より精細な画像を表示するようにしてもよい。

[0081] 被写体が暗い場合は、合焦動作期間の直前のフレームの画素混合数を上げる。これによって、露光時間を長く取ったのと同じ効果が得られる。一方、被写体が明るい場合は、露光量が十分あるので、合焦動作期間の直前のフレームの画素混合数を下げる。これによつて、より精細な画像を表示することができる。

[0082] 被写体が暗い場合は、合焦動作期間の画素混合数を上げる。これによつて、露光時間を長く取ったのと同じ効果が得られる。一方、被写体が明るい場合は、露光量が十分あるので、合焦動作期間の画素混合数を下げる。これによつて、より精細な画像を表示すること力 Sできる。また、合焦動作期間中に被写体の明るさが変化した場合は、合焦動作期間の画素混合数を連続的に変更するようにしてもよい。

[0083] [5 - 3 - 2.読出フレームレート〕

前記のように、被写体が明るい方が、合焦動作に有利であるので、露出計 112で検出された被写体の明るさの情報を利用して、被写体が暗い場合は読出フレームレートを下げて露光時間を長く取り、被写体が明るい場合は読出フレームレートを上げて、より合焦動作期間を短縮する方法を組み合わせてもよい。

[0084] 被写体が喑ぃ場合は、合焦動作期間の直前のフレームの読出フレームレートを下げる。これによつて、露光時間を長く取ることができる。一方、被写体が明るい場合は、露光量が十分あるので、合焦動作期間の直前の読出フレームレートを上げる。これによって、より合焦動作期間を短縮することができる。

[0085] 被写体が暗い場合は、合焦動作期間の読出フレームレートを下げる。これによつて、露光時間を長く取ることができる。一方、被写体が明るい場合は、露光量が十分あるので、合焦動作期間の読出フレームレートを上げる。これによつて、より合焦動作期間を短縮すること力できる。

[0086] 被写体の明るさが所定の明るさより暗い場合は、合焦動作期間の複数フレーム期間経過後に、 CCD102の画像信号を読み出すようにしてもよい。これによつて、読出フレームレートを下げたのと同じ効果が得られる。

[0087] [5-4.表示フレームレート〕

LCD107の表示フレームレートは、 CCD102の読出フレームレートと同じフレームレートに設定する構成でもよい。この場合は、合焦動作期間において、被写体の画像をより滑らかに連続表示することができる。

[0088] また、 LCD107の表示フレームレートは、 CCD102の読出フレームレートが変わつても、通常動作期間と合焦動作期間を通して同じ表示フレームレートに設定する構成でもよい。この場合は、合焦動作期間でも表示フレームレートが変化せず、表示フレームレートが変わることによる違和感の発生を回避することができる。

[0089] (実施の形態 2)

図 6は、実施の形態 2における撮像装置の動作を説明するためのタイミングチャートである。なお、図 6に示す動作は、シャツタ釦 108が半押し操作されてから合焦動作期間に入るまでの時間カ、図 4に示す動作に比べて 1フレーム分短いことが特徴である。したがって、図 4に示す動作に比べて、シャツタ釦 108が半押し操作されてから早いタイミングで合焦動作に移行させることができる。また、図 6に示す動作は、図 1に示す撮像装置において動作する。また、本実施の形態では、画素混合制御部 104c において設定される画素混合数は、通常動作期間で 2画素、合焦動作期間で 8画素とした力これらの画素混合数は一例である。

[0090] 図 6 (a)は、 CCD102の垂直同期信号である。また、図 6 (a)において、パルス 61は垂直同期パルスで、パルス 62はサブパルスである。サブパルス 62は、 CCD102における電荷を掃き出すパルスであり、各フレームにおける最後のサブパルスと次のフレームの最初のサブパルスとの間における所定の露光時間に基づいて CCD102が露光される。露光に用いられるサブノルス間の時間力各フレームにおける露光時間となるため、サブノルスの数や発生期間によって露光時間を調整することができる。また、フレーム 1〜4の露光時間を elとし、フレーム 5の露光時間を e2とし、フレーム 6以降の露光時間を e3とした。図 6 (b)は、 CCD駆動 IC110によって駆動された CC D102から読み出された画像信号を示し、 Al , B1 ,…は 1フレーム分の画像信号を示す（図中の TGは Timing Generatorの略）。また、図 6 (b)には、各フレームにおける読出フレームレートと画素混合数を併せて記載した。図 6 (c)は、信号処理部 104bにおいて YC処理される画像データを示し、 A2, B2,…は 1フレーム分の画像データを示す。図 6 (d)は、 LCD107に画像を表示している期間を示し、各画像表示期間に表記している符号 A3, B3,…は各画像表示期間において表示される 1フレーム分の表示データを示す。また、 S3は、シャツタ釦 108を半押し操作したタイミングを示す。以下、動作について説明する。

[0091] まず、フレーム 1〜3に示す通常動作期間では、 CCD102は、 CCD駆動 IC110による駆動制御により、 2画素混合処理を行うとともに、図 6 (b)に示すように 30fpsの読出フレームレートに基づいて画像信号を読み出す。この時、 CCD102は、露光時間 elに基づいて露光する。

[0092] なお、読出フレームレートの設定は、図 6 (a)に示す垂直同期期間に行われ、設定内容は設定したフレームの次フレームから有効になる。例えば、フレーム 1の垂直同期期間において設定された読出フレームレートは、フレーム 2において CCD102から読み出される画像信号 B1に対して有効である。 CCD 102から読み出された画像信号は、 AFE103で信号処理及びデジタル変換され、信号処理部 104bに入力される、信号処理部 104bは、 AFE103から出力される画像データに対して YC処理を行う

〇

[0093] 図 6 (c)に示すように、画像データの YC処理のタイミングは、図 6 (b)のタイミングからさらに 1フレーム遅れるので、例えばフレーム 2において CCD102から読み出された画像信号 B1の YC処理は、画像データ B2に示すようにフレーム 3で実行される。

[0094] 次に、信号処理部 104bは、 YC処理した画像データを LCD107に表示可能な表示データに変換する。画像データを表示データに変換処理するタイミングは、図 6 (c )に示すタイミングからさらに 1フレーム遅れるので、例えばフレーム 3において YC処理された画像データ B2の変換処理は、フレーム 4において実行され、表示データ B3 が生成される。 LCD107は、図 6 (d)に示す期間において表示データに基づく画像を表示する。

[0095] 次に、タイミング S3 (フレーム 4)においてシャツタ釦 108が半押し操作された場合、 CPU104aは、現在の露光時間と画素混合数とに基づき、確保可能な明るさを計算により求め、読出フレームレートを 60fpsに変更しても所望の明るさを確保可能であれば、 CCD駆動 IC110に対して CCD102を 60fpsで駆動するよう制御する命令を送る（高速合焦モード)。もし、読出フレームレートを 60fpsに変更した場合に所望の明るさを確保できないようであれば、 CCD102の読出フレームレートは 30fpsのままとする（通常合焦モード)。

[0096] CCD102の読出フレームレートを 60fpsに変更する場合、まず、タイミング S3のフレームの次のフレームであるフレーム 5の垂直同期期間において、画素混合制御部 1 04cは CCD駆動 IC110に対して、 5画素混合処理を行う命令を出力する。ただし、フレーム 5において CCD102から読み出される画像信号 E1は、フレーム 4の垂直同期期間において設定された駆動モードに基づいて CCD102から読み出されるため、 2 画素混合処理が行われて!/、る。

[0097] CCD駆動 IC110は、フレーム 5の垂直同期期間に画素混合制御部 104cから送られる 5画素混合処理の命令に基づき、フレーム 6において CCD102が 5画素混合処理を行うよう制御する。したがって、図 6 (b)に示すようにフレーム 6では、 5画素混合処理された画像信号 F1が得られる。この時、フレーム 5において、 CCD102の読出フレームレートは 30fpsのままである力サブパルス 62の数をフレーム 1〜4におけるサブパルス 62よりも増やして、フレーム 5における露光時間 e2をフレーム 1〜4における露光時間 elよりも短くしている。これは、画素混合数を 2画素から 5画素に増やすことによって画像が明るくなり過ぎるのを抑えるためである。こうすることにより、 LCD10 7に表示される画像が、表示データ E3に基づく画像から表示データ F3に基づく画像に切り替わる際に、画像の明るさに大きな変動が生じず、滑らかに画像を連続表示すること力 Sできる。なお、サブノルス 62の数を増減させることで、露光時間 e2の長さを調整することができるので、フレーム 5において露光されて得られた画像の明るさを、任意の明るさに調整することができる。

[0098] また、フレーム 6において、画素混合制御部 104cは、 CCD駆動 IC110に対して、 CCD102の読出フレームレートを 30fpsから 60fpsに変更する。また、フレーム 6の垂直同期期間において、画素混合制御部 104cは、 CCD駆動 IC110に対して、画素混合数を 5画素から 8画素に変更する命令を出力する。

[0099] 次に、フレーム 7では、 CCD駆動 IC110は、フレーム 6の垂直同期期間に画素混合制御部 104cから送られる 8画素混合処理の命令に基づき、 CCD102を 8画素混合処理するよう制御するとともに、露光時間 e3で露光して得られた画像信号を出力する。ここで、フレーム 7では、 CCD102の読出フレームレートを 60fpsに変更して高速合焦動作を行っているため、フレーム 7における露光時間 e3は、 60fpsの読出フレームレートに基づくため露光時間 e2よりも短くなる。露光時間が短くなることにより不足する被写体の光量は、画素混合数を 5画素から 8画素へ上げることで補って!/、る。こうすることにより、 LCD107に表示される画像力表示データ F3に基づく画像から表示データ G3に基づく画像に切り替わる際に、画像の明るさに大きな変動が生じず、滑らかに連続画像を表示することができる。

[0100] フレーム 8以降、合焦動作期間が完了するまで、画素混合制御部 104cは、フレーム 7と同様に 8画素混合処理するとともに、 CCD102の読出フレームレートを 60fpsに E¾疋 ^る。

[0101] 以上のように本実施の形態によれば、合焦動作期間において、通常動作期間の画素混合数よりも大きい画素混合数で CCD102の画像信号を読み出すので、読出フレームレートが 60fpsに上がった合焦動作期間でも、露光時間を長くしたのと同じ効果が得られる。これによつて、被写体が暗い場合でも高速な合焦動作を行うことができるとレ、う優れた効果を奏する。

[0102] また、画素混合数を 2画素、 5画素、 8画素と段階的に切り換え、通常動作期間から合焦動作期間に切り替わる際に、画素混合数が極端に変化せず、被写体の画像をより滑らかに連続表示することができる。

[0103] また、 5画素混合時の露光時間 e2を、 2画素混合時の露光時間 elよりも短くし、 8画素混合時の露光時間 e3よりも長くすることで、通常動作期間から合焦動作期間に切り替わる際に、 LCD107に表示される画像の明るさが大きく変動せず、滑らかに連続画像を表示することができる。

[0104] なお、画素混合制御部 104cで設定される画素混合数は一例である。

[0105] また、実施の形態 1及び 2において、シャツタ釦 108が半押し操作されると、読出フレームレートを上げ、画素混合数を多くする、いわゆる高速合焦モードに移行し、その後はシャツタ釦 108の半押し操作が解除される力、、シャツタ釦 108が全押し操作されるまで、継続して高速合焦モードで動作する構成としたが、高速合焦モード中に通常合焦モード（読出フレームレート： 30fps、画素混合数： 2画素に設定されたモード）に移行させる構成とすること力 Sできる。高速合焦モードから通常合焦モードへの移行は、例えば高速合焦モード中に CCD102の露光時間を監視し、被写体が暗くなり露光時間が所定値よりも長くなれば、通常合焦モードへ移行させるようにしてもよい。

[0106] また、実施の形態 1及び 2において、露出計 112は輝度検出部の一例である力露出計 112は必ずしも設ける必要はなぐ例えば CCD102から出力される画像信号に基づく画像の輝度に基づき、被写体の明るさを計測することもできる。

産業上の利用可能性

[0107] 本発明によれば、被写体が喑レ、場合でも高速な合焦動作を行うことができるので、表示手段を視認しながら合焦動作を行うデジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話端末などの撮像機器に適用して有用である。

Claims

請求の範囲

[1] 通常動作期間と合焦動作期間とを有し、

複数の画素の画像信号を混合して読み出すことが可能な撮像素子と、前記画像信号を画像データに変換する第 1の信号処理部と、

前記画像データを表示データに変換する第 2の信号処理部と、

前記表示データに基づく画像を表示する表示部と、

前記撮像素子の読出フレームレートを変更する読出フレームレート制御部と、前記撮像素子の画素混合数を変更する画素混合制御部とを備え、

前記読出フレームレート制御部は、

前記合焦動作期間においては、前記通常動作期間よりも高い読出フレームレートで前記撮像素子から前記画像信号を読み出すように制御し、

前記画素混合制御部は、

前記合焦動作期間においては、前記通常動作期間よりも大きい画素混合数で前記撮像素子から前記画像信号を読み出すように制御する、撮像装置。

[2] 前記画素混合制御部は、

前記合焦動作期間の直前のフレームの画素混合数を変更する、請求項 1に記載の撮像装置。

[3] 前記画素混合制御部は、

前記合焦動作期間に続く所定数のフレームの画素混合数を変更する、請求項 1 または 2に記載の撮像装置。

[4] 前記読出フレームレート制御部は、

前記合焦動作期間の直前のフレームにおいては、前記通常動作期間の読出フレームレートよりも高ぐ前記合焦動作期間の読出フレームレートよりも低い読出フレームレートで前記撮像素子から前記画像信号を読み出すように制御する、請求項 1から 3の!/、ずれかに記載の撮像装置。

[5] 前記表示部は、

前記撮像素子の読出フレームレートと同じ表示フレームレートで前記表示データに基づく画像を表示する、請求項 1から 4の!/、ずれかに記載の撮像装置。

[6] 前記表示部は、

前記合焦動作期間においても、前記通常動作期間の前記撮像素子の読出フレームレートと同じ表示フレームレートで前記表示データに基づく画像を表示する、請求項 1から 5の!/、ずれかに記載の撮像装置。

[7] 被写体の明るさを検出する輝度検出部をさらに有し、

前記画素混合制御部は、

前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の画素混合数を変更する、請求項 1から 6のいずれかに記載の撮像装置。

[8] 前記画素混合制御部は、

前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の直前のフレームの画素混合数を変更する、請求項 7に記載の撮像装置。

[9] 前記画素混合制御部は、

前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の画素混合数を連続的に変更する、請求項 7または 8に記載の撮像装置。

[10] 前記読出フレームレート制御部は、

前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の読出フレームレートを変更する、請求項 7から 9のいずれかに記載の撮像装置。

[11] 前記読出フレームレート制御部は、

前記輝度検出部で検出された被写体の明るさに応じて、前記合焦動作期間の直前のフレームの読出フレームレートを変更する、請求項 7から 10のいずれかに記載の撮像装置。

[12] 前記読出フレームレート制御部は、

前記輝度検出部で検出された被写体の明るさが所定の明るさより暗い場合は、前記合焦動作期間の複数フレーム期間経過後に前記撮像素子から前記画像信号を読み出すように制御する、請求項 7から 11のいずれかに記載の撮像装置。

[13] 前記画素混合制御部は、

前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の画素混合数を変更する、請求項 1から 6のいずれかに記載の撮像装置。

[14] 前記画素混合制御部は、

前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の直前のフレームの画素混合数を変更する、請求項 13に記載の撮像装置

[15] 前記画素混合制御部は、

前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の画素混合数を連続的に変更する、請求項 13または 14に記載の撮像装置。

[16] 前記読出フレームレート制御部は、

前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の読出フレームレートを変更する、請求項 13から 15のいずれかに記載の撮像装置。

[17] 前記読出フレームレート制御部は、

前記撮像素子から出力される画像信号に基づく画像の明るさに応じて、前記合焦動作期間の直前のフレームの読出フレームレートを変更する、請求項 13から 16のいずれかに記載の撮像装置。

[18] 前記読出フレームレート制御部は、

前記撮像素子から出力される画像信号に基づく画像の明るさが所定の明るさより暗い場合は、前記合焦動作期間の複数フレーム期間経過後に前記撮像素子から前記画像信号を読み出すように制御する、請求項 13から 17のいずれかに記載の撮像装置。