JP5834410B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。

従来よりデジタルスチルカメラ等の電子撮像装置は、被写体に対して自動的に焦点を合わせるオートフォーカス（以下「ＡＦ」という）装置を搭載しているのが一般的である。ＡＦ装置におけるＡＦ制御方法として、山登りＡＦ制御が広く用いられている（例えば、特許文献１参照）。この山登りＡＦ制御は、撮像素子が出力する映像信号から近接画素の輝度差の積分値を求め、この輝度差の積分値を、合焦度合いを示すＡＦ評価値とする。合焦状態にあるときは被写体の輪郭部分がはっきりしており、近接画素間の輝度差が大きくなるのでＡＦ評価値が大きくなる。非合焦状態のときは、被写体の輪郭部分がぼやけ画素間の輝度差が小さくなるので、ＡＦ評価値が小さくなる。ＡＦ動作実行時は、レンズを移動させながらこのＡＦ評価値を順次取得していき、ＡＦ評価値が最も大きくなった位置すなわちピーク位置を合焦点として、レンズを停止させる。

近年では、花の接写など合焦距離が画面内に多数あるシーンで有効な機能として、被写体情報から、カメラが自動的に複数点の合焦距離を決定し、それぞれの距離にピントを移動しながら、高速連続撮影を行い、その結果をマルチピクチャフォーマットのファイルとして保存することで、ユーザは撮影後に、好みの領域に合焦した画像を選択することを可能とした技術がある。

また、特許文献２では、フォーカスエリア内の輝度の分布の平均値（重心）を求め、フレーム間におけるその平均値を比較して被写体の移動を検出し、この移動に追従してフォーカスエリアを移動させ、新たなフォーカスエリア内で合焦位置を検出する技術（自動追尾機能）が提案されている。

また、特許文献３では、撮影者が画面上で指定した線に基づいてオートフォーカス領域を決定することで、焦点を合わせたい被写体を正確に指定することを可能とした撮像装置が提案されている。

しかしながら、特許文献１等の従来のＡＦ技術では、高速連続撮影の前にＡＦ測距スキャン動作を行っており、このＡＦ測距スキャン動作はフォーカスレンズが移動可能な範囲全てにフォーカスレンズを移動しながらＡＦ評価値を取得しピーク位置を順次選択するために、処理時間がかかるという問題が既に知られている。

また、焦点を合わせたい被写体を特定することができる特許文献２や特許文献３に開示の技術でも、オートフォーカス時の処理時間が問題となり、シャッターチャンスを逃してしまうという問題が残る。

本発明は、上記に鑑みてなされたものであって、測距を高速化でき、また、ユーザが撮影したい瞬間に連続的に所望の画像を撮影することが可能な撮像装置および撮像方法を提供する。

上述した課題を解決し、目的を達成するために、本発明の撮像装置は、レンズを介して被写体像を電気信号に変換する撮像手段と、前記撮像手段により撮像した画像を表示する画像表示手段と、前記画像表示手段の表示面に設置され、前記画像表示手段に表示された画像に対しタッチ操作により複数の位置指定を受け付ける位置指定受付手段と、複数の２次元撮像素子を用いて被写体までの距離を測距する測距手段と、前記位置指定受付手段を介して位置指定された複数の範囲を複数の測距エリアとして選択し、選択した複数のエリアのうち前記測距手段から出力される測距結果から算出される距離の差が予め定められた値以下の２以上の測距エリアを合成して１つの測距エリアとして設定する測距エリア設定手段と、前記測距エリア設定手段で設定された測距エリアの距離に基づき複数の合焦位置を決定する合焦位置決定手段と、前記合焦位置決定手段により決定された前記複数の合焦位置における複数の画像の撮影を連続して行う連続撮影制御手段と、を備えることを特徴とする。

また、本発明は、レンズを介して被写体像を電気信号に変換する撮像手段と、前記撮像手段により撮像した画像を表示する画像表示手段と、前記画像表示手段の表示面に設置され、前記画像表示手段に表示された画像に対しタッチ操作により複数の位置指定を受け付ける位置指定受付手段と、複数の２次元撮像素子を用いて被写体までの距離を測距する測距手段と、を備える撮像装置に対し、該撮像装置を制御する制御手段が、測距エリア設定手段として、前記位置指定受付手段を介して位置指定された複数の範囲を複数の測距エリアとして選択し、選択した複数のエリアのうち前記測距手段から出力される測距結果から算出される距離の差が予め定められた値以下の２以上の測距エリアを合成して１つの測距エリアとして設定し、合焦位置決定手段として、前記測距エリア設定手段で設定された測距エリアの距離に基づき複数の合焦位置を決定し、連続撮影制御手段として、前記合焦位置決定手段により決定された前記複数の合焦位置における複数の画像の撮影を連続して行うことを特徴とする。

本発明によれば、測距を高速化でき、また、ユーザが撮影したい瞬間に連続的に所望の画像を撮影することができるようになるという効果を奏する。

図１は、本発明に係る一実施形態のデジタルスチルカメラの外観の一例を示す上面図である。 図２は、同デジタルスチルカメラの外観の一例を示す正面図である。 図３は、同デジタルスチルカメラの外観の一例を示す背面図である。 図４は、同デジタルスチルカメラ内部のシステム構成例を示すブロック図である。 図５は、同デジタルスチルカメラに備わる測距ユニット内の構成図である。 図６は、撮像素子の基板の内部ブロック図である。 図７は、撮像素子の画像信号の取り込みタイミングを示すタイミングチャートである。 図８は、測距および測光の基本原理（ラインセンサでの測距方法）に関して説明するための図である。 図９は、撮像素子上に配置された２次元のエリア構成の一例を示す図である。 図１０は、同デジタルスチルカメラの測距ユニットにおける測距処理を説明する図である。 図１１は、測距ユニットの撮像素子であるＣＣＤ内で分割されたエリアの一例を示す図である。 図１２は、ファインダモードから高速連続撮影までの処理フローを示すフローチャートである。 図１３は、第１の実施例におけるエリア選択処理を説明するためのフローチャートである。 図１４は、第２の実施例におけるエリア選択処理を説明するためのフローチャートである。 図１５は、測距処理を説明するためのフローチャートである。 図１６は、図１５の測距処理における測光処理を説明するためのフローチャートである。 図１７は、図１５の測距処理における測距処理を説明するためのフローチャートである。 図１８Ａは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１８Ｂは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１８Ｃは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１８Ｄは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１８Ｅは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１８Ｆは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１８Ｇは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１８Ｈは、第１の実施例における測距処理からエリア設定処理までを説明するための図である。 図１９Ａは、第２の実施例における測距処理からエリア設定処理までを説明するための図である。 図１９Ｂは、第２の実施例における測距処理からエリア設定処理までを説明するための図である。 図１９Ｃは、第２の実施例における測距処理からエリア設定処理までを説明するための図である。 図１９Ｄは、第２の実施例における測距処理からエリア設定処理までを説明するための図である。 図１９Ｅは、第２の実施例における測距処理からエリア設定処理までを説明するための図である。 図１９Ｆは、第２の実施例における測距処理からエリア設定処理までを説明するための図である。 図１９Ｇは、第２の実施例における測距処理からエリア設定処理までを説明するための図である。 図２０は、タッチパネルに対するタッチの種類を示す図である。

以下に添付図面を参照して、この発明にかかる撮像装置および撮像方法の実施の形態を詳細に説明する。

［実施形態の概要］
本実施形態の撮像装置および撮像方法は、画像モニタの表示面にタッチパネルを備えた撮像装置におけるマルチターゲットＡＦ（本明細書では、オートフォーカスを「ＡＦ」と記す）において、測距手段として２次元撮像素子を利用する点、および、最初のタッチ操作により第１の合焦したい被写体を決定し、続けてドラッグ操作によりドラッグ操作の軌跡上に第１の合焦したい被写体以外の被写体を含めるように他の合焦したい被写体を決定し、最後にデタッチ操作により最後の１つの合焦したい被写体を決定するように操作することで、複数点の被写体位置選択を１回のジェスチャー操作でできるようにした点が特徴になっている。

［デジタルスチルカメラの構成］
まず、この発明にかかる撮像装置の一実施形態であるデジタルスチルカメラの構成を、図１から図５に基づいて説明する。

（デジタルスチルカメラの外観）
図１から図３はそれぞれ、本実施形態のデジタルスチルカメラの外観の一例を示す上面図、正面図および背面図である。図１に示すように、デジタルスチルカメラの上面には、レリーズスイッチＳＷ１、モードダイアルＳＷ２、タッチパネル式サブ液晶ディスプレイ（以下、液晶ディスプレイを「ＬＣＤ」という）１が配置されている。また、図２に示すように、デジタルスチルカメラの正面には、撮影レンズを含む鏡胴ユニット７、光学ファインダ４、ストロボ発光部３、測距ユニット５、リモコン受光部６、メモリカード装填室および電池装填室の蓋２が配置されている。また、デジタルスチルカメラの背面には、図３に示すように、電源スイッチ１３、タッチパネルを備えるＬＣＤモニタ１０、ＡＦ用ＬＥＤ８、ストロボＬＥＤ９、光学ファインダ４、広角方向ズームスイッチＳＷ３、望遠方向ズームスイッチＳＷ４、セルフタイマの設定および解除スイッチＳＷ５、メニュースイッチＳＷ６、上移動およびストロボセットスイッチＳＷ７、右移動スイッチＳＷ８、ディスプレイスイッチＳＷ９、下移動およびマクロスイッチＳＷ１０、左移動および画像確認スイッチＳＷ１１、ＯＫスイッチＳＷ１２、撮影設定へのクイックアクセススイッチＳＷ１３が配置されている。なお、上記において各部位の機能は、公知のデジタルスチルカメラのものと同様である。

（デジタルスチルカメラのシステム構成例）
図４は、このデジタルスチルカメラ内部のシステム構成例を示すブロック図である。図４に示すように、デジタルスチルカメラの各部はデジタルスチルカメラプロセッサ１０４（以下、単に「プロセッサ１０４」という）によって制御されるように構成されている。プロセッサ１０４は、ＣＣＤ１信号処理ブロック１０４−１、ＣＣＤ２信号処理ブロック１０４−２、ＣＰＵブロック１０４−３、ローカルＳＲＡＭ（Ｌｏｃａｌ ＳＲＡＭ）１０４−４、ＵＳＢブロック１０４−５、シリアルブロック１０４−６、ＪＰＥＧ・ＣＯＤＥＣブロック１０４−７、ＲＥＳＩＺＥブロック１０４−８、ＴＶ信号表示ブロック１０４−９、メモリカードコントローラブロック１０４−１０を備え、これらは相互にバスラインで接続されている。

ＣＣＤ１信号処理ブロック１０４−１は、ＴＧ（タイミングジェネレータ）１０２−４に、垂直同期信号ＶＤ、水平同期信号ＨＤを供給する。ＣＣＤ２信号処理ブロック１０４−２は、フィルタリング処理により輝度データ・色差データへの変換を行う。

プロセッサ１０４のＣＰＵブロック１０４−３は、音声記録回路１１５−１による音声記録動作を制御するようになっている。音声記録回路１１５−１は、マイクロホン１１５−３で変換された音声信号のマイクロホンアンプ１１５−２による増幅信号を、ＣＰＵブロック１０４−３からの指令に応じて記録する。

また、ＣＰＵブロック１０４−３は、音声再生回路１１６−１の動作も制御する。音声再生回路１１６−１は、ＣＰＵブロック１０４−３からの指令により、適宜のメモリに記録されている音声信号を再生してオーディオアンプ１１６−２に入力し、スピーカー１１６−３から音声を出力するように構成されている。

ＣＰＵブロック１０４−３はまた、ストロボ回路１１４の動作を制御することによってストロボ発光部３から照明光を発光させるようになっており測距ユニット５の動作も制御する。

また、ＣＰＵブロック１０４−３は、プロセッサ１０４の外部に配置されたサブＣＰＵ１０９と接続されており、このサブＣＰＵ１０９は、ＬＣＤドライバ１１１を介してサブＬＣＤ１による表示を制御する。サブＣＰＵ１０９はさらに、ＡＦ用ＬＥＤ８、ストロボＬＥＤ９、リモコン受光部６、スイッチＳＷ１〜ＳＷ１３からなる操作キーユニット、ブザー１１３と接続されており、これらの制御も行う。

ローカルＳＲＡＭ１０４−４は、制御に必要なデータ等を一時的に保存する。ＵＳＢブロック１０４−５は、ＵＳＢコネクタ１２２に接続されており、パソコンなどの外部機器とＵＳＢ通信を行う。シリアルブロック１０４−６は、シリアルドライバ回路１２３−１を介してＲＳ−２３２Ｃコネクタ１２３−２に接続されており、パソコンなどの外部機器とシリアル通信を行う。ＪＰＥＧ ＣＯＤＥＣブロック１０４−７は、ＪＰＥＧ圧縮・伸張を行う。ＲＥＳＩＺＥブロック１０４−８は、画像データのサイズを補間処理により拡大／縮小する。ＴＶ信号表示ブロック１０４−９は、ＬＣＤドライバ１１７を介してＬＣＤモニタ１０に接続され、また、ビデオアンプ１１８を介してビデオジャック１１９にも接続されており、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換する。メモリカードコントローラブロック１０４−１０は、メモリカードスロット１２１の、カードとの接点に接続されており、撮影された画像データを記録するメモリカードの制御を行う。

プロセッサ１０４の外部には、画像データに各種処理を施す際に、その画像データを一時的に保存するＳＤＲＡＭ１０３が配置され、プロセッサ１０４とバスラインによって接続されている。ＳＤＲＡＭ１０３に保存される画像データは、例えば、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して取り込まれ、ＣＣＤ１信号処理ブロック１０４−１でホワイトバランス設定およびガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」や、ＣＣＤ２信号処理ブロック１０４−２で輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」や、ＪＰＥＧ ＣＯＤＥＣブロック１０４−７でＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」等である。

プロセッサ１０４の外部にはまた、ＲＡＭ１０７、内蔵メモリ１２０、およびＲＯＭ１０８が配置され、これらも、プロセッサ１０４とバスラインによって接続されている。ＲＯＭ１０８には、ＣＰＵブロック１０４−３にて解読可能なプログラムコードで記述された、制御プログラムや制御するためのパラメータ等が格納されている。電源スイッチ１３の操作によって、このデジタルスチルカメラの電源がオン状態になると、制御プログラムがＲＯＭ１０８からメインメモリとしても利用されるＬｏｃａｌ ＳＲＡＭ１０４−４またはＲＡＭ１０７にロードされ、ＣＰＵブロック１０４−３は、その制御プログラムに従って装置各部の動作を制御することとなる。内蔵メモリ１２０は、撮影した画像データを記憶するためのメモリであり、メモリカードスロット１２１にメモリカードが装着されていない場合であっても、撮影した画像データを記憶することができるようにするために設けられている。

上記制御プログラムは、測距ユニット５からの出力（測距結果）を処理し、測距エリアを設定する測距エリア設定機能をもつ「測距処理部」、タッチパネルからの入力情報からユーザが触れた位置を確定し受け付ける「位置指定受付処理部」、ＳＤＲＡＭ１０３に格納された画像データから被写体の顔領域を検出する「顔領域検出処理部」、ＬＣＤにタッチパネルで指定された領域の表示や画像データを表示する処理を行う「画像表示処理部」、静止画撮影を高速に連続して行う、いわゆる高速連続撮影機能をもつ「連続撮影処理部」、および、後述の距離リストの距離データから、各フォーカスレンズ７−２ａの合焦位置へ変換する合焦位置決定機能をもつ「レンズ位置決定処理部」を含む各種処理プログラムを有する。

鏡胴ユニット７は、ズームレンズ７−１ａを有するズーム光学系７−１、フォーカスレンズ７−２ａを有するフォーカス光学系７−２、絞り７−３ａを有する絞りユニット７−３、メカニズムシャッタ７−４ａを有するメカシャッタユニット７−４、を備える。ズーム光学系７−１、フォーカス光学系７−２、絞りユニット７−３、メカシャッタユニット７−４は、それぞれズームモータ７−１ｂ、フォーカスモータ７−２ｂ、絞りモータ７−３ｂ、メカシャッタモータ７−４ｂによって駆動されるようになっており、各モータは、プロセッサ１０４のＣＰＵブロック１０４−３によって制御されるモータドライバ７−５によってそれらの動作が制御されるように構成されている。

鏡胴ユニット７は、撮像素子であるＣＣＤ１０１に被写体像を結ぶ撮影レンズを有し、ＣＣＤ１０１は上記被写体像を画像信号に変換してＦ／Ｅ−ＩＣ１０２に入力する。Ｆ／Ｅ−ＩＣ（フロントエンドＩＣ）１０２は周知のとおり、画像ノイズ除去用のため相関二重サンプリングを行うＣＤＳ１０２−１、利得調整を行うＡＧＣ１０２−２、Ａ／Ｄ変換を行うＡ／Ｄ１０２−３を有し、上記画像信号にそれぞれ所定の処理を施し、デジタル信号に変換してプロセッサ１０４のＣＣＤ１信号処理ブロック１０４−１に入力する。これらの信号処理動作は、プロセッサ１０４のＣＣＤ１信号処理ブロック１０４−１から出力されるＶＤ・ＨＤ信号により、ＴＧ１０２−４を介して制御される。

また、測距ユニット５は、単独でＣＰＵを有する。そのため、測距ユニット５は、デジタルスチルカメラ内における他の処理とは非同期に動作させることが可能である。その測距ユニット５内の構成図を図５に示す。

（測距ユニットの構成）
図５に示すように、レンズアレイ１１にはレンズ１２ａ、１２ｂが一体化されて形成されている。レンズ１２ａ、１２ｂは測距用のレンズであり、同じ形状で焦点距離は等しく、それぞれの光軸１４ａ、１４ｂは平行である。光軸１４ａと光軸１４ｂの間隔が基線長Ｄである。

ここで図５のように光軸１４ａ、１４ｂの方向をＺ軸とし、Ｚ軸に垂直であり、かつ光軸１４ｂから光軸１４ａへ向かう方向をＹ軸とし、Ｚ軸とＹ軸の両方に直交する方向をＸ軸とする。レンズ１２ａ、１２ｂはＸＹ平面上にありＹ軸上に両レンズの中心を配置した。この場合、視差Δが発生する方向はＹ軸方向となる。

撮像素子１５はＣＭＯＳ、ＣＣＤ等の撮像素子であり、ウェハ上に半導体プロセスにより多数の受光素子（画素）を形成したものである。本実施形態ではＣＣＤを用いて説明する。撮像素子１５上には、測距用レンズ１２ａを経て被写体像が結像される撮像領域１６ａと、測距用レンズ１２ｂを経て被写体像が結像される撮像領域１６ｂが離間して配置されている。

撮像領域１６ａと撮像領域１６ｂはそれぞれ同じ大きさの矩形領域であり、これらの各撮像領域の対角中心と、各レンズの光軸はほぼ一致するように配置されている。本実施形態の測距ユニット５は、撮像領域１６ａと撮像領域１６ｂを離間して設けている。これらの撮像領域が離間されていない場合は、隣接する撮像領域に光線が入射することを避けるために撮像領域を区切る壁などを設ける必要があるが、本実施形態の測距ユニット５にはこのような構造は不要である。

撮像素子１５の下には図示しないデジタル信号プロセッサ（ＤＳＰ）を含む基板１８が配置されている。基板１８の内部ブロック図は、図６のとおりである。図６に示す構成において撮像素子１５は、プロセッサ２０４によって制御されるように構成されている。

プロセッサ２０４は、ＣＣＤ信号処理ブロック２０４−１、ＣＰＵブロック２０４−２、メモリコントローラブロック２０４−３、外部Ｉ／Ｆブロック２０４−４を有し、これらは相互にバスラインで接続されている。プロセッサ２０４の外部には、ＹＵＶ画像データを保存するＳＤＲＡＭ２０５が配置され、プロセッサ２０４とバスラインによって接続されている。またプロセッサ２０４の外部には、制御プログラムが格納されたＲＯＭ２０６が配置され、プロセッサ２０４とバスラインによって接続されている。

また、基板１８では、撮像素子１５であるＣＣＤ２０１−１、２０１−２からの被写体像の画像信号をそれぞれ、Ｆ／Ｅ−ＩＣ２０２、２０３に入力する。本実施形態では、測距ユニット５は２つの撮像素子を有し、それぞれについて測距用センサ１用Ｆ／Ｅ−ＩＣ２０２、測距用センサ２用Ｆ／Ｅ−ＩＣ２０３を有している。Ｆ／Ｅ−ＩＣは周知のとおりで、Ｆ／Ｅ−ＩＣ２０２および２０３はそれぞれ、相関二重サンプリングを行うＣＤＳ２０２−１、２０３−１、利得調整を行うＡＧＣ２０２−２、２０３−２、Ａ／Ｄ変換を行うＡ／Ｄ変換部２０２−３、２０３−３を有しており、画像信号をデジタル信号へと変換しプロセッサ２０４のＣＣＤ信号ブロック２０４−１へ入力する。これらの信号処理動作は、プロセッサ２０４のＣＣＤ信号処理ブロック２０４−１から出力される同期信号であるＶＤ／ＨＤ／ＣＬＫ信号より、ＴＧ２０２−４、２０３−４を介して制御される。

ＲＯＭ２０６に格納された制御プログラムは、ＣＣＤ信号処理ブロック２０４−１がこれらの制御を２つの撮像素子２０１−１、２０１−２のそれぞれに対して行えるようにプログラムされている。この制御プログラムは、撮像素子２０１−１、２０１−２のそれぞれに対して測距処理を行うための測距処理部ブロックおよび測光処理を行うための測光処理部ブロックをもつ。

また、撮像素子の画像信号の取り込みタイミングはＶＤ信号に同期して制御されるが、その取り込みタイミングは、本実施形態では３０ｆｐｓ（以後フレームレート）で駆動できるようになっている。そのタイミングチャートは、図７のようになり、電子シャッタの取り込みタイミングを設定することで、露光量を制御することが可能である。

外部Ｉ／Ｆブロック２０４−４は、測距（距離分布）および測光結果の出力、２つの撮像素子からの画像データの出力、さらにデジタルスチルカメラからの通信を行えるようにしている。従って、測距ユニット５以外のデジタルスチルカメラの内部でも、その出力データを演算させることが可能である。

［測距および測光の基本原理］
次に、測距および測光の基本原理に関して説明する。まず、測距に関して、図８のラインセンサでの測距方法を用いて説明する。

図８において被写体３１１からの光を同一の光学系からなる２台のデジタルスチルカメラ３１２ａ、３１２ｂを配置して撮影する場合を考える。レンズ３１３ａを通して得た被写体像３１４ａと、レンズ３１３ｂを通して得た被写体像３１４ｂとは、図８のように被写体上の同一点が視差Δだけずれてラインセンサ３１５ａ、３１５ｂにそれぞれ至り、複数の受光素子（画素）で受光され、電気信号に変換される。ここでレンズ３１３ａ、３１３ｂの光軸間の距離は基線長と呼ばれ、これをＤとし、レンズと被写体との距離をＡ、レンズの焦点距離をｆとして、Ａ≫ｆであるときには次式の式（１）が成り立つ。

Ａ＝Ｄｆ／Δ … （１）

基線長Ｄおよびレンズの焦点距離ｆは既知であるから、式（１）より、視差Δを検出すれば被写体までの距離Ａを算出することができる。このように２つの画像の視差Δから距離Ａを算出する方式を三角測量という。視野全体のうち、レンズ解像度の高い中心部にラインセンサを配して受光するため、視野の中心部に焦点合わせが行われることになる。

［本実施形態の測距ユニットにおける測距および測光］
本実施形態の測距ユニット５は２次元センサを有しており、上記原理を２次元に展開して実現させている。図９は撮像素子１５上に配置された２次元のエリア構成を示している。この各エリアに対して、測距用センサ１（ＣＣＤ２０１−１）および測距用センサ２（ＣＣＤ２０１−２）による検知結果のズレを求めて視差を求める。例えば図９の測距用センサ１のエリアａとこれに対応する、測距用センサ２のエリアＡとを、図１０のように水平方向に数画素ずらしながらその画素差分を求めその値が最も小さい位置をそのエリアの視差とする。その視差から上記式（１）より距離を求める。視差を求める場合、空のような視差がわからない被写体の場合は、距離が出ない場合がある。その際は測距不能のため０とすることとする。

一方、本実施形態の測距ユニット５は露光量を可変にすることができるので、測光機能を持っている。本実施形態では、撮像素子の撮像領域を多分割することにより視野領域全体を複数に分割し、各領域の明るさを測定する。図１１が測距ユニット５の撮像素子であるＣＣＤ２０１−１もしくは２０１−２内で分割されたエリアである。例えば、ＣＣＤ２０１−２からの画像信号はＦ／Ｅ−ＩＣ２０３を介してＣＣＤ信号処理ブロック２０４−１へと渡り、ＳＤＲＡＭ２０５に格納されたＹＵＶ画像データから、これらの分割エリア内のＹ値（輝度）を用いて、Ｙ値の加算、対象画素数で乗算することによって、各エリアの評価値が求められる。その評価値から得られる分割エリアの輝度分布により適正露光量を算出し、被写体の明るさを検知する。その結果に対して、明るいまたは暗いといった場合は、プロセッサ１０４がメカシャッタユニット７−４を制御し、電子シャッタを変化させ露光量を変更する。

［従来のデジタルスチルカメラの動作概要］
次に、上記のように構成されたデジタルスチルカメラの動作を説明する前に、従来のデジタルスチルカメラの動作概要を説明しておく。

図１に示すモードダイアルＳＷ２を記録モードに設定することで、デジタルスチルカメラが記録モードで起動する。モードダイアルＳＷ２の設定は、図４における操作Ｋｅｙユニット（ＳＷ１〜ＳＷ１３）に含まれるモードダイアルＳＷ２の状態が記録モードＯＮになったことをＣＰＵが検知し、モータドライバ７−５を制御して、鏡胴ユニット７を撮影可能な位置に移動させる。さらにＣＣＤ１０１、Ｆ／Ｅ−ＩＣ１０２、ＬＣＤモニタ１０等の各部に電源を投入して動作を開始させる。各部の電源が投入されると、ファインダモードの動作が開始される。

ファインダモードでは、レンズを通して撮像素子（ＣＣＤ１０１）に入射した光は、電気信号に変換されてアナログ信号のＲ，Ｇ，ＢとしてＣＤＳ回路１０２−１、ＡＧＣ１０２−２、Ａ／Ｄ変換器１０２−３に送られる。Ａ／Ｄ変換器１０２−３でデジタル信号に変換されたそれぞれの信号は、ＣＣＤ２信号処理ブロック１０４−２内のＹＵＶ変換部でＹＵＶ信号に変換されて、メモリコントローラ（図示せず）によってＳＤＲＡＭ１０３に書き込まれる。このＹＵＶ信号はメモリコントローラに読み出されて、ＴＶ信号表示ブロック１０４−９を介してＴＶやＬＣＤモニタ１０へ送られて表示が行われる。この処理が３０ｆｐｓ（１／３０秒間隔）で行われ、１／３０秒ごとに更新されるファインダモードの表示となる。

［本実施形態のデジタルスチルカメラの動作］
続いて、本実施形態のデジタルスチルカメラの動作を説明する。以下では、本実施形態において特徴的な高速連続撮影処理に関して、第１の実施例および第２の実施例を挙げ説明する。

（第１の実施例）
まず、本実施形態のデジタルスチルカメラにおける高速連続撮影処理の第１の実施例について説明する。本実施例のファインダモードから高速連続撮影までの処理フローに関しては図１２のフローチャートのとおりである。以下では、このフローに基づき説明する。

デジタルスチルカメラは電源ＯＮ後、ファインダモードの状態となる。そして、このファインダモード時に、まず測距ユニット５を使用した測距処理を行う（Ｓ１２−１）。ここで、この測距処理に関して、図１５、１６のフローチャートを用いて説明する。

まず測距ユニット５内のＲＯＭ２０６に格納された制御プログラム（測距処理部）に従い、ＣＰＵブロック２０４−２は、先ず測光処理（Ｓ１５−１）を行う。ここでの測光処理（Ｓ１５−１）は、図１６のフローチャートのとおりである。

まず、露光した画像信号からＣＣＤ信号処理ブロック（２０４−１）にてＹＵＶ変換された画像信号に基づいて、前述のように自動露出のための評価値を演算する（Ｓ１６−１）。

次に、その評価値から被写体のＹ値（輝度）の分布を確認し、適正露光になるような露光量（シャッタースピード）を設定する（Ｓ１６−２）。

最後に、設定された露光量を各測距用センサのＴＧ２０２−４、２０３−４に設定する（Ｓ１６−３）。なお、この測光結果はＳＤＲＡＭ（２０５）上に保存しておき、デジタルスチルカメラが撮影処理に入った場合に、測距ユニット５から外部Ｉ／Ｆブロック（２０４−４）を介して、この測光結果を送信できるようにしておけば、測距ユニット５以外のデジタルスチルカメラ内での測光処理を省略できるので処理時間を短縮することが可能になる。

図１５に戻り、上記測光処理で設定された露光設定に基づいて、測距用センサ１、２で露光し、その画像信号から測距処理（Ｓ１５−２）を行う。ここでの測距処理（Ｓ１５−２）は、図１７のフローチャートのとおりである。

まず２つの測距用センサ１、２の露光のタイミングを取るためＶＤ信号待ちを行う（Ｓ１７−１）。

次に、その露光した画像信号からＣＣＤ信号処理ブロック（２０４−１）にてＹＵＶ変換された画像信号に基づいて、図９のようなエリアに対して測距演算処理を行う（Ｓ１７−２）。本実施形態では、７×７の計４９エリアを撮像範囲に均等に配置している。このエリア数に関しては、さらに細かく設定することで、より細かい被写体に対しての測距演算結果を出力することが可能である。

次に、その測距演算結果から、距離分布生成処理を行う（Ｓ１７−３）。例えば、図１８Ａのようなシーンにおいては、図１８Ｂのように４９のエリアにエリア分割し、図１８Ｃのような距離分布を作成する。表示されている数値は１／距離［ｍ］で表示している。以上のようにして、測距処理を行う。

図１２に戻り、タッチパネルがタッチ操作されているかどうかを検知する。タッチパネルのタッチする種類としては、図２０のようにａ）タップ、ｂ）プレスアンドホールド、ｃ）ドラッグ動作の３種類あるが、本実施例で示す「タッチ」とはｃ）ドラッグ動作の開始を意味し、タッチ操作されているかどうかを検知しているとは、ドラッグ動作が開始したことを意味する。またデタッチ操作はその逆で、ドラッグ動作を終了しユーザが指を離した時に、「デタッチ」したと検知する。

タッチ操作が検知された場合（Ｓ１２−２でＹｅｓ）、軌跡保存処理（Ｓ１２−３）によりそのタッチされている座標をＳＤＲＡＭ（１０３）に格納する。ユーザがタッチパネル上をドラッグすることで、タッチパネル上での接触点の座標が変化する。その座標を記録することによって、ユーザのドラッグ操作の軌跡を保存することが可能となる。

その保存された座標をもとにＬＣＤモニタ１０にそのドラッグした軌跡を表示させる（Ｓ１２−４）。例えば、図１８Ｄはその軌跡をＬＣＤ表示させたときの状態である。

デタッチ操作を検知しない間は（Ｓ１２−５でＮｏ）、上記軌跡保存処理（Ｓ１２−３）、軌跡表示処理（Ｓ１２−４）を繰り返す。

次にデタッチ操作が検知された場合に（Ｓ１２−５でＹｅｓ）、上記ドラッグ操作の軌跡から、測距エリアと重なる部分を選択するエリア選択処理に入る（Ｓ１２−６）。ここでのエリア選択処理は図１３のフローチャートのとおりである。

まず、ドラッグされた軌跡に重なる測距エリアを抽出する（Ｓ１３−１）。例えば、図１８Ｅの測距エリア上に重なるエリアを抽出し、図１８Ｆの状態のような複数のエリアが選択された状態となる。

次に、各測距エリアにおいて距離が近いものは同じ被写体であると判定し、エリアを合成する処理（Ｓ１３−２）を行う。これは測距ユニット５から出力された距離分布より、各測距エリアの１／距離が近いものを抽出し、そのエリアを１つのエリアとして合成する処理である。例えば、図１８Ｇは、この合成をしたときのエリアを示している。つまり、このシーンにおいては、本実施形態のデジタルスチルカメラは、図１８Ｇに示すＡ〜Ｅの５つのエリアとその測距結果を持つということになる。各エリアの測距結果は、合成するエリアの平均をとり、その値をその合成エリアの測距演算結果としてＳＤＲＡＭ（１０３）へ保存しておく。

最後に、合成されたエリアを合焦位置が決定されるフォーカスエリアとして、例えば枠を用いて図１８Ｇの状態の測距エリアを表示する（Ｓ１３−３）。以上までがエリア選択処理である。

図１２に戻り、上記エリア選択処理において、上記設定された複数エリアの測距結果を用いて、距離リストを作成する（Ｓ１２−７）。例えば、図１８のシーンに関しては５つのエリアを抽出しているので、その５つのエリアの距離データを抽出する。図１８Ｈはそのときの距離リストである。

距離リストが作成された場合（Ｓ１２−７）、その距離リストに基づいて高速連続撮影を行う連続撮影処理へと入る（Ｓ１２−９）。この連続撮影処理は、例えば、ＬＣＤモニタ１０に表示された撮像画面上に表示させたフォーカスエリアの枠のいずれかがタッチパネルを介してタップまたはタッチされると開始するようにしてもよいし、所定のスイッチ操作に応じて開始するようにしてもよい。

本実施例では、距離リストの距離データから、各フォーカスレンズ７−２ａの合焦位置へ変換し、その位置へフォーカスレンズを移動してから撮影することを各距離について順次行う。こうすることで、ユーザが所望とする距離についてのみ、山登りＡＦ動作をせずに、より高速な高速連続撮影をすることが可能となり、撮影での処理時間を削減させることが可能となる。また、露光に関しては、事前にファインダモード時に、測距ユニット５以外のデジタルスチルカメラ内で測光した結果を用いて撮影しても、測距ユニット５での測光結果を用いて撮影しても良いが、高速性を配慮する２次元撮像素子を用いた測距ユニット５からの測光結果を用いたほうが、撮影にかかる処理が速くなる。また、測距ユニット５からの測光結果を用いることで、シャッターチャンスを逃さないという効果を奏する。

また、特定の測距エリアの合焦位置での高速連続撮影を行えばよいので、ユーザにとって不要な画像が排除され、その結果連続撮影枚数を最適化できる。

以上、本実施形態のデジタルスチルカメラにおける高速連続撮影処理の第１の実施例について説明した。

（第２の実施例）
続いて、本実施形態のデジタルスチルカメラにおける高速連続撮影処理の第２の実施例について説明する。本実施例のファインダモードから高速連続撮影までの基本的な処理フローは、第１の実施例で図１２のフローチャートを用いて説明したとおりである。また、測距ユニット５を使用した測距処理についても、第１の実施例で図１５、１６、１７を用いて説明したとおりである。以下では、ファインダモードから高速連続撮影までの基本的な処理フローに加え、本実施例に特徴的な処理について説明する。

まず、デジタルスチルカメラは電源ＯＮ後、ファインダモードの状態となる。このファインダモード時に、まず測距ユニット５を使用した測距処理を行う（Ｓ１２−１）。この測距処理は、第１の実施例において、図１５、１６、１７を用いて前述したとおりであるので、ここではその説明を省略する。この測距処理で、図１９Ａに示すようなシーンでは、図１９Ｂのように４９のエリアにエリア分割し、図１９Ｃに示すような距離分布が作成される。この距離分布に示す数値は、１／距離［ｍ］で表示している。

次いで、タッチパネルがタッチ操作されているかどうかを検知する。タッチパネルに対するタッチとは、本実施例においても、前述のようにドラッグ動作を意味し、タッチ操作されているかどうかを検知しているとは、ドラッグ動作が開始したことを意味する。またデタッチ操作はその逆で、ドラッグ動作を終了しユーザが指を離した時に、「デタッチ」したと検知する。

タッチ操作が検知された場合（Ｓ１２−２でＹｅｓ）、軌跡保存処理（Ｓ１２−３）によりそのタッチされている座標をＳＤＲＡＭ（１０３）に格納する（Ｓ１２−３）。つまり、タッチパネル上をドラッグすることでその座標が変化し、その座標を記録することによって、ユーザのドラッグ操作の軌跡を保存することが可能となる。

ＳＤＲＡＭ（１０３）に保存された座標をもとにＬＣＤモニタ１０にそのドラッグした軌跡を表示させる（Ｓ１２−４）。図１９Ｄはその軌跡をＬＣＤ表示させたときの状態である。デタッチ操作を検知しない間は（Ｓ１２−５でＮｏ）、上記軌跡保存処理（Ｓ１２−３）、軌跡表示処理（Ｓ１２−４）を繰り返す。

次にデタッチ操作が検知された場合に（Ｓ１２−５でＹｅｓ）、上記ドラッグ操作の軌跡から、測距エリアと重なる部分を選択するエリア選択処理に入る（Ｓ１２−６）。

ここで、エリア選択処理について、図１４のフローチャートを用いて説明する。

まず、ドラッグされた軌跡上に顔領域があるかどうかを確認する（Ｓ１４−１）。顔領域の検知方法に関しては、デジタルスチルカメラの技術分野のおいて様々な手法がすでに知られており、本実施例では、そのうちのいずれかの方法を用いるものとする。以下に、顔領域の検知方法に関する公知例を示す。

（１）テレビジョン学会誌Ｖｏｌ．４９、Ｎｏ．６、ｐｐ．７８７−７９７（１９９５）の「顔領域抽出に有効な修正ＨＳＶ表色系の提案」に示されるように、カラー画像をモザイク画像化し、肌色領域に着目して顔領域を抽出する方法。

（２）電子情報通信学会誌Ｖｏｌ．７４−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．１６２５−１６２７（１９９１）の「静止濃淡情景画像からの顔領域を抽出する手法」に示されているように、髪や目や口など正面人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して正面人物の頭部領域を抽出する方法。

（３）画像ラボ１９９１−１１（１９９１）の「テレビ電話用顔領域検出とその効果」に示されるように、動画像の場合、フレーム間の人物の微妙な動きによって発生する人物像の輪郭エッジを利用して正面人物像を抽出する方法。

上記のような顔領域の検知方法のいずれかの方法を用いて、ファインダモード時のデジタルスチルカメラの画像データを用いて顔検知を行い、顔領域が検知された場合（Ｓ１４−２でＹｅｓ）、顔エリアを選択し、その顔エリアと重なる測距エリアを、測距ユニット５から出力される距離分布と比較し、抽出する（Ｓ１４−３）。

図１９Ｅが、顔エリアが検出できたときの状態である。ここでは４人の顔を検知しており、図１９Ｆに示すようにその顔エリアＡ〜Ｄに近い測距エリア部分について、その平均値をそれぞれ算出する。そして、その値を測距演算結果としてＳＤＲＡＷＭ（１０３）へ保存しておく。

顔が検出されなかった場合（Ｓ１４−２でＮｏ）、第１の実施例と同様に、ドラッグされた軌跡に重なる測距エリアを抽出する（Ｓ１４−５）。測距エリア上に重なるエリアを抽出し、各測距エリアにおいて距離が近いものは同じ被写体であると判定し、エリアを合成する処理（Ｓ１４−６）を行う。これは、測距ユニット５から出力された距離分布より、各測距エリアの１／距離が近いものを抽出し、そのエリアを１つのエリアとして合成する処理である。各エリアの測距結果は、合成するエリアの距離分布の値の平均をとった上で、その値を測距演算結果としてＳＤＲＡＭ（１０３）へ保存しておく。

最後に、検出されたエリア（または合成されたエリア）を合焦位置が決定されるフォーカスエリアとして、例えば、図１９Ｅに示すように枠を用いて表示する（Ｓ１４−４）。以上までがエリア選択処理である。

図１２に戻り、上記エリア選択処理において、設定された複数エリアの測距結果を用いて、距離リストを作成する（Ｓ１２−７）。図１９のシーンに関しては４つの顔エリアＡ〜Ｄ（図１９Ｆ）を抽出しているので、その４つのエリアの距離データを抽出する。図１９Ｇはそのときの距離のリストである。

距離のリストが作成されると（Ｓ１２−７）、その距離リストに基づいて高速連続撮影を行う連続撮影処理へと入る（Ｓ１２−９）。この連続撮影処理は、例えば、ＬＣＤモニタ１０に表示された撮像画面上に表示させたフォーカスエリアの枠のいずれかがタッチパネルを介してタップまたはタッチされると開始するようにしてもよいし、所定のスイッチ操作に応じて開始するようにしてもよい。

本実施例においても、第１の実施例と同様に、距離リストの距離データから、各フォーカスレンズ７−２ａの合焦位置へ変換し、その位置へフォーカスレンズを移動してから撮影することを各距離について順次行う。こうすることで、ユーザが所望とする距離のみ、山登りＡＦ動作をせずに、より高速な高速連続撮影をすることが可能となり、高速連続撮影での処理時間を削減させることが可能となる。本実施例では特に顔領域を検知しているが、実際のデジタルスチルカメラでは顔優先モードを用意し、顔領域を判別するか、またはそれ以外の被写体も判別するかを切り替えられるようにしておくと尚良い。また、露光に関しては、事前にファインダモード時に、測距ユニット５以外のデジタルスチルカメラ内で測光した結果を用いて撮影しても、測距ユニット５での測光結果を用いて撮影しても良いが、高速性を配慮する２次元撮像素子を用いた測距ユニット５からの測光結果を用いたほうが、撮影にかかる処理が速くなる。また、測距ユニット５からの測光結果を用いることで、シャッターチャンスを逃さないという効果を奏する。

また、特定の測距エリアの合焦位置での高速連続撮影を行えばよいので、ユーザにとって不要な画像が排除され、その結果連続撮影枚数を最適化できる。

以上、本実施形態のデジタルスチルカメラにおける高速連続撮影処理の第２の実施例について説明した。

１ サブ液晶ディスプレイ
２ メモリカード装填室および電池装填室の蓋
３ ストロボ発光部
４ 光学ファインダ
５ 測距ユニット
６ リモコン受光部
７ 鏡胴ユニット
８ ＡＦ用ＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１３ 電源スイッチ
ＳＷ１ レリーズスイッチ
ＳＷ２ モードダイアル
ＳＷ３ 広角方向ズームスイッチ
ＳＷ４ 望遠方向ズームスイッチ
ＳＷ５ セルフタイマの設定および解除スイッチ
ＳＷ６ メニュースイッチ
ＳＷ７ 上移動およびストロボセットスイッチ
ＳＷ８ 右移動スイッチ
ＳＷ９ ディスプレイスイッチ
ＳＷ１０ 下移動およびマクロスイッチ
ＳＷ１１ 左移動および画像確認スイッチ
ＳＷ１２ ＯＫスイッチ
ＳＷ１３ クイックアクセススイッチ
１０１ ＣＣＤ
１０２ Ｆ／Ｅ−ＩＣ
１０３ ＳＤＲＡＭ
１０４ デジタルスチルカメラプロセッサ
１０７ ＲＡＭ
１０８ ＲＯＭ
１０９ サブＣＰＵ（ＳＵＢ−ＣＰＵ）
１１１ ＬＣＤドライバ
１１３ ブザー
１１７ ＬＣＤドライバ
１１８ ビデオアンプ
１１９ ビデオジャック
１２０ 内蔵メモリ
１２１ メモリカードスロット
１２２ ＵＳＢコネクタ

特公昭３９−５２６５号公報 特開平０４−１５８３２２号公報 特開２０１０−１２８３９５号公報

Claims (7)

1. レンズを介して被写体像を電気信号に変換する撮像手段と、
   前記撮像手段により撮像した画像を表示する画像表示手段と、
   前記画像表示手段の表示面に設置され、前記画像表示手段に表示された画像に対しタッチ操作により複数の位置指定を受け付ける位置指定受付手段と、
   複数の２次元撮像素子を用いて被写体までの距離を測距する測距手段と、
   前記位置指定受付手段を介して位置指定された複数の範囲を複数の測距エリアとして選択し、選択した複数のエリアのうち前記測距手段から出力される測距結果から算出される距離の差が予め定められた値以下の２以上の測距エリアを合成して１つの測距エリアとして設定する測距エリア設定手段と、
   前記測距エリア設定手段で設定された測距エリアの距離に基づき複数の合焦位置を決定する合焦位置決定手段と、
   前記合焦位置決定手段により決定された前記複数の合焦位置における複数の画像の撮影を連続して行う連続撮影制御手段と、を備える
   ことを特徴とする撮像装置。
2. 被写体の顔領域を検出する顔領域検出手段をさらに備え、
   前記測距エリア設定手段は、測距エリアを設定する際、前記顔領域検出手段により顔領域が検出された場合、検出された顔領域と重なるエリアを設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記位置指定受付手段上でなされるタッチ＆ドラッグ操作により、一度に複数の位置指定を受け付けることを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記タッチ＆ドラッグ操作による位置指定の受付の際、最初のタッチ操作により第１の位置を決定し、引き続くドラッグ操作によりドラッグ操作の軌跡上に前記第１の位置以外の位置を含めるように複数の位置を決定し、最後にデタッチ操作により最後の位置を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記ユーザが前記位置指定受付手段を介して一度に位置指定した複数の位置を含む範囲のうち、合焦位置が決定されるフォーカスエリアを示す枠を、前記画像表示手段に表示された撮像画面上に表示させることを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記位置指定受付手段は、タッチパネルであることを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
7. レンズを介して被写体像を電気信号に変換する撮像手段と、前記撮像手段により撮像した画像を表示する画像表示手段と、前記画像表示手段の表示面に設置され、前記画像表示手段に表示された画像に対しタッチ操作により複数の位置指定を受け付ける位置指定受付手段と、複数の２次元撮像素子を用いて被写体までの距離を測距する測距手段と、を備える撮像装置に対し、該撮像装置を制御する制御手段が、
   測距エリア設定手段として、前記位置指定受付手段を介して位置指定された複数の範囲を複数の測距エリアとして選択し、選択した複数のエリアのうち前記測距手段から出力される測距結果から算出される距離の差が予め定められた値以下の２以上の測距エリアを合成して１つの測距エリアとして設定し、
   合焦位置決定手段として、前記測距エリア設定手段で設定された測距エリアの距離に基づき複数の合焦位置を決定し、
   連続撮影制御手段として、前記合焦位置決定手段により決定された前記複数の合焦位置における複数の画像の撮影を連続して行う
   ことを特徴とする撮像方法。

Images