JP5263023B2

JP5263023B2 - 撮像装置

Info

Publication number: JP5263023B2
Application number: JP2009144324A
Authority: JP
Inventors: 康裕山元
Original assignee: Ricoh Imaging Co Ltd
Current assignee: Ricoh Imaging Co Ltd
Priority date: 2009-06-17
Filing date: 2009-06-17
Publication date: 2013-08-14
Anticipated expiration: 2029-06-17
Also published as: CN101931744A; JP2011002568A; US20100321557A1; KR20100135682A; CN101931744B; US8421907B2

Description

本発明は、ローリングシャッタ機能を用いて被写体を撮像する撮像素子を備える撮像装置に関する。

二次元平面に並べられたフォトダイオードを備え、撮像を行う撮像素子が知られている。このような撮像素子として、例えばＣＭＯＳ撮像素子がある。この撮像素子が出力する画像データのコントラストを用いて、撮像レンズの合焦状態を判断するコントラストＡＦが従来用いられている。コントラストＡＦでは、撮像素子上に仮想的に設けるＡＦエリアにおけるコントラストを評価して、合焦状態を判断する。

一方、ＣＭＯＳ撮像素子が画像データを出力する間に撮像レンズの合焦状態が変化して被写体像が変化すると、出力された画像データが歪み、適切に合焦状態を評価できなくなる場合がある。これを防止するため、ＡＦエリア以外の領域あるいはＡＦエリア中央で撮像レンズを駆動して、ＣＭＯＳ撮像素子がＡＦエリア内で出力する画像データの歪みを最小限に抑える構成が知られている（特許文献１）。

特開２００８−１１１９９５号公報

しかし、従来の構成では、撮像レンズを駆動する時期及び期間が、ＡＦエリア以外の領域あるいはＡＦエリア中央の電荷を読み出す時期及び期間に限定されるため、合焦までの時間が長くなるおそれがある。また、撮像レンズの駆動・停止を頻繁に繰り返すため、合焦動作におけるエネルギー効率が低下する。

本発明は、これらの問題を鑑みてなされたものであり、変化が大きい被写体を撮像する場合においてもコントラストＡＦを的確に実行可能な撮像装置を得ることを目的とする。

本願第１の発明による撮像装置は、画素に蓄積された電荷を読み出し可能であって、読み出した電荷を１ライン毎に画像信号として出力する撮像素子と、複数の画像信号により形成される１フレームのフレーム画像データのコントラスト値を用いて、撮像素子に結像する被写体像の合焦状態を検知する合焦検知手段とを備え、撮像素子は、画素に電荷を蓄積する時間を変更可能であって、被写体の動きが予測される撮影条件で撮像を行う場合、画素に電荷を蓄積する期間である電荷蓄積時間を長くすることを特徴とする。

撮像素子は、水平方向及び垂直方向に整列した画素を備え、１ラインの画像データは、撮像素子において水平方向に読み出した画像信号であって、合焦検知手段は、垂直方向のコントラスト値を用いずに、水平方向のコントラスト値を用いて合焦状態を検知しても良い。

合焦検知手段は、電荷蓄積時間が所定値を超えているとき、水平方向のコントラスト値のみを用いて合焦状態を検知しても良い。

撮像装置は、被写体によってユーザが選択可能な複数の撮影モードを備え、撮影条件は、被写体の動きが大きいことが予測される撮影モードであることが好ましい。

撮像素子が出力した第１のフレーム画像データと、撮像素子が第１のフレーム画像データの出力直後に出力した第２のフレーム画像データとの差が第１の閾値よりも大きいか否かを検出する検出手段をさらに備え、撮影条件は、第１のフレーム画像データと第２のフレーム画像データとの差が第１の閾値よりも大きいと検出手段が判断したときであることが好ましい。

撮像素子はＣＭＯＳが好適である。

以上のように本発明によれば、変化が大きい被写体を撮像する場合においてもコントラストＡＦを的確に実行可能な撮像装置を得る。

本発明によるデジタルカメラを背面から示した斜視図である。デジタルカメラのブロック図である。撮像素子を正面から示した図である。撮像素子を正面から示した図である。通常の電荷蓄積時間を用いた場合における１ラインの電荷読み出し結果を模式的に示した図である。通常よりも長い電荷蓄積時間を用いた場合における１ラインの電荷読み出し結果を模式的に示した図である。ＡＦ処理を示したフローチャートである。

以下、本発明による一実施形態について、図を用いて説明する。

本実施形態による撮像装置であるデジタルカメラ１００の構成について図１から３を用いて説明する。デジタルカメラ１００は、例えばコンパクトカメラである。

デジタルカメラ１００の外面には、主電源のオンオフを切り替える主電源ボタン１１１、レリーズボタン１１２、ＬＣＤモニタ１１４、カードスロット１１６、及びデジタルカメラ１００の前面から突出する撮像レンズ１２１が設けられる。主電源ボタン１１１及びレリーズボタン１１２が操作部材１１０を成す。

主電源ボタン１１１は、デジタルカメラ１００の背面から突出するモーメンタリスイッチである。ユーザが主電源ボタン１１１を押圧すると、デジタルカメラ１００の電源が投入される。デジタルカメラ１００の電源が入れられているときにユーザが主電源ボタン１１１を押圧すると、デジタルカメラ１００の電源が切断される。

レリーズボタン１１２は、二段式のモーメンタリスイッチであり、デジタルカメラ１００の頂面に設けられる。ユーザがレリーズボタン１１２を半押しすると、測光や測距及び合焦動作が行われ、全押しすると撮像動作が行われる。

ＬＣＤモニタ１１４は、撮影画像と同じ３対４の縦横比を有する長方形である。図１に示すように、デジタルカメラ１００の左右方向に延びるようにデジタルカメラ１００の背面略中央に設けられる。撮像レンズ１２１を介して得られたスルー画像、撮影済みの撮影画像、及びデジタルカメラ１００の各種設定を表示可能である。

デジタルカメラ１００は、デジタルカメラ１００の動作を制御するＤＳＰ１３１と、デジタルカメラ１００を操作するために用いられる操作部材１１０と、被写体像をデジタル画像信号に変換する撮像部１２０と、ＤＳＰ１３１から送信されるデータを記憶するメモリ１３２と、撮影された画像を記録するＳＤカード１３３と、撮影のための情報や撮影済みの画像を表示するＬＣＤモニタ１１４とから主に構成される。

撮像部１２０は、ＣＭＯＳ撮像素子１２４、ＡＦＥ（アナログ・フロント・エンド）１２５、及びタイミングジェネレータ１２６とから主に構成される。

ＣＭＯＳ撮像素子１２４は、入射した被写体像をアナログ画像信号に変換する撮像エリア１２４ａを有する。撮像レンズ１２１は、被写体像を撮像エリア１２４ａに合焦させる。撮像エリア１２４ａは長方形であって、図１において左右方向と長辺方向が一致、また上下方向に短辺方向が一致するように、デジタルカメラ１００内に設けられる。撮像エリア１２４ａには、フォトダイオードから成る画素が複数個配列される。以下、説明のため、長辺方向に並んで伸びる画素を１行、短辺方向に並んで伸びる画素を１列とする。

ＣＭＯＳ撮像素子１２４は、画素に蓄積された電荷を１行ごとに読み出して、アナログ画像信号としてＡＦＥ１２５に送信する。画素に電荷を蓄積する期間は任意に決定可能である。ＡＦＥ１２５は、アナログ画像信号に対してゲインの調整などを行った後にデジタル画像信号に変換して、ＤＳＰ１３１に送信する。

ＣＭＯＳ撮像素子１２４は、いわゆるローリングシャッタ機能を用いてアナログ画像信号を出力する。ローリングシャッタ機能は、ＣＭＯＳ撮像素子１２４の１行ずつ、すなわち、長辺方向に並べられた画素毎に、アナログ画像信号を出力する信号読み出し方式である。本実施形態によるＣＭＯＳ撮像素子１２４は、撮像エリア１２４ａにおいて上から下の走査方向でアナログ画像信号を出力する。

タイミングジェネレータ１２６は、ＤＳＰ１３１からの信号に応じてＣＭＯＳ撮像素子１２４及びＡＦＥ１２５にタイミング信号を送信する。ＣＭＯＳ撮像素子１２４及びＡＦＥ１２５は、タイミング信号に従って動作する。

撮像前におけるＤＳＰ１３１は、デジタル画像信号に含まれる被写体像の光量を用いて被写体を測光する。これにより得られた測光値を用いて露光値を演算し、この露光値に基づき撮影に必要となる絞り値及びシャッタスピード値を演算する。そして、演算された絞り値及びシャッタスピード値を用いて撮像を行う。さらに、ＤＳＰ１３１は、受信したデジタル画像信号を用いて撮影レンズを制御し、被写体像をＣＭＯＳ撮像素子１２４の撮像エリア１２４ａに合焦させる。

ＡＦＥ１２５からデジタル画像信号を受信すると、ＤＳＰ１３１は、デジタル画像信号を受信して画像処理を行い、１フレームのフレーム画像データを作成する。そして、フレーム画像データをスルー画像としてＬＣＤモニタ１１４に表示する。

撮像時におけるＤＳＰ１３１は、デジタル画像信号を受信して画像処理を行い、１フレームのフレーム画像データを作成する。そして、フレーム画像データをＳＤカード１３３に保存し、ＬＣＤモニタ１１４に表示する。メモリ１３２は、ＤＳＰ１３１がこれらの演算及び画像処理等を実行するときに、一時的にデータを記録する作業メモリとして使用される。

デジタルカメラ１００は、複数の撮影モードを備える。撮影モードは、動きの速い被写体を撮影するときに用いるスポーツモード、子供を撮影するときに用いるキッズモード、遠方かつ広大な範囲の景色を撮影するために用いられる風景モード等を有する。子供は頻繁に動くため、キッズモードでは動きの多い人物を撮影するための撮影条件が用いられる。

撮像エリア１２４ａには、複数の画素がベイヤー配列によりｓ行ｔ列で配列される。ＤＳＰ１３１は、横ＡＦエリア１２４ｂ及び縦ＡＦエリア１２４ｃをＣＭＯＳ撮像素子１２４の撮像エリア１２４ａ上に仮想的に設ける。横ＡＦエリア１２４ｂは、撮像エリア１２４ａの天地方向の中央であって、ＣＭＯＳ撮像素子１２４の水平方向、すなわち長手方向に伸びる長方形の領域である。１以上の行からなる画素を有する。縦ＡＦエリア１２４ｃは、撮像エリア１２４ａの長手方向の中央であって、ＣＭＯＳ撮像素子１２４の垂直方向に伸びる長方形の領域である。１以上の列からなる画素を有する。横ＡＦエリア１２４ｂと縦ＡＦエリア１２４ｃは、互いの中心が重なるように直交する。また、撮像エリア１２４ａ、横ＡＦエリア１２４ｂ、及び縦ＡＦエリア１２４ｃの中心は互いに重なる（図３参照）。ＤＳＰ１３１は、コントラストＡＦ処理により、合焦光学系を合焦位置に移動させる。

コントラストＡＦ処理では、横ＡＦエリア１２４ｂ及び縦ＡＦエリア１２４ｃ内に位置する画素の輝度ａｎを用いてコントラスト値Ｃを算出し、コントラスト値Ｃの平均が最も高くなる合焦光学系の位置を合焦位置とする。

横ＡＦエリア１２４ｂが有する画素を例として輝度ａｎの算出手段について説明する。

輝度ａｎは、複数の画素により構成される複数のブロックごとに求められる。１つのブロックは、水平方向２個及び垂直方向２個から成る４画素により構成される。４画素により正方行列が形成される。ベイヤー配列における１ブロックは、赤画素１つ、緑画素２つ、及び青画素１つの４画素から成る。輝度ａｎは、以下の式に示すように、４つの画素から出力されたデジタル画像信号の総和を取ることにより求められる。
ａｎ＝Ｇ＋Ｒ＋Ｂ＋Ｇ
ここで、Ｇは緑画素から出力されたデジタル画像信号の値、Ｒは赤画素から出力されたデジタル画像信号の値、Ｂは青画素から出力されたデジタル画像信号の値である。

そして次に、水平方向に１ブロックとばした位置にあるブロックの輝度ａｎ＋２とａｎとの差をとり、得られた値を二乗する。この計算を全ての画素に対して行い、得られた値の総和をとる。これにより、コントラスト値Ｃが求められる。すなわち、コントラスト値Ｃは以下の式により求められる。

垂直方向のコントラスト値についても、上記の行と列を入れ替えた形で、同様の演算を行う。

ＬＣＤモニタ１１４は、撮影画像と同じ３対４の縦横比を有する長方形である。デジタルカメラ１００の左右方向に延びるようにデジタルカメラ１００の背面略中央に設けられる。撮像レンズ１２１を介して得られた画像、撮影済みの撮影画像、及びデジタルカメラ１００の各種設定を表示可能である。また、ＬＣＤモニタ１１４は、ＤＳＰ１３１が送信したスルー画像を表示可能である。

操作部材１１０は、主電源ボタン１１１、レリーズボタン１１２を有する。

主電源ボタン１１１は、デジタルカメラ１００の上面から突出するモーメンタリスイッチである。ユーザが主電源ボタン１１１を押圧すると、デジタルカメラ１００の電源が投入される。デジタルカメラ１００の電源が入れられているときにユーザが主電源ボタン１１１を押圧すると、デジタルカメラ１００の電源が切断される。

レリーズボタン１１２は、二段式のモーメンタリスイッチであり、デジタルカメラ１００の頂面に設けられる。ユーザがレリーズボタン１１２を半押しすると測光や測距及び合焦動作が行われ、全押しすると撮像動作が行われる。

ＳＤカード１３３は、デジタルカメラ１００の側面に設けられるカードスロット１１６に脱着自在に格納される。ユーザは、デジタルカメラ１００の外部からＳＤカード１３３にアクセスして、自由に交換することが可能である。

時間の経過により状態が変化する被写体を撮像する場合、すべての行の画素が電荷を出力し終わるまでに、被写体の状態が変化することがある。ＣＭＯＳ撮像素子１２４は、いわゆるローリングシャッタ機能を用いてアナログ画像信号を出力しているため、各行の画素が被写体を撮像する瞬間が異なり、ＣＭＯＳ撮像素子１２４が出力する画像が歪む。

これを、図４に示すような撮像エリア１２４ａにおいて天地方向に伸びる長方形の被写体を撮像する場合を例として説明する。被写体は、撮像エリア１２４ａにおいて右方向に移動する。

図５は、画素に電荷を蓄積する期間（電荷蓄積時間）が、画素１行分を読み出す期間と等しい場合を示したものである。ＣＭＯＳ撮像素子１２４がｍ行に位置する画素のアナログ画像信号を出力した瞬間から、ｍ＋１行に位置する画素のアナログ画像信号を出力した瞬間までの間に、被写体が移動している。そのため、ｍ行を出力した瞬間にｎ列の位置にあった被写体像が、ｍ＋１行を出力した瞬間にはｎ＋１列の位置に移動する。これにより、本来長方形である被写体が、水平方向に歪んで撮像される。そして、被写体像が歪むために、垂直方向における被写体像のコントラストの信頼性が低下する。

図６は、画素に電荷を蓄積する期間が、画素２行分を読み出す期間と等しい場合を示したものである。この場合においては、図５に示す場合と比較して、画素が電荷を蓄積する時間が倍になる。ＣＭＯＳ撮像素子１２４がｍ−１行及びｍ行に位置する画素に電荷を蓄積する間、被写体が移動しているため、図５に示す場合と比較して、撮像エリア１２４ａの水平方向における被写体像の長さが長くなる。つまり、被写体像は、ｍ−１行ｎ列、ｍ−１行ｎ＋１列、ｍ行ｎ列、及びｍ行ｎ＋１列の画素から得られる。他方、ＣＭＯＳ撮像素子１２４がｍ行及びｍ＋１行に位置する画素に電荷を蓄積する間、被写体がさらに移動して、被写体像は、ｍ行ｎ＋１列、ｍ行ｎ＋２列、ｍ＋１行ｎ＋１列、及びｍ＋１行ｎ＋２列の画素上に結像する。すなわち、１つ前の走査と比較したとき、被写体像がｎ＋１列において重複する。そのため、図５に示す場合と比較して、図６に示す場合においては、読み出し行毎の相関が強くなるため、垂直方向における被写体像のコントラストの信頼性の低下を押さえることができる。なお、電荷蓄積時間は２行分の読み出し期間に限定されず、条件によって変更可能である。

次に、ＡＦ処理について図７を用いて説明する。ＡＦ処理は、レリーズボタンが半押しされたときに実行される。

ステップＳ７０１では、デジタルカメラ１００の撮影モードが動きの速い被写体を撮影する時に用いられる撮影モードであるか否かを判断する。このような撮影モードとして、スポーツモード、あるいはキッズモードがある。デジタルカメラ１００の現在の撮影モードがこのような撮影モードであるとき、処理はステップＳ７０２に進み、そうでないとき、処理はＳ７０５に進む。

次のステップＳ７０２では、ＣＭＯＳ撮像素子１２４が画素の電荷蓄積時間を長くしてアナログ画像信号を出力する。このとき、撮影モードに応じて、一度に走査する行数が決定される。例えば、スポーツモードでは電荷蓄積時間を３行分の読み出し期間とし、キッズモードでは、２行分の読み出し期間とする。

ステップＳ７０３では、電荷蓄積時間が所定値を超えているか否かを判断する。所定値を超えているとき、処理はステップＳ７０４に進み、そうでないとき、処理はＳ７０５に進む。光量が大きい被写体を撮像するとき、電荷蓄積時間を多くしすぎると、露出がオーバーする。これを防止するため、電荷蓄積時間を所定値以下に制限する。

ステップＳ７０４では、縦ＡＦエリア１２４ｃに含まれる画素のコントラスト値Ｃを用いずに、横ＡＦエリア１２４ｂに含まれる画素のコントラスト値Ｃのみを用いて、ＤＳＰが撮影レンズの合焦を判断するように設定を行う。

ステップＳ７０５では、ステップＳ７０３における判断に従い、長い電荷蓄積時間を用いて算出されたコントラスト値Ｃ、又は横ＡＦエリア１２４ｂに含まれる画素のコントラスト値Ｃのみを用いて、ＤＳＰ１３１が撮影レンズの合焦位置を決定する。ステップＳ７０６では、ＤＳＰ１３１が合焦光学系を合焦位置に移動させる。

本実施形態によれば、被写体像の動きに左右されずに、安定的に合焦動作を行うことが可能になる。

なお、ＤＳＰ１３１は、横ＡＦエリア１２４ｂ及び縦ＡＦエリア１２４ｃを用いずに、撮像エリア１２４ａ上の任意の位置に設けられたＡＦエリアを用いて合焦を判断しても良い。

また、ＣＭＯＳ撮像素子１２４の走査方向は、上から下に限定されない。

全ての画素の画像信号を用いてコントラスト値Ｃを算出しても良い。あるいは、撮像エリア１２４ａを複数のブロックに分け、これらのブロック単位で輝度ａｎを求めてコントラスト値Ｃを算出、所定の間隔毎に輝度ａｎを求めてコントラスト値Ｃを算出、撮像エリア１２４ａの中央付近に位置する複数の画素を用いて輝度ａｎを求めてコントラスト値Ｃを算出してもよい。

ステップＳ７０２において、スルー画像における被写体像の動きを基に、１単位に含まれる行数を決定しても良い。すなわち、スルー画像を構成する各フレーム間における差が所定値よりも大きいときには被写体像の動きが速いと判断して電荷蓄積時間を長くし、差が所定値よりも小さいときには遅いと判断して電荷蓄積時間を短くする。

撮像素子は、ＣＭＯＳ撮像素子１２４に限定されず、ＣＣＤ等であっても良い。

コントラスト値Ｃは、輝度ａｎを用いずに、Ｇ、Ｒ、Ｂの各信号のみを用いて求めても良い。また、横ＡＦエリア１２４ｂ又は縦ＡＦエリア１２４ｃ内の１行ごとにコントラスト値Ｃを算出し、各行のコントラスト値Ｃの総和を用いて撮影レンズの合焦を判断してもよい。

１００デジタルカメラ
１１０操作部材
１１１主電源ボタン
１１２レリーズボタン
１１４ＬＣＤモニタ
１１６カードスロット
１２０撮像部
１２１撮像レンズ
１２４ＣＭＯＳ撮像素子
１２４ａ撮像エリア
１２４ｂ横ＡＦエリア
１２４ｃ縦ＡＦエリア
１２５ＡＦＥ
１２６タイミングジェネレータ
１３１ＤＳＰ
１３２メモリ
１３３ＳＤカード

Claims

画素に蓄積された電荷を読み出し可能であって、読み出した電荷を１ライン毎に画像信号として出力する撮像素子と、
複数の前記画像信号により形成される１フレームのフレーム画像データのコントラスト値を用いて、前記撮像素子に結像する被写体像の合焦状態を検知する合焦検知手段とを備え、
前記撮像素子は、画素に電荷を蓄積する期間である電荷蓄積時間をライン毎に変更可能であって、被写体の動きが予測される撮影条件で撮像を行う場合に、隣接するラインどうしで前記電荷蓄積時間が重複するように電荷を蓄積し、前記電荷蓄積時間を長くする撮像装置。
前記撮像素子は、水平方向及び垂直方向に整列した画素を備え、１ラインの画像データは、前記撮像素子において水平方向に読み出した画像信号であって、
前記合焦検知手段は、垂直方向のコントラスト値を用いずに、水平方向のコントラスト値を用いて合焦状態を検知する請求項１に記載の撮像装置。
前記合焦検知手段は、電荷蓄積時間が所定値を超えているとき、水平方向のコントラスト値のみを用いて合焦状態を検知する請求項２に記載の撮像装置。
前記撮像装置は、被写体によってユーザが選択可能な複数の撮影モードを備え、
前記撮影条件は、被写体の動きが大きいことが予測される撮影モードである請求項１に記載の撮像装置。
前記撮像素子が出力した第１のフレーム画像データと、前記撮像素子が第１のフレーム画像データの出力直後に出力した第２のフレーム画像データとの差が第１の閾値よりも大きいか否かを検出する検出手段をさらに備え、
前記撮影条件は、前記第１のフレーム画像データと前記第２のフレーム画像データとの差が第１の閾値よりも大きいと前記検出手段が判断したときである請求項１から３に記載の撮像装置。
前記撮像素子は、垂直方向に行ごとに電荷を読み出すローリングシャッタ機能を用いて撮像する請求項１から５に記載の撮像装置。