JP6087674B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関するものである。

撮像素子内に、撮像用画素と、撮影レンズの異なる瞳位置の光束を受光し像のずれ量から撮影レンズのデフォーカス量と方向を検出可能な一対の焦点検出用画素とを配置することにより、撮像素子で撮像と焦点検出が両立可能な撮像装置が知られている。

このような撮像用画素と焦点検出用画素を混在させた撮像素子は、撮像用画素と異なる構造を有する焦点検出用画素に起因する画質劣化が発生する。特許文献１および特許文献２には、焦点検出用画素に起因する画質の劣化を防止する技術が開示されている。

特開２００９−１２２５２４号公報 特開２００９−１２４５７３号公報

しかしながら、上記の従来例は、焦点検出用画素の出力を周辺の撮像用画素により補正するもの、および焦点検出用画素の出力を使って周辺の撮像用画素を補正するものである。そのため、焦点検出用画素のマイクロレンズに起因する光学クロストークを補正することは考慮されていない。

本発明は、上述した課題に鑑みてなされたものであり、その目的は、撮像素子内に配置された焦点検出用画素のマイクロレンズに起因する光学的なクロストークによる画質劣化を抑制することである。

本発明に係わる撮像装置は、撮像素子の複数の撮像用画素のうちの一部の画素が、焦点検出用画素に置き換えられて構成された撮像素子と、前記焦点検出用画素に隣接する複数の補正対象である撮像用画素の出力と、前記焦点検出用画素に隣接する複数の撮像用画素の近傍に配置された前記複数の撮像用画素と同色の複数の参照用の撮像用画素の出力とを比較する比較手段と、前記比較手段の比較結果に応じて、前記複数の補正対象である撮像用画素の出力の補正処理を実行する補正手段と、を備え、前記補正手段は、前記複数の参照用の撮像用画素の出力の平均値が所定の範囲内にある場合に、前記補正処理を実行することを特徴とする。
また、本発明に係わる撮像装置は、撮像素子の複数の撮像用画素のうちの一部の画素が、焦点検出用画素に置き換えられて構成された撮像素子と、前記焦点検出用画素に隣接する複数の補正対象である撮像用画素の出力と、前記焦点検出用画素に隣接する複数の撮像用画素の近傍に配置された前記複数の撮像用画素と同色の複数の参照用の撮像用画素の出力とを比較する比較手段と、前記比較手段の比較結果に応じて、前記複数の補正対象である撮像用画素の出力の補正処理を実行する補正手段と、を備え、前記補正手段は、前記複数の参照用の撮像用画素の出力の最大値と最小値の差分に基づいてコントラスト値を算出し、該コントラスト値を所定値と比較することにより、前記補正処理を実行するか否かを判断することを特徴とする。

本発明によれば、撮像素子内に配置された焦点検出用画素のマイクロレンズに起因する光学的なクロストークによる画質劣化を抑制することが可能となる。

本発明の撮像装置の第１の実施形態である一眼レフタイプデジタルカメラシステムの電気的構成を示すブロック図。 撮像素子上の測距点配置の例を示す図。 撮像素子の撮像用画素と焦点検出用画素の配置の詳細を示す図。 撮像用画素の詳細な構成を示す図。 焦点検出用画素の詳細な構成を示す図。 撮像素子の光学クロストークを説明する図。 光学クロストークが発生する撮影シーンの例を示す図。 第１の実施形態における撮影動作を説明するフローチャート。 第１の実施形態における補正切り替えを説明するフローチャート。 第１の実施形態における測光分割領域を示す図。 光学クロストークの補正に用いる画素の詳細配置を示す図。 第１の実施形態の光学クロストーク補正を説明するフローチャート。 第２の実施形態の光学クロストーク補正を説明するフローチャート。 第３の実施形態の光学クロストーク補正を説明するフローチャート。 第４の実施形態における撮影動作を説明するフローチャート。 第４の実施形態における補正切り替えを説明するフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は本発明の撮像装置の第１の実施形態である一眼レフタイプデジタルカメラシステムの電気的構成を示すブロック図である。図１に示すように本実施形態のデジタルカメラ１００は、撮影レンズユニット２００が不図示のマウント機構を介し着脱可能に取り付けられる。マウント部には、電気的接点群２１０を有している。接点群２１０はカメラ本体１００と撮影レンズ２００との間で制御信号、状態信号、データ信号などを伝え合うと共に、各種電圧の電流を供給する機能と、さらに撮影レンズユニットが接続されるとシステムコントローラ１２０へ信号を送信する機能も備えている。これによりデジタルカメラ１００と撮影レンズユニット２００の間で通信を行い撮影レンズユニット内の撮影レンズ２０１、絞り２０２の駆動を行うことが可能となる。また、接点群２１０は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

なお、本実施形態では撮影レンズ２０１を便宜上１枚のレンズで示しているが、実際はさらに多数のレンズから構成されていることは周知の通りである。また、接点群２１０とシステムコントローラ１２０とから、レンズ検出手段を構成している。

被写体からの撮影光束が、撮影レンズ２０１及び絞り２０２を介して、矢印Ａ方向に駆動可能なクイックリターンミラー１０２に導かれる。クイックリターンミラー１０２の中央部はハーフミラーになっており、クイックリターンミラー１０２がダウンした際に一部の光束が透過する。そして、この透過した光束は、クイックリターンミラー１０２に設置されたサブミラー１０３で下方に向けて反射される。

１０４は不図示である結像面近傍に配置されたフィールドレンズ、反射ミラー、２次結像レンズ、絞り、及び、複数のＣＣＤから成るラインセンサ等から構成されている周知の位相差方式のＡＦセンサユニットである。そして、システムコントローラ１２０からの制御信号から、焦点検出回路１０５はＡＦセンサユニット１０４を制御して、周知の位相差検出方式により焦点検出を行う。なお、ＡＦセンサユニット１０４と焦点検出回路１０５とから焦点検出手段を構成している。

一方、クイックリターンミラー１０２で反射された撮影光束は、ペンタプリズム１０１、接眼レンズ１０６を介して撮影者の目に至る。また、接眼レンズ１０６の近傍に配設された不図示の測光センサは、被写体の輝度を測定するためのセンサであり、その出力は測光回路１０７を経てシステムコントローラ１２０へ供給される。なお、測光センサ、測光回路１０７とシステムコントローラ１２０とから測光手段を構成している。

また、クイックリターンミラー１０２がアップした際には、撮影レンズ２０１からの光束は、機械シャッタであるフォーカルプレーンシャッタ１０８、フィルター１０９を介して撮像手段である撮像素子としてのＣＭＯＳ等に代表されるイメージセンサ１１２に至る。

フィルター１０９は２つの機能を有しているもので、１つは赤外線をカットし可視光線のみをイメージセンサ１１２へ導く機能であり、もう１つは光学ローパスフィルタとしての機能である。また、フォーカルプレーンシャッタ１０８は、先幕及び後幕を有して成るもので、撮影レンズ２０１からの光束の透過、遮断を制御する。なお、クイックリターンミラー１０２のアップ時には、サブミラー１０３は折り畳まれるようになっている。

また、本実施形態のデジタルカメラ１００は、当該デジタルカメラ全体の制御手段となり、制御を司るＣＰＵにより構成されるシステムコントローラ１２０を備え、後述する各部の動作を適宜制御する。なお、システムコントローラ１２０は、補正手段に相当する。

システムコントローラ１２０には、撮影レンズ２０１を光軸方向に移動してピント合わせを行うためのレンズ駆動機構２０３を制御するレンズ制御回路２０４と、絞り２０２を駆動するための絞り駆動機構２０５を制御する絞り制御回路２０６とがレンズ制御マイコン２０７を介して接続されている。また、システムコントローラ１２０には、クイックリターンミラー１０２のアップ・ダウンの駆動部及びフォーカルプレーンシャッタ１０８のシャッタチャージを制御するシャッタチャージ・ミラー駆動機構１１０が接続されている。また、システムコントローラ１２０には、フォーカルプレーンシャッタ１０８の先幕、後幕の走行を制御するためのシャッタ制御回路１１１が接続されている。さらにシステムコントローラ１２０には、記憶手段であるＥＥＰＲＯＭ１２２が接続されている。ＥＥＰＲＯＭ１２２は、デジタルカメラ１００を制御する上で調整が必要なパラメータやデジタルカメラの個体識別が可能なカメラＩＤ情報や基準レンズで調整されたＡＦ補正データや自動露出補正値などが記憶されている
レンズ制御マイコン２０７は、レンズ固有の情報、例えば焦点距離、開放絞り、レンズ個々に割り振られるレンズＩＤといった情報とシステムコントローラ１２０から受け取った情報を記憶するレンズ記憶装置も有している。また、システムコントローラ１２０は、レンズ制御マイコン２０７を介してレンズ駆動機構２０３を制御することにより、被写体像をイメージセンサ１１２上に結像させる。また、設定されたＡｖ値に基づいて、絞り２０２を駆動する絞り駆動機構２０５を制御し、更に、設定されたＴｖ値に基づいて、シャッタ制御回路１１１へ制御信号を出力することで露出制御を行う。

フォーカルプレーンシャッタ１０８の先幕、後幕は、駆動源がバネにより構成されており、シャッタ走行後次の動作のためにバネチャージを要する。シャッタチャージ・ミラー駆動機構１１０は、このバネチャージを制御するようになっている。また、シャッタチャージ・ミラー駆動機構１１０によりクリックリターンミラー１０２のアップ・ダウンが行われる。

また、システムコントローラ１２０には、画像データコントローラ１１５が接続されている。この画像データコントローラ１１５は、ＤＳＰ（デジタル信号プロセッサ）により構成され、イメージセンサ１１２の制御、イメージセンサ１１２から入力された画像データの補正や加工などをシステムコントローラ１２０の指令に基づいて実行するものである。画像データの補正・加工の項目の中にはオートホワイトバランスも含まれている。オートホワイトバランスとは、撮影画像中の最大輝度の部分を所定の色（白色）に補正する機能である。オートホワイトバランスは、システムコントローラ１２０からの命令により補正量を変更する事が可能である。

さらに、システムコントローラ１２０と画像データコントローラ１１５とから、第２の測光手段を構成している。第２の測光手段は、画像データコントローラ１１５によって、画像信号を領域分割し、それぞれの領域でベイヤー画素毎に積分した値をシステムコントローラ１２０に供給し、システムコントローラ１２０で積分信号を評価することで測光を行う。

画像データコントローラ１１５には、イメージセンサ１１２を駆動する際に必要なパルス信号を出力するタイミングパルス発生回路１１４と、イメージセンサ１１２と共にタイミングパルス発生回路１１４で発生されたタイミングパルスを受けて、イメージセンサ１１２から出力される被写体像に対応したアナログ信号をデジタル信号に変換するためのＡ／Ｄコンバータ１１３と、得られた画像データ（デジタルデータ）を一時的に記憶しておくＤＲＡＭ１２１と、Ｄ／Ａコンバータ１１６と、画像圧縮回路１１９と、コントラスト検出回路１４０とが接続されている。

ＤＲＡＭ１２１は、加工や所定のフォーマットへのデータ変換が行われる前の画像データを一時的に記憶するために使用される。更に、画像圧縮回路１１９には、記録手段である記録媒体４０１が接続される。

画像圧縮回路１１９は、ＤＲＡＭ１２１に記憶された画像データの圧縮や変換（例えばＪＰＥＧ圧縮）を行うための回路である。変換された画像データは、記録媒体４０１へ格納される。この記録媒体としては、ハードディスク、フラッシュメモリ、フレキシブルディスク等が使用される。なお、画像データコントローラ１１５と画像圧縮回路１１９と記録媒体４０１とから記録手段を構成している。

また、Ｄ／Ａコンバータ１１６には、エンコーダ回路１１７を介して画像表示回路１１８が接続される。画像表示回路１１８は、イメージセンサ１１２で撮像された画像データを表示するための回路であり、一般にはカラーの液晶表示素子により構成される。

画像データコントローラ１１５は、ＤＲＡＭ１２１上の画像データを、Ｄ／Ａコンバータ１１６によりアナログ信号に変換してエンコーダ回路１１７へ出力する。エンコーダ回路１１７はこのＤ／Ａコンバータ１１６の出力を、画像表示回路１１８を駆動する際に必要な映像信号（例えばＮＴＳＣ信号）に変換する。なお、Ｄ／Ａコンバータ１１６と画像表示回路１１８とエンコーダ回路１１７とから画像表示手段を構成している。

さらに、システムコントローラ１２０と画像データコントローラ１１５とから第２の焦点検出手段を構成している。画像データコントローラ１１５は、補正した画像データに対し、所定の周波数特性を持つフィルターを通し、所定のガンマ処理を行って得られる画像信号の所定方向のコントラストを評価し、その結果はシステムコントローラ１２０に供給される。システムコントローラ１２０は、レンズ制御回路２０４と通信を行い、コントラスト評価値が所定レベルよりも高くなるように焦点位置を調節する。なお、画像データコントローラ１１５とシステムコントローラ１２０とレンズ制御回路２０４とレンズ駆動機構２０３と撮影レンズ２０１から第２の自動焦点調節手段を構成している。

さらにシステムコントローラ１２０には、デジタルカメラ１００の動作モードの情報や露出情報（シャッタ秒時、絞り値等）などを外部液晶表示装置１２４や内部液晶表示装置１２５に表示させる動作表示回路１２３と、ユーザが所望の動作をデジタルカメラ１００に実行させるべくモードを設定する撮影モード選択ボタン１３０と、メイン電子ダイヤル１３１と、決定ＳＷ１３２と、ＡＦセンサユニット１０４が持つ複数の焦点検出位置から使用する焦点検出位置を選択するための測距点選択ボタン１３３（測距点選択手段に相当する）と、ＡＦモード選択ボタン１３４と、測光モード選択ＳＷ１３５と、測光・測距などの撮影準備動作を開始させるためのレリーズＳＷ１（１３６）と、撮像動作を開始させるためのレリーズＳＷ２（１３７）と、ファインダーモード選択ＳＷ１３８とが接続されている。

なお、外部液晶表示装置１２４と内部液晶表示装置１２５とが動作表示手段に相当し、さらに、外部液晶表示装置１２４は外部表示手段、内部液晶表示装置１２５は内部表示手段にそれぞれ相当する。さらに、動作表示回路１２３とシステムコントローラ１２０とから表示制御手段を構成している。

また、ファインダーモード選択ＳＷ１３８は、接眼レンズ１０６を通過する光束を確認できる光学ファインダーモードと、イメージセンサ１１２で受光した像信号を、逐次、画像表示回路１１８によって表示するライブビュー表示モードとを切り替える。ファインダーモード選択ＳＷ１３８は、ファインダーモード選択手段に相当する。

さらに、デジタルカメラ１００には、ストロボ装置３００が不図示のマウント機構を介し着脱可能に取り付けられる。マウント機構には、電気的接点群３１０を有している。接点群３１０はカメラ本体１００とストロボ装置３００との間で制御信号、状態信号、データ信号などを伝え合う。また、発光タイミングを制御するＸ端子（発光端子）、さらにストロボ装置３００が接続されるとシステムコントローラ１２０へ信号を送信する機能も備えている。これによりデジタルカメラ１００とストロボ装置３００の間で通信を行いストロボの発光制御を行うことが可能となる。また、接点群３１０は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

ストロボ装置３００は、キセノン（Ｘｅ）管３０１、反射笠３０２、Ｘｅ管３０１の発光を制御するＩＧＢＴなどで構成された発光制御回路３０３、Ｘｅ管３０１に給電するために３００Ｖ程度の電圧を発生する充電回路３０４を備える。また、充電回路３０４に給電する電池などの電源３０５、ストロボの発光、充電などを制御するとともに、カメラ側のシステムコントローラ１２０と通信を制御するストロボ制御マイコン３０６も備える。

図２は、撮影画面上に配置される焦点検出用画素の配置されたエリアを示す図である。図２において、２５０は撮影画面を、２５１は撮影画面上に配置される焦点検出用画素の配置エリアを示している。本実施形態においては、撮影画面２５０に配置されている焦点検出用画素をグルーピングして、撮影画面２５０を５×５の矩形に分割し、２５の測距点を構成している。なお、焦点検出用画素の配置エリアおよび測距点は、一例を示したものであり、図２の構成に限定されるものではない。

図３は、撮影画面を構成する撮像素子の画素配置の詳細を示した図である。図３において、３５０は撮像素子を示している。撮像素子３５０は、いわゆるＲ、Ｇ、Ｂの原色フィルターが、ベイヤーに配置された構成となっている。３５１および３５２は、一対の位相差検出用の焦点検出用画素を示している。Ａは、位相差検出の基準画素であるＡ像を、Ｂは、位相差検出の参照画素であるＢ像を示している。Ａ像、Ｂ像の配置は、図３より明らかなので、説明を省略する。

また、撮像素子の配置構成は、一例を示したものであり、この構成に限定されるものではない。フィルターは、補色系のフィルターでもよいし、ベイヤー配列でなくともよい。また、焦点検出用画素の配置についても、同様に、図３の構成に限定されるものではない。

図４は、撮像用画素の構造を模式的に示した図である。図４において、４０１はフォトダイオード、４０２は後述の焦点検出用画素の構成との対比のために記載した、最下層の配線層を示している。他の配線層や本実施形態の説明に関連しない構造部材は、省略している。４０３はカラーフィルター、４０４は撮影光束を集光して、受光効率を向上させるためのマイクロレンズ、４０５は撮影レンズの瞳、４０６はマイクロレンズによるフォトダイオード４０１の受光範囲を示している。撮像用画素のマイクロレンズの曲率は、撮影レンズの瞳とほぼ等しい領域の光束が、フォトダイオードに入射するように設定される。

図５は、一対の焦点検出用画素の構造を模式的に示した図である。図５において、５０１はフォトダイオードであり、図４のフォトダイオード４０１と同一構造である。５０２は最下層の配線層を示しており、撮像用画素の配線層４０２とは異なり、フォトダイオード５０１の左半分に入射する光束を遮光するように構成され、位相差検出用のＡ像を構成している。５０３は、フォトダイオード５０１に入射する光束を集光するためのマイクロレンズである。

５０４はフォトダイオードであり、図４のフォトダイオード４０１と同一構造である。５０５は最下層の配線層を示しており、撮像用画素の配線層４０２とは異なり、フォトダイオード５０４の右半分に入射する光束を遮光するように構成され、位相差検出のＢ像を構成している。５０６はフォトダイオード５０４に入射する光束を集光するためのマイクロレンズ、５０７は撮影レンズの瞳を示している。

５０８，５０９は、撮影レンズの瞳上でフォトダイオード５０１，５０４に入射する範囲を示している。図５より明らかなように、フォトダイオード５０１に入射する光束は、撮影レンズの瞳の光軸に対して、左側に変位し、フォトダイオード５０４に入射する光束は、撮影レンズの瞳の光軸に対して、右側に変位している。配線層５０２，５０５の遮光位置を異ならせることにより、瞳分割を実現し、位相差式の焦点検出を可能なように構成されている。

焦点検出用画素がマイクロレンズと最下層の配線層で構成される場合には、その焦点位置は、撮像用画素のマイクロレンズの焦点位置とは異なることが望ましい。即ち、焦点検出用画素のマイクロレンズ５０３，５０６は、撮像用画素と曲率を異ならせて配線層に焦点位置が位置するように構成されることが望ましい。また、焦点検出用画素のカラーフィルターは、透明またはグリーン（Ｇ）で構成される。信号光を増加させて、ＳＮ比を上げるためには、透明が望ましく、本実施形態では、透明を前提に説明する。

図６は、光学的なクロストークによる画質劣化を説明する図である。図６において、（ａ）は、撮像用画素と撮像用画素、（ｂ）は、撮像用画素と撮像用画素とマイクロレンズの曲率が同一の焦点検出用画素、（ｃ）は、撮像用画素とマイクロレンズの曲率を異ならせた焦点検出用画素が、それぞれ隣接している構成を示している。

図６（ａ）において、６０１はフォトダイオード、６０２は最下層の配線層、６０３はカラーフィルターで、以下の説明では、Ｇ（緑）のカラーフィルターとする。６０４はマイクロレンズである。６０５はフォトダイオード６０１の右側に隣接するフォトダイオード、６０６は最下層の配線層、６０７はカラーフィルター６０３とは異なる色のカラーフィルターで、以下の説明では、Ｂ（青）として説明する。６０８は、マイクロレンズである。６０９は撮影レンズから入射する撮影光束を示しており、撮影レンズからの光束は、マイクロレンズ直下のフォトダイオードに入射する。６１０は通常の撮影レンズ光束では入射しない角度の光束が入射した場合の光束を示している。図６（ａ）より明らかなように、光束の入射角度が浅いと、カラーフィルター６０３，６０７を通して、隣接するフォトダイオード６０１に入射してしまい、光学クロストークの原因となる。

図６（ｂ）において、６１１はフォトダイオード、６１２は最下層の配線層、６１３はカラーフィルターで、以下の説明では、Ｇ（緑）のカラーフィルターとする。６１４はマイクロレンズである。６１５はフォトダイオード６１１の右側に隣接するフォトダイオード、６１６は最下層の配線層、６１７はマイクロレンズであり、焦点検出用画素であるため、カラーフィルターは存在しない。６１８は撮影レンズから入射する撮影光束を示しており、撮影レンズからの光束は、マイクロレンズ直下のフォトダイオードに入射する。６１９は、通常の撮影レンズ光束では、入射しない角度の光束が入射した場合の光束を示している。図６（ｂ）より明らかなように、光束の入射角度が浅いと、カラーフィルター６１３および焦点検出用画素の透明部分を通して、隣接するフォトダイオード６１１に入射してしまい、光学クロストークの原因となる。また、図６（ａ）では、Ｂフィルター６０７を通過して、隣接するフォトダイオード６０１へ洩れ込んでいたが、この光は、図６（ｂ）の場合では、カラーフィルターがないので洩れ込む量が多くなる。即ち、フォトダイオード６１１への光学クロストークの量は、フィルターの差分だけ大きくなり、焦点検出用画素が隣接しているＧ画素の出力が大きくなり、周囲の画素からは浮いて見える。

図６（ｃ）において、６２０はフォトダイオード、６２１は最下層の配線層、６２２はカラーフィルターで、以下の説明では、Ｇ（緑）のカラーフィルターとする。６２３はマイクロレンズである。６２４はフォトダイオード６２０の右側に隣接するフォトダイオード、６２５は最下層の配線層、６２６はマイクロレンズであり、焦点検出用画素であるため、カラーフィルターは存在しない。６２７は撮影レンズから入射する撮影光束を示しており、撮影レンズからの光束は、マイクロレンズ直下のフォトダイオードに入射する。６２８は、通常の撮影レンズ光束では、入射しない角度の光束が入射した場合の光束を示している。図６（ｃ）より明らかなように、光束の入射角度が浅いと、カラーフィルター６２２および焦点検出用画素の透明部分を通して、隣接するフォトダイオード６２０に入射してしまい、光学クロストークの原因となる。

図６（ｃ）では、配線層６２５に焦点位置が位置するように、焦点検出用画素のマイクロレンズを高くして、マイクロレンズの曲率を変えている。そのため、図６（ｂ）の場合よりも、フォトダイオード６２０の中心に近い位置に光線が入射することになり、光学クロストーク量は、図６（ｂ）よりもさらに大きくなる。そして隣接するＧ画素の浮き量はさらに大きくなり、画質がさらに劣化する。

図７は、図６で説明した光学クロストークが特に問題となる撮影シーンを説明した図である。図７（ａ）において、７０１は撮像素子の断面であり、７０２は撮像素子のカバーガラス、７０３はレンズ鏡筒や、メカ部材からの余計な反射光をカットするための遮光マスク、７０４は撮影レンズである。７０５は、例えば逆光シーンでの太陽や夜景時の高輝度なスポットライトなどの高輝度な物体である。

たとえばこのようなシーンでは、撮影レンズを通って、高輝度物体の光が撮像素子７０１に入射すると、ある割合の光が、撮像素子表面で拡散反射される。この拡散反射された一部の光は、さらにカバーガラスで再度反射され、撮像素子に一部が戻ってくる。この光が、図６で説明したような角度で焦点検出用画素に入射すると、光学クロストークとなって、隣接の撮像用画素に入射し、周辺の撮像用画素よりも出力が浮いて画質劣化を引き起こす。大きな輝度差のないシーンでは目立たないが、太陽やスポットライトのような高輝度な物体が存在するシーンでは問題となる画質劣化となる。焦点検出用画素の配置されていない撮像素子でも、同様の反射は存在するが、画素配置が均一であるので、目立たない。

図７（ｂ）は、同様なシーンではあるが、高輝度物体７０６からの光の入射位置が図７（ａ）とは異なり、遮光部材７０３の端面に直接入射してしまうような場合である。このような場合にも、図７（ａ）で説明したような角度で、焦点検出用画素に入射してしまうといったことがありうる。ただし、この場合は、遮光マスクの端面反射であり、遮光マスクの厚み自体は、非常に薄いので、高輝度物体からの光の入射角度は、非常に限定された角度で、発生確率は、非常に低い。

以上説明したように、通常とは異なる構造の焦点検出用画素を撮像素子内に形成する場合には、起こりうる光学クロストークによる画質劣化を検出して補正する必要がある。また、図より明らかなように、光学クロストークによる画質劣化が発生する場所は、比較的に高輝度光源から離れた場所であり、発生場所の被写体輝度が、光源に対して低く、コントラストの低い部分で特に不自然に目立つ。

以上のように構成された本実施形態のシステムの動作を図８〜図１２を参照して説明する。図８及び図９は、本実施形態のカメラで光学ファインダーを用いて、被写体を確認しながら静止画撮影を行う場合の補正動作を説明するフローチャートである。

Ｓ１８０１では、操作者によりカメラの電源スイッチがオンされると、システムコントローラ１２０は、カメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うと共に、撮影準備動作を実行する。Ｓ１８０２では、カメラは撮影準備を完了し待機状態となる。ここで、撮影者は光学ファインダーを通し被写体の確認や各種撮影設定を行う。

Ｓ１８０３では、ＳＷ１スイッチがオンされたか否かを判定し、オンされていれなければ、Ｓ１８０２に移行し待機状態となる。オンされた場合はＳ１８０４に移行する。Ｓ１８０４では、撮影レンズの焦点位置を被写体に合わせる自動焦点調節（ＡＦ）を行う。システムコントローラ１２０からの制御信号により焦点検出回路１０５はＡＦセンサユニット１０４を制御して、周知の位相差検出方式により焦点検出を行う。また、システムコントローラ１２０は、レンズ制御マイコン２０７を介してレンズ駆動機構２０３を制御することにより、被写体像をイメージセンサ１１２上に結像させる。

Ｓ１８０５では、接眼レンズ１０６の近傍に配設された測光センサにより、被写体の輝度を測定し、その出力は測光回路１０７を経てシステムコントローラ１２０へ供給される。

図１０に測光センサにおける視野分割領域を示す。図１０では、撮影画像領域１２５０と測光領域１２１０を示しており、さらに、測光領域には水平９分割、垂直７分割した測光分割領域が設けられている。システムコントローラ１２０では、測光回路１０７から供給された信号に基づき、測光分割領域ごとに被写体の輝度を算出する。また、所定のアルゴリズムに基づき平均化、補正演算を行い撮影画像領域の被写体の明るさとなる測光値を算出する。

Ｓ１８０６では、システムコントローラ１２０は、静止画撮影における露光条件を決める露出制御値演算を行う。露出制御値演算は、Ｓ１８０５で算出された測光値とプログラム線図に基づき、絞り、ＩＳＯ感度、蓄積時間などが調節され、後述する静止画撮影にて自動露出制御（ＡＥ）を行う。また、露出マニュアルモード設定時には、操作者が指示した絞り、蓄積時間、ＩＳＯ感度にて露出が決定され静止画撮影が行われる。

Ｓ１８０７では、ＳＷ１スイッチがオンされているか否かの判定が行われる。オンされていなければ、Ｓ１８０２に移行し待機状態となる。オンされている場合は、Ｓ１８０８に移行する。Ｓ１８０８では、ＳＷ２スイッチがオンされているか否かの判定が行われる。オンされていない場合は、Ｓ１８０７に移行し、ＳＷ１スイッチ状態判定に戻る。オンされている場合は、Ｓ１８０９に移行する。

Ｓ１８０９では、システムコントローラ１２０により、本実施形態の補正動作切り替え判定が実行される。補正動作切り替え判定では、後述する静止画撮影において、光学クロストークの補正を実行するか否かの判定が行われる。

光学クロストークによる画質劣化は、上述したように、撮影光束の一部が特定の角度でフォトダイオードに入射することによって発生する。特に、太陽やスポットライトのような高輝度光源が撮影被写体に存在する場合や、夜景など背景が暗いシーンでの画質劣化が問題となる。また、後述する光学クロストークの補正処理は、画素ごとに光学クロストークが発生しているか否かの補正対象画素判定を行い補正処理の実行を切り替えている。しかし、小さい点光源などの特定パターンの被写体においては、補正対象画素判定で誤検出し、誤って本来の被写体を補正してしまう補正の弊害が生じる。

そこで本実施形態では、高輝度光源の検出、及び、撮影条件に基づき、光学クロストークによる画質劣化が発生するシーンを判定し、適切に補正動作を実行することで補正の弊害による画質劣化を抑制する。

図９は、本実施形態の補正動作切り替え判定の詳細を説明するフローチャートである。Ｓ１９０１では、図８のＳ１８０５で算出された測光値が変数Ｂｖに記憶される。Ｓ１９０２では、図８のＳ１８０５で算出された測光分割領域ごとの輝度値における最大値が変数ＭａｘＢｖに記憶差される。

Ｓ１９０３では、図８のＳ１８０６で算出された静止画撮影の露出条件となる露出制御値が変数ＳｈｏｏｔＢｖに記憶される。Ｓ１９０４では、変数Ｂｖと閾値Ｂｖ＿ｔｈ１の比較を行い（所定の輝度範囲内かを調べる）、変数Ｂｖが小さい場合は、Ｓ１９０６に移行し、変数ＤｅｌｔａＢｖ＿ｔｈに所定値ＤｅｌｔａＢｖ＿ｔｈ１が記憶される。Ｓ１９０４で変数Ｂｖが閾値以上（所定の輝度値以上）である場合はＳ１９０５に移行する。ここで、閾値Ｂｖ＿ｔｈ１には、例えば夜景シーンの判定を行うための適切な輝度値を設定する。

Ｓ１９０５では、変数Ｂｖと閾値Ｂｖ＿ｔｈ２の比較を行い、変数Ｂｖが小さい場合は、Ｓ１９０７に移行し、変数ＤｅｌｔａＢｖ＿ｔｈに所定値ＤｅｌｔａＢｖ＿ｔｈ２が記憶される。Ｓ１９０５で変数Ｂｖが閾値以上である場合はＳ１９０５に移行し、変数ＤｅｌｔａＢｖ＿ｔｈに所定値ＤｅｌｔａＢｖ＿ｔｈ３が記憶される。ここで、閾値Ｂｖ＿ｔｈ２には、例えば日中シーンの判定を行うための適切な輝度値を設定する。

Ｓ１９０４からＳ１９０８により、測光値に応じた撮影シーン判定が行われ、光学クロストークの発生条件が異なる撮影シーンごとに適切な補正切り替え判定閾値の変数ＤｅｌｔａＢｖ＿ｔｈが設定される。補正切り替え判定閾値は、実写などを通して、光学クロストークが目立つ条件、頻度に合わせて適切に設定することが望ましい。

Ｓ１９０９では、変数ＭａｘＢｖ（最大輝度値）と変数ＳｈｏｏｔＢｖ（撮影露出制御値）の差分値が計算され、変数ＤｅｌｔａＢｖ＿ｔｈとの比較が行われる。つまり、撮影時の露出制御値の適正レベルに対して、所定量以上の明るい光源が存在しているか否かの判定をしている。この判定には、公園の水銀灯程度の光源においても長秒撮影を行うことで、光学クロストークによる画質劣化の影響が目立ちやすくなるという問題に対して、光源の絶対的な明るさではなく、撮影露出との相対的な明るさを用いることで適切な光源判定を可能としている。差分値が変数ＤｅｌｔａＢｖ＿ｔｈより小さい場合は、Ｓ１９１０に移行し、光学クロストークの補正動作の有効フラグである変数ｆＣｒｏｏｓｓｔａｌｋにＯＮが設定される。また、差分値が変数ＤｅｌｔａＢｖ＿ｔｈ以上の場合は、Ｓ１９１１に移行し、光学クロストークの補正動作の有効フラグである変数ｆＣｒｏｏｓｓｔａｌｋがＯＦＦに設定される。

上記Ｓ１９０１からＳ１９１１により、補正動作切り替え判定が行われ、図８のメインフローに戻る。図１０のＳ１８１０では、シャッタチャージ、絞り調節の後、設定されている蓄積時間で先幕、後幕を走らせる本撮影動作が行われ、イメージセンサ１１２から画素信号が順次読み出される
Ｓ１８１１では、Ｓ１８０９で判定した光学クロストークの補正動作の有効フラグである変数ｆＣｒｏｏｓｓｔａｌｋがＯＮであるか否かの判定を行い、ＯＮである場合にはＳ１８１２に移行する。また、ＯＮでない場合にはＳ１８１３に移行し、画像を記録し終了する。

Ｓ１８１２では、本実施形態の光学クロストークの補正処理が画素ごとに実行される。 図１１は、本実施形態の補正を説明する図であり、８０１は、撮像素子３５０の一部を抜き出したものである。８０１内のハッチングで示したＢは、焦点検出用画素のＢ像を示している。また、図中のＧ上、Ｇ下、Ｇ左、Ｇ右は、Ｂ像画素の上下左右に隣接する撮像用画素を示しており、光学クロストークの影響を受けて画質劣化を引き起こす補正対象画素である。また、Ｇ１、Ｇ２、Ｇ３、Ｇ４の撮像用画素は、４つの補正対象画素が、光学クロストークの影響を受けて、周囲の撮像用画素から浮いているか否かを判定するための補正対象画素と同色の参照画素（参照用画素）である。

また、Ｂ像画素の対角に隣接する４つのＲ画素も同様に光学クロストークの影響を受ける補正対象画素であるが、参照画素が異なるだけで、Ｇ上、Ｇ下、Ｇ左、Ｇ右と同様の補正方法で補正可能であるので、説明を省略する。

図１２は、光学クロストークを補正する具体的な方法を記載したフローチャートであり、図１２をもとに補正方法について説明する。

まず、ステップＳ９０１では、Ｇ１、Ｇ２、Ｇ３、Ｇ４の４つの参照画素の平均値を算出し、変数ＡＶＥ＿Ｇに格納し、ステップＳ９０２へ進む。ステップＳ９０２では、ＡＶＥ＿Ｇの値が、０より大きく所定値αより小さいかの比較結果を判定し、０以下およびα以上の場合（所定の範囲内の場合）は、補正の必要がないので、光学クロストーク補正を実施せずに補正処理を終了する。一方、平均値が０とαの間にあれば、ステップＳ９０３に進む。

ここで、０出力とは、撮像素子に配置される図示しない遮光画素（以下、ＯＢ画素と略す）の出力レベルを指している。光学クロストークの影響がある場合は、周辺参照画素も反射光を受光することになり、画素出力がダークレベルよりも持ち上がるので、ＯＢ画素出力以下の画素出力になった場合は、補正の必要がない。また、αの値については、たとえば、画素出力の飽和レベルに設定する。周辺参照画素が飽和レベルになった場合は、光学クロストークの判定が困難であるため、やはり補正をしない。また、すでに説明したように画素出力が比較的高い場合は、光学クロストークの影響は軽微になるので、想定される高輝度光源による影響と画質劣化の度合いから、所定の輝度出力をαの値に設定してもよい。

ステップＳ９０３では、補正対象画素である、Ｇ上、Ｇ下、Ｇ左、Ｇ右の中から最も画素出力の高いものを選択し、その出力を変数ＭＡＸ＿Ｇに記憶し、ステップＳ９０４に進む。本実施形態で課題にしている光学クロストークは、図６より明らかなように、反射光が焦点検出用画素の右から入射した場合は、その焦点検出用画素の左に隣接した画素にその影響がでる。すなわち、隣接上下左右の４画素のうちで、特定の方向の画素にその影響が現れるので、補正対象４画素のうち最も出力の高い画素が、補正対象画素である可能性が最も高い。

ステップＳ９０４では、ステップＳ９０１で記憶したＡＶＥ＿Ｇ出力のルートを計算し、変数σ＿Ｇに記憶し、ステップＳ９０５に進む。σ＿Ｇは、参照画素出力平均値の光ショットノイズのσ値と等価な値になる。

ステップＳ９０５では、変数ＭＡＸ＿ＧとＡＶＥ＿Ｇの差分を計算し、変数ｄｉｆｆ＿Ｇに記憶する。ｄｉｆｆ＿Ｇは、光学クロストーク出力により引き起こされる浮き量に相当する。差分出力を計算したら、ステップＳ９０６に進む。

ステップＳ９０６では、ｄｉｆｆ＿Ｇが０以下の場合は、周辺参照画素よりも画素出力が小さく、光学クロストークによる浮きが発生していないので、補正処理を終了する。それ以外は、ステップＳ９０７に進んで補正処理を続行する。

ステップＳ９０７では、ｄｉｆｆ＿Ｇに基づいて、光学クロストークによる出力の浮きが発生しているか否かを判定する。ステップＳ９０４で算出した、参照画素のランダムノイズσ＿Ｇの何倍に相当するかでその判定を行う。σ＿Ｇの３倍より大きく、１０倍よりも小さければ、ステップＳ９０８に進んで補正を行う。３倍以下であれば、周辺参照４画素から推定されるランダムノイズに対して、浮き量自体がノイズに埋もれて判定困難であるので、補正せずに処理を終了する、また、１０倍以上の場合は、光学クロストークの影響によるものではなく、実際の被写体からの信号である可能性が高いので、補正せずに、処理を終了する。

なお、本実施形態では、３倍以下のものは、補正対象から除外したが、この場合は、補正量自体は、小さなものであり、仮に判定が違っていても、画像劣化自体は軽微であるので、０以上を補正対象としてもよい。また、本実施形態では上限を１０倍としたが、光学クロストークの大きさや補正の誤検出を踏まえて、実写検討から適当な値を設定すればよい。ランダムノイズσ＿Ｇとの比較を行うことにより、精度のよい検出が可能となる。

ステップＳ９０８では、周辺参照４画素と補正対象画素の差分、すなわち光学クロストークによる浮き量であるｄｉｆｆ＿Ｇに所定の係数、本実施形態では、０．２５を乗算し、ＡＶＥ＿Ｇ（ＡＶＥ＿Ｇは、補正対象画素から、浮き量を減算したものと等価である）に加算して補正する。そして、定数ＭＡＸ＿Ｇに代入し、補正画素出力として、補正を終了する。補正係数を０．２５にするのは、光学クロストークを目立たなくするとともに、補正対象画素を誤検知した場合の画質劣化を抑制するためである。

上記Ｓ９０１からＳ９０８により、光学クロストークの補正処理が行われ、図８のメインフローに戻る。図８のＳ１８１３では、Ｓ１８１０で読み出された画像信号にＤＳＰ１１５によって画像補正処理が行われ、画像圧縮回路１１９によってＪＰＥＧなどへの画像変換が行われた後、画像データ記録メディア４０１へ画像が記録される。

（第２の実施形態）
図１３は、第２の実施形態における光学クロストークを補正する具体的な方法を記載したフローチャートであり、図１３をもとに第２の実施形態の補正方法について説明する。

第１の実施形態の方法では、比較的コントラストのないフラットなシーンでは、光学クロストークの補正対象画素の検出が精度よくできるが、空間周波数の高い、コントラストのあるシーンでは、補正対象画素を誤検出してしまう場合がある。

第２の実施形態では、参照４画素の最大値および最小値の差分を算出して、その差分出力が所定値以上の場合は、補正処理を実行しない処理ステップを追加することにより、空間周波数が高く、コントラストのある被写体での誤検出を抑制する。図１３のフローチャートに添って詳細を説明するが、第１の実施形態と同一の処理は、説明を簡略化する。

ステップＳ１００１では、Ｇ１、Ｇ２、Ｇ３、Ｇ４の４つの参照画素の平均値を算出し、変数ＡＶＥ＿Ｇに格納し、ステップＳ１００２へ進む。ステップＳ１００２では、ＡＶＥ＿Ｇの値が、０より大きく所定値αより小さいかを判定し、０以下およびα以上の場合は、補正の必要がないので、光学クロストーク補正を実施せずに補正処理を終了する。０およびαの間に平均値があれば、ステップＳ１００３に進む。

ステップＳ１００３では、参照４画素の最大値および最小値の差分を算出し、差分が所定値以上でコントラストのある被写体と推定できる場合は、補正処理を終了する。所定値未満の場合は、ステップＳ１００４に進んで、補正処理を継続する。ここで参照４画素の最大値、最小値の差分が所定値以上の場合に補正処理を行わない理由は以下のようなものである。１つは、参照４画素の最大値、最小値の差分が所定値以上の場合とは、被写体の空間周波数が高く、参照４画素の平均値がコントラストによりずれるので、検出したい光学クロストーク量の推定が困難になり誤検出が増加するからである。また、もう１つは、高周波な被写体では、光学クロストークによる画質劣化が目立ちにくくなるため、補正処理を実行しないほうが画質劣化が抑えられるからである。

ステップＳ１００４では、補正対象画素である、Ｇ上、Ｇ下、Ｇ左、Ｇ右の中から最も画素出力の高いものを選択し、その出力を変数ＭＡＸ＿Ｇに記憶し、ステップＳ１００５に進む。ステップＳ１００５では、ステップＳ１００１で記憶したＡＶＥ＿Ｇのルートを計算し、変数σ＿Ｇに記憶し、ステップＳ１００６に進む。

ステップＳ１００６では、変数ＭＡＸ＿ＧとＡＶＥ＿Ｇの差分を計算し、変数ｄｉｆｆ＿Ｇに記憶する。ｄｉｆｆ＿Ｇは、光学クロストークにより引き起こされる浮き量に相当する。差分出力を計算したら、ステップＳ１００７に進む。

ステップＳ１００７では、ｄｉｆｆ＿Ｇが０以下の場合は、周辺参照画素よりも画素出力が小さく、光学クロストークによる浮きが発生していないので、補正処理を終了する。それ以外は、ステップＳ１００８に進んで補正処理を続行する。

ステップＳ１００８では、ｄｉｆｆ＿Ｇに基づいて、光学クロストークよる出力の浮きが発生しているか否かを判定する。ステップＳ１００５で算出した、参照画素のランダムノイズσ＿Ｇの何倍に相当するかでその判定を行う。σ＿Ｇの３倍より大きく、１０倍よりも小さければ、ステップＳ９０８に進んで補正を行う。３倍以下であれば、周辺参照４画素から推定されるランダムノイズに対して、浮き量自体がノイズに埋もれて判定困難であるので、補正せずに処理を終了する、また、１０倍以上の場合は、光学クロストークの影響によるものではなく、実際の被写体からの信号である可能性が高いので、補正せずに処理を終了する。

ステップＳ１００９では、周辺参照４画素と補正対象画素の差分、すなわち光学クロストークによる浮き量であるｄｉｆｆ＿Ｇに所定の係数、本実施形態では、０．２５を乗算し、ＡＶＥ＿Ｇに加算して補正する。そして、定数ＭＡＸ＿Ｇに代入し、補正画素出力として、補正を終了する。補正係数を０．２５にするのは、光学クロストークを目立たなくするとともに、補正対象画素を誤検知した場合の画質劣化を抑制するためである。

以上説明したように、第２の実施形態によれば、被写体のコントラスト情報を使って補正するか否かを判断することにより、誤検出の少ない光学クロストーク補正が可能になる。

（第３の実施形態）
図１４は、第３の実施形態における光学クロストークを補正する具体的な方法を記載したフローチャートであり、図１４をもとに第３の実施形態の補正方法について説明する。

第１の実施形態では、比較的コントラストのないフラットなシーンでは、光学クロストークの補正対象画素の検出が精度よくできるが、空間周波数の高い、コントラストのあるシーンでは、補正対象画素を誤検出してしまう場合がある。

また、第２の実施形態では、参照４画素の最大値および最小値の差分を算出して、その差分出力が所定値以上の場合は、補正処理を実行しない処理ステップを追加することにより、空間周波数が高く、コントラストのある被写体での誤検出を抑制した。しかし、参照４画素の最大、最小値の差分で一律に補正の実行、非実行を判定してしまうため、低コントラストな被写体で発生した光学クロストークをうまく検出できない場合がある。

第３の実施形態は、さらに低コントラストなシーンでの検出率を改善しようとするものである。低コントラストシーンでの検出率向上および高コントラストシーンでの誤検出を防止するために、参照４画素のコントラストに応じて、補正対象画素の検出閾値を変更するものである。以下、フローチャートに添って詳細を説明するが、第１及び第２の実施形態と同一の処理については説明を簡略化する。

ステップＳ１１０１では、Ｇ１、Ｇ２、Ｇ３、Ｇ４の４つの参照画素の平均値を算出し、変数ＡＶＥ＿Ｇに格納し、ステップＳ１１０２へ進む。ステップＳ１１０２では、ＡＶＥ＿Ｇの値が、０より大きく所定値αより小さいかを判定し、０以下およびα以上の場合は、補正の必要がないので、光学クロストークを補正せずに補正処理を終了する。０およびαの間に平均値があれば、ステップＳ１１０３に進む。

ステップＳ１１０３では、参照４画素の最大値および最小値の差分を計算し、変数ＣＮＴ＿Ｇに格納し、ステップＳ１１０４に進む。ステップＳ１１０４では、補正対象画素である、Ｇ上、Ｇ下、Ｇ左、Ｇ右の中から最も画素出力の高いものを選択し、その出力を変数ＭＡＸ＿Ｇに記憶し、ステップＳ１１０５に進む。

ステップＳ１１０５では、ステップＳ１１０１で記憶したＡＶＥ＿Ｇのルートを計算し、変数σ＿Ｇに記憶し、ステップＳ１１０６に進む。ステップＳ１１０６では、変数ＭＡＸ＿ＧとＡＶＥ＿Ｇの差分を計算し、変数ｄｉｆｆ＿Ｇに記憶する。ｄｉｆｆ＿Ｇは、光学クロストークにより引き起こされる浮き量に相当する。差分出力を計算したら、ステップＳ１１０７に進む。

ステップＳ１１０７では、ｄｉｆｆ＿Ｇが０以下の場合は、周辺参照画素よりも画素出力が小さく、光学クロストークによる浮きが発生していないので、補正処理を終了する。それ以外は、ステップＳ１１０８に進んで補正処理を続行する。

ステップＳ１１０８では、ｄｉｆｆ＿Ｇに基づいて、光学クロストークよる出力の浮きが発生しているか否かを判定する。基本的に、第１及び第２の実施形態と同様に、ステップＳ１１０５で算出した、参照画素のランダムノイズσ＿Ｇの何倍に相当するかでその判定を行う。

第１及び第２の実施形態との違いは、ｄｉｆｆ＿ＧとＣＮＴ＿Ｇを加算して、その加算結果が、σ＿Ｇの３倍より大きく、１０倍よりも小さければ、ステップＳ１１０９に進んで補正を行うものである。ｄｉｆｆ＿ＧとＣＮＴ＿Ｇの加算を使って、補正対象画素を補正するか否かを判定することにより、参照４画素のコントラストに応じて、検出レベルを変更することができる。参照４画素のコントラストがなくフラットであれば、第１及び第２の実施形態と同様の検出レベルとなり、コントラストがつけば検出レベルを低い値にシフトできるので、誤検出を抑制しながら補正画素の検出が可能になる。ステップＳ１１０８で補正対象と判定されれば、ステップＳ１１０９に進んで補正を実行し、補正対象外と判定されれば補正処理を終了する。

ステップＳ１１０９では、周辺参照４画素と補正対象画素の差分、すなわち光学クロストークによる浮き量であるｄｉｆｆ＿Ｇに所定の係数、本実施形態では、０．２５を乗算し、ＡＶＥ＿Ｇに加算して補正する。そして、定数ＭＡＸ＿Ｇに代入し、補正画素出力として、補正を終了する。補正係数を０．２５にするのは、光学クロストークを目立たなくするとともに、補正対象画素を誤検知した場合の画質劣化を抑制するためである。

以上、説明したように参照４画素のコントラスト値により、補正対象画素を検出する閾値を変更することにより、低コントラストシーンでの検出率向上および高コントラストシーンでの誤検出を防止することが可能となる。

（第４の実施形態）
図１５及び図１６を参照して、第４の実施形態であるカメラのライブビュー撮影における補正動作について説明する。なお、第４の実施形態おけるカメラシステムの構成は第１の実施形態と同一であるので、ここでの説明は省略する。また、第１の実施形態と番号が同一のブロックについては説明を省略する。

図１５及び図１６は、本実施形態の補正動作を説明するフローチャートである。

Ｓ１３０１では、操作者によりカメラの電源スイッチがオンされると、システムコントローラ１２０は、カメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うと共に、撮影準備動作を実行する。

Ｓ１３０２では、イメージセンサ１１２より順次、画像信号が読み出され、外部液晶表示装置１２４に表示、または、画像データ記録メディア４０１に動画記録が行われる、いわゆる、ライブビュー撮影が開始される。

Ｓ１３０３では、イメージセンサ１１２より読み出された画像信号は、ＤＳＰ１１５で所定の分割領域毎にベイヤ単位で加算、および、所定値以上の輝度信号となる画素数のカウント処理が行われ、システムコントローラ１２０へ供給される。カウント処理に使用する所定値は、画素信号の飽和レベルを検出するための適切な閾値とする。システムコントローラ１２０では、ＤＳＰ１１５より供給された結果に基づき、測光分割領域ごとに被写体の輝度を算出する。また、所定のアルゴリズムに基づき平均化、補正演算を行い撮影画像領域の被写体の明るさとなる測光値を算出する。

Ｓ１３０４では、システムコントローラ１２０が、ライブビュー撮影における露光条件を決める露出制御値演算を行う。露出制御値演算は、Ｓ１３０３で算出された測光値とプログラム線図に基づき、絞り、ＩＳＯ感度、蓄積時間などを調節することで自動露出制御（ＡＥ）を行う。また、露出マニュアルモード設定時には、操作者が指示した絞り、蓄積時間、ＩＳＯ感度にて露出が決定され撮影露出の調節が行われる。

Ｓ１３０５では、システムコントローラ１２０により、本実施形態の補正動作切り替え判定が実行される。補正動作切り替え判定では、ライブビュー撮影において、光学クロストークの補正を実行するか否かの判定が行われる。

光学クロストークによる画質劣化は、前述したように、撮影光束の一部が特定の角度でフォトダイオードに入射することによって発生する。特に、太陽やスポットライトのような高輝度光源が撮影被写体に存在する場合や、夜景など背景が暗いシーンでの画質劣化が問題となる。

また、第１の実施形態で説明した光学クロストークの補正処理は、画素ごとに光学クロストークが発生しているか否かの補正対象画素判定を行い補正処理の実行を切り替えている。しかし、小さい点光源などの特定パターンの被写体においては、補正対象画素判定で誤検出し、誤って本来の被写体を補正してしまう補正の弊害が生じる。

そこで本実施形態では、高輝度光源の検出、及び、撮影条件に基づき、光学クロストークによる画質劣化が発生するシーンを判定し、適切に補正動作を実行することで補正の弊害による画質劣化を抑制する。また、本実施例では、イメージセンサ１１２の画像信号から高輝度光源の検出を行う。イメージセンサ１１２の出力信号は、通常、被写体の明るさに対してリニアに変化するタイプのセンサが用いられている。そのため、測光センサと比較するとダイナミックレンジが狭く、高輝度の被写体は画素信号が飽和してしまうため正確な輝度値を測定することが困難である。そこで、本実施形態の補正動作切り替え判定では、Ｓ１３０３で検出した所定値以上の輝度信号となる画素数のカウント値を用いることで高輝度光源の検出を行う。

図１６は、本実施形態の補正動作切り替え判定の詳細を説明するフローチャートである。

Ｓ１４０１では、図１５のＳ１３０３で算出された測光値が変数Ｂｖに記憶される。
Ｓ１４０２では、図１５のＳ１３０３で分割領域毎に算出された所定値以上の輝度信号となる画素数のカウント値の最大値が変数ＯｖｅｒＰｉｘＣｏｕｎｔに記憶される。

Ｓ１４０３では、変数Ｂｖと閾値Ｂｖ＿ｔｈ１の比較を行い、変数Ｂｖが小さい場合はＳ１４０５に移行し、変数ＰｉｘＣｏｕｎｔ＿ｔｈに所定値ＰｉｘＣｏｕｎｔ＿ｔｈ１が記憶される。変数Ｂｖが閾値以上である場合はＳ１４０４に移行する。ここで、閾値Ｂｖ＿ｔｈ１には、例えば夜景シーンの判定を行うための適切な輝度値を設定する。

Ｓ１４０４では、変数Ｂｖと閾値Ｂｖ＿ｔｈ２の比較を行い、変数Ｂｖが小さい場合は、Ｓ１４０６に移行し、変数ＰｉｘＣｏｕｎｔ＿ｔｈに所定値ＰｉｘＣｏｕｎｔ＿ｔｈ２が記憶される。変数Ｂｖが閾値以上である場合はＳ１４０７に移行し、変数ＰｉｘＣｏｕｎｔ＿ｔｈに所定値ＰｉｘＣｏｕｎｔ＿ｔｈ３が記憶される。ここで、閾値Ｂｖ＿ｔｈ２には、例えば日中シーンの判定を行うための適切な輝度値を設定する。

Ｓ１４０３からＳ１４０７により、測光値に応じた撮影シーン判定が行われ、光学クロストークの発生条件が異なる撮影シーンごとに適切な補正切り替え判定閾値の変数ＰｉｘＣｏｕｎｔ＿ｔｈが設定される。補正切り替え判定閾値は、実写などを通して、光学クロストークが目立つ条件、頻度に合わせて適切に設定することが望ましい。

Ｓ１４０８では、変数ＯｖｅｒＰｉｘＣｏｕｎｔと変数ＰｉｘＣｏｕｎｔ＿ｔｈの比較が行われる。つまり、ライブビュー撮影時において、輝度飽和している画素数が所定の画素数以上あるか否かを判定し（飽和画素カウント）、高輝度光源の検出を行っている。変数ＯｖｅｒＰｉｘＣｏｕｎｔが閾値よりも大きい場合は、Ｓ１４０９に移行し、光学クロストークの補正動作の有効フラグである変数ｆＣｒｏｏｓｓｔａｌｋにＯＮが設定される。また、変数ＯｖｅｒＰｉｘＣｏｕｎｔが閾値以下の場合は、Ｓ１４１０に移行し、光学クロストークの補正動作の有効フラグである変数ｆＣｒｏｏｓｓｔａｌｋがＯＦＦに設定される。

上記のＳ１４０１からＳ１４１０により、補正動作切り替え判定が行われ、図１５のメインフローに戻る。

図１５のＳ１３０６では、Ｓ１３０５で判定した光学クロストークの補正動作の有効フラグである変数ｆＣｒｏｏｓｓｔａｌｋがＯＮであるか否かの判定を行い、ＯＮである場合にはＳ１３０７に移行する。また、ＯＮでない場合にはＳ１３０８に移行する。

Ｓ１３０７では、本実施形態の光学クロストークの補正処理が画素ごとに実行される。光学クロストークの補正処理については、第１の実施形態と同様であるため説明は省略する。

Ｓ１３０８では、Ｓ１３０２で読み出された画像信号がＤＳＰ１１５によって補正処理された後、Ｓ１３０９で、ＶＲＡＭに転送され、ＴＦＴへの表示更新が行われる。

Ｓ１３１０では、操作者によって、ライブビュー終了のスイッチがオンされたか否かの判定が行われ、オンされていない場合は、Ｓ１３０３に戻りライブビューが継続される。また、オンされている場合は、Ｓ１３１１に移行し、ライブビュー動作の終了処理、および、各種カメラの終了処理が行われスリープ状態となる。

Claims (14)

1. 撮像素子の複数の撮像用画素のうちの一部の画素が、焦点検出用画素に置き換えられて構成された撮像素子と、
   前記焦点検出用画素に隣接する複数の補正対象である撮像用画素の出力と、前記焦点検出用画素に隣接する複数の撮像用画素の近傍に配置された前記複数の撮像用画素と同色の複数の参照用の撮像用画素の出力とを比較する比較手段と、
   前記比較手段の比較結果に応じて、前記複数の補正対象である撮像用画素の出力の補正処理を実行する補正手段と、を備え、
   前記補正手段は、前記複数の参照用の撮像用画素の出力の平均値が所定の範囲内にある場合に、前記補正処理を実行することを特徴とする撮像装置。
2. 前記補正手段は、前記複数の補正対象である撮像用画素のうちで、最も出力の高い画素に基づいて前記複数の補正対象である撮像用画素の出力の補正量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記複数の参照用の撮像用画素の出力の平均値に基づいて、前記参照用の撮像用画素のランダムノイズを算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、前記複数の補正対象である撮像用画素の出力と、前記複数の参照用の撮像用画素の出力の平均値との差分を算出し、算出された差分が所定値以上である場合に前記補正処理を実行することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記補正手段は、前記差分に対して所定の係数を乗算することにより、前記複数の補正対象である撮像用画素の出力の補正量を算出することを特徴とする請求項４に記載の撮像装置。
6. 被写体の輝度値を検出する測光手段と、該測光手段の出力に応じて、前記補正手段の動作を切り替える補正切り替え手段とをさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記補正切り替え手段は、前記測光手段によって検出した被写体の輝度値が所定の輝度範囲に含まれる場合に、前記補正手段の動作を有効にすることを特徴とする請求項６に記載の撮像装置。
8. 前記測光手段は、複数の分割領域毎に被写体の輝度値を出力し、前記補正切り替え手段は、前記複数の分割領域における最大輝度値が所定値以上の場合に前記補正手段の動作を有効にすることを特徴とする請求項６または７に記載の撮像装置。
9. 撮影動作における露出条件を設定する露出制御手段をさらに備え、前記補正切り替え手段は、前記測光手段によって検出された被写体の輝度値と、前記露出制御手段によって設定された撮影露出制御値との差が所定値以上の場合に前記補正手段の動作を有効にすることを特徴とする請求項６または７に記載の撮像装置。
10. 前記補正切り替え手段は、前記測光手段によって検出された被写体の輝度値に応じて、前記所定値を選択することを特徴とする請求項９に記載の撮像装置。
11. 撮像素子の複数の撮像用画素のうちの一部の画素が、焦点検出用画素に置き換えられて構成された撮像素子と、
    前記焦点検出用画素に隣接する複数の補正対象である撮像用画素の出力と、前記焦点検出用画素に隣接する複数の撮像用画素の近傍に配置された前記複数の撮像用画素と同色の複数の参照用の撮像用画素の出力とを比較する比較手段と、
    前記比較手段の比較結果に応じて、前記複数の補正対象である撮像用画素の出力の補正処理を実行する補正手段と、を備え、
    前記補正手段は、前記複数の参照用の撮像用画素の出力の最大値と最小値の差分に基づいてコントラスト値を算出し、該コントラスト値を所定値と比較することにより、前記補正処理を実行するか否かを判断することを特徴とする撮像装置。
12. 前記補正手段は、前記コントラスト値に応じて、該コントラスト値と比較する前記所定値をシフトさせることを特徴とする請求項１１に記載の撮像装置。
13. 被写体の輝度値を検出する測光手段と、該測光手段の出力に応じて、前記補正手段の動作を切り替える補正切り替え手段とをさらに備えることを特徴とする請求項１１または１２に記載の撮像装置。
14. 所定の輝度値以上となる画素数をカウントする飽和画素カウント手段をさらに備え、前記補正切り替え手段は、前記飽和画素カウント手段によってカウントされた画素数が所定の画素数以上の場合に前記補正手段の動作を有効にすることを特徴とする請求項１３に記載の撮像装置。

Images